在Scala Spark应用程序中初始化SQLContext后,为什么要导入隐式SqlContext.implicits._。

将import放在对象之外时,似乎存在问题。

我来自Java背景,在这里我不了解def对象中import语句的用法。

val sqlContext = new SQLContext(sc)

import sqlContext.implicits._
import sqlContext._

最佳答案

导入无法在外部进行,因为 implicits object is defined inside the SQLContext class:

* :: Experimental ::
* (Scala-specific) Implicit methods available in Scala for converting
* common Scala objects into `DataFrame`s.
*
* {{{
*   val sqlContext = new SQLContext(sc)
*   import sqlContext.implicits._
* }}}
@Experimental
@InterfaceStability.Evolving
object implicits extends SQLImplicits with Serializable {
  protected override def _sqlContext: SQLContext = self
}

因此,只有拥有SQLContext实例后,才能导入包含所有隐式对象的内部对象定义。

10-07 13:42