我想使用kotlin在Spark 2.0中进行编程。

我添加了spark的jar文件,可以在代码中使用JavaSparkContext,但不能在spark 2.0中使用kotlin。

当我像这样使用SparkSession时:

SparkSession sc = SparkSession.builder(). ...

我收到此错误: Unresolved reference :sparkSession

是否可以使用Kotlin在Spark 2.0中进行编程?如果是,我该怎么做?

最佳答案



是的,它是一种具有很好的Java互操作性的JVM语言,可以从Java使用Spark。



以Java示例(不是Scala的示例)和convert them to Kotlin为例。

SparkSession sc = SparkSession.builder()

不是合法的Kotlin(并且不会产生您给的错误,因为它没有提及sparkSession)。它应该是
val sc = ...

要么
val sc: SparkSession = ...

07-24 09:53
查看更多