我想使用kotlin在Spark 2.0中进行编程。
我添加了spark的jar文件,可以在代码中使用JavaSparkContext,但不能在spark 2.0中使用kotlin。
当我像这样使用SparkSession时:
SparkSession sc = SparkSession.builder(). ...
我收到此错误: Unresolved reference :sparkSession
是否可以使用Kotlin在Spark 2.0中进行编程?如果是,我该怎么做?
最佳答案
是的,它是一种具有很好的Java互操作性的JVM语言,可以从Java使用Spark。
以Java示例(不是Scala的示例)和convert them to Kotlin为例。
SparkSession sc = SparkSession.builder()
不是合法的Kotlin(并且不会产生您给的错误,因为它没有提及
sparkSession
)。它应该是val sc = ...
要么
val sc: SparkSession = ...