我看到SparkSession没有.parallelize()方法,是否需要再次使用SparkContext创建RDD?如果是这样,建议在单个程序中同时创建SparkSessionSparkContext吗?

最佳答案

构建SparkSession之后,您可以按照以下步骤获取由此创建的基础SparkContext:

让我们考虑一下SparkSession已经被定义了:

val spark : SparkSession = ???


您现在可以获取SparkContext:

val sc = spark.sparkContext

关于apache-spark - 在Spark 2.0中使用SparkSession时的parallelize()方法,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/39896750/

10-10 13:34