我看到SparkSession
没有.parallelize()
方法,是否需要再次使用SparkContext
创建RDD?如果是这样,建议在单个程序中同时创建SparkSession
和SparkContext
吗?
最佳答案
构建SparkSession之后,您可以按照以下步骤获取由此创建的基础SparkContext:
让我们考虑一下SparkSession已经被定义了:
val spark : SparkSession = ???
您现在可以获取SparkContext:
val sc = spark.sparkContext
关于apache-spark - 在Spark 2.0中使用SparkSession时的parallelize()方法,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/39896750/