Scala版本的SparkContext具有以下属性

sc.hadoopConfiguration

我已经成功地使用它来设置Hadoop属性(在Scala中)

例如
sc.hadoopConfiguration.set("my.mapreduce.setting","someVal")

但是,SparkContext的python版本缺少该访问器。有什么方法可以将Hadoop配置值设置为PySpark上下文使用的Hadoop配置中?

最佳答案

sc._jsc.hadoopConfiguration().set('my.mapreduce.setting', 'someVal')

应该管用

09-11 18:38
查看更多