Scala版本的SparkContext具有以下属性
sc.hadoopConfiguration
我已经成功地使用它来设置Hadoop属性(在Scala中)
例如
sc.hadoopConfiguration.set("my.mapreduce.setting","someVal")
但是,SparkContext的python版本缺少该访问器。有什么方法可以将Hadoop配置值设置为PySpark上下文使用的Hadoop配置中?
最佳答案
sc._jsc.hadoopConfiguration().set('my.mapreduce.setting', 'someVal')
应该管用