hadoop - 是否可以覆盖SPARK中的Hadoop配置？

是否可以覆盖SPARK中的Hadoop配置，以便自动解析NameNode IP？目前，由于现有的Hadoop配置(我无法对其进行修改，因为它可能会影响我的常规HDFS)，我遇到了UnknownHostException。

最佳答案

使用前缀spark.hadoop.传入的所有内容都将被视为Hadoop配置替代。

val conf = new SparkConf
conf.set("spark.hadoop.HADOOPCONFKEY", "VALUE")
val sc = new SparkContext(conf)

或者，您传递给hadoopRDD conf的任何内容都将充当hadoop配置值。

关于hadoop - 是否可以覆盖SPARK中的Hadoop配置？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/32845616/