hadoop - 在 map 函数中获取sparkConf

如何在Java Spark API中的映射函数内获取SparkConf或JavaSparkContext。

     SparkConf conf = new SparkConf().setAppName("Simple Application");
     JavaSparkContext sc = new JavaSparkContext(conf);
     JavaRDD<String>dateRDD=javaRDD.map(new Function<String, String>() {

如何在函数中获取这个sparkconf或上下文？我是否将此作为参数传递给构造函数？还有其他方法吗？

最佳答案

您误解了Spark概念。 map函数在单独的JVM线程内的执行程序节点上执行的一组单独任务中执行。切勿在SparkContext或任何其他转换或 Action 中使用map，因为以这种方式启动SparkContext会在执行程序上启动带有驱动程序的Spark集群集，这不是我希望的目标。

让我知道您的目标是什么，我会告诉您如何实现这一目标

关于hadoop - 在 map 函数中获取sparkConf，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/28851379/