java - 如何设置Spark执行器的数量？

如何从Java(或Scala)代码中配置具有SparkConfig和SparkContext的执行程序？我经常看到2个执行者。看起来spark.default.parallelism无法正常工作，并且有一些不同之处。

我只需要将执行程序的数量设置为等于集群大小，但是总是只有2个。我知道我的集群大小。如果这很重要，我将在YARN上运行。

最佳答案

您也可以通过在SparkConf对象上设置参数“spark.executor.instances”和“spark.executor.cores”以编程方式进行操作。

例:

SparkConf conf = new SparkConf()
      // 4 executor per instance of each worker
      .set("spark.executor.instances", "4")
      // 5 cores on each executor
      .set("spark.executor.cores", "5");

第二个参数仅适用于YARN和独立模式。如果该工作程序上有足够的核心，它允许应用程序在同一工作程序上运行多个执行程序。

关于java - 如何设置Spark执行器的数量？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/26168254/