Spark-Sql On YARN自动调整Executor数量配置

Spark-Sql On YARN自动调整Executor数量配置


最新的Spark 1.4版本支持为Spark On YARN模式的Spark Application根据Task自动调整Executor数，要启用该功能，需做以下操作：

一：

在所有的NodeManager中，修改yarn-site.xml，为yarn.nodemanager.aux-services添加spark_shuffle值，设置yarn.nodemanager.aux-services.spark_shuffle.class值为org.apache.spark.network.yarn.YarnShuffleService，如下：

点击(此处)折叠或打开

1. <property>
   
2.  <name>yarn.nodemanager.aux-services</name>
   
3.  <value>mapreduce_shuffle,spark_shuffle<alue>
   
4.  </property>
   
5.  <property>
   
6.  <name>yarn.nodemanager.aux-services.spark_shuffle.class</name>
   
7.  <value>org.apache.spark.network.yarn.YarnShuffleService</value>
   
8.  </property>

二：

将 $SPARK_HOME/lib/spark-1.4.0-yarn-shuffle.jar文件拷贝到hadoop-yarn/lib目录下（即yarn的库目录）

将这个jar包复制到 hadoop/share/hadoop/yarn 这个路径下
或者软连接处理

备注：
这个操作在所有的 nodemanager 中操作

三：

配置 $SPARK_HOME/conf/spark-default.xml，内容如下

点击(此处)折叠或打开

1. spark.dynamicAllocation.minExecutors 1 #最小Executor数
   
2. spark.dynamicAllocation.maxExecutors 100 #最大Executor数

四：

执行时开启自动调整Executor数开关，以spark-sql yarn client模式为例：

点击(此处)折叠或打开

1. spark-sql  --master yarn --deploy-mode client --conf spark.shuffle.service.enabled=true --conf spark.dynamicAllocation.enabled=true -e "SELECT COUNT(*) FROM xx"

对于使用spark-submit也是一样：
点击(此处)折叠或打开

1. spark-submit \
   
2. --class SySpark.SqlOnSpark \
   
3. --master yarn-client \
   
4. --conf spark.shuffle.service.enabled=true \
   
5. --conf spark.dynamicAllocation.enabled=true \
   
6. /data/jars/SqlOnSpark.jar \
   
7. "SELECT COUNT(*) FROM xx"

链接地址：http://doc.okbase.net/simplefocus/archive/123088.html