apache-spark - 如何结束Spark提交和接受状态

我正在使用apache griffin运行数据清理作业:https://griffin.apache.org/docs/quickstart.html

在提交 Spark 作业之后

spark-submit --class org.apache.griffin.measure.Application --master yarn --deploy-mode client --queue default \
--driver-memory 1g --executor-memory 1g --num-executors 2 \
/home/bigdata/apache-hive-2.2.0-bin/measure-0.4.0.jar \
/home/bigdata/apache-hive-2.2.0-bin/env.json /home/bigdata/apache-hive-2.2.0-bin/dq.json

我的工作如下提交:

20/04/08 13:18:30 INFO yarn.Client:application_1586344612496_0247的应用报告(状态:已接受)
20/04/08 13:18:31 INFO yarn.Client:application_1586344612496_0247的应用报告(状态:已接受)
2008年4月4日13:18:32 INFO yarn.Client:application_1586344612496_0247的应用报告(状态:已接受)
20/04/08 13:18:33 INFO yarn.Client:application_1586344612496_0247的应用报告(状态:已接受)
2008年4月4日13:18:34 INFO yarn.Client:application_1586344612496_0247的应用报告(状态:已接受)
2008年4月4日13:18:35 INFO yarn.Client:application_1586344612496_0247的应用报告(状态:已接受)
20/04/08 13:18:36 INFO yarn.Client:application_1586344612496_0247的应用报告(状态:已接受)
2008年4月4日13:18:37 INFO yarn.Client:application_1586344612496_0247的应用报告(状态:已接受)
20/04/08 13:18:38 INFO yarn.Client:application_1586344612496_0247的应用报告(状态:已接受)
20/04/08 13:18:39 INFO yarn.Client:application_1586344612496_0247的应用报告(状态:已接受)
2008年4月4日13:18:40 INFO yarn.Client:application_1586344612496_0247的应用报告(状态:已接受)

永不停止:

当我检查 yarn 的状态时:

bigdata @ dq2:〜$ yarn 申请-状态申请_1586344612496_0231
20/04/08 13:16:31 INFO client.RMProxy:在/0.0.0.0:8032连接到ResourceManager
申请报告:
应用程序ID:application_1586344612496_0231
应用名称:batch_accu
应用程序类型:SPARK
用户:bigdata
队列:默认
开始时间:1586348775760
结束时间:0
进度:0％
状态:已接受
最终状态:未定义
跟踪网址:不适用
RPC端口:-1
上午主持人:不适用
总资源分配:0 MB秒，0 vcore秒
诊断:

工作没有动，任何人都可以帮忙。

最佳答案

以我的经验，可能是造成此问题的原因很多，但首先应进行的检查如下:

您的防火墙可能会阻止Hadoop群集内节点之间的某些端口，因此计算永远不会开始。尝试暂时禁用专用接口(interface)的防火墙，然后再次尝试排除此问题(如果这是问题，请重新激活防火墙并确定您需要打开的端口!)

Spark可能配置不正确(即资源要求)