每当我执行dse spark-submit <jarname>时，都会将jar复制到SPARK_WORKER_DIR中（在我的情况下为/ var / lib / spark-worker / worker-0）。火花作业成功完成/运行后，我想自动删除jar。使用this，我在SPARK_WORKER_OPTS中更改了spark-env.sh，如下所示：
export SPARK_WORKER_OPTS="$SPARK_WORKER_OPTS -Dspark.worker.cleanup.enabled=true -Dspark.worker.cleanup.interval=1800"
但是jar仍然没有被删除。难道我做错了什么？我该怎么办？
最佳答案
将此行添加到spark-env.sh并重新启动dse服务对我有用：
export SPARK_WORKER_OPTS="$SPARK_WORKER_OPTS -Dspark.worker.cleanup.enabled=true -Dspark.worker.cleanup.interval=3600 -Dspark.worker.cleanup.appDataTtl=172800 "
我通过以下方式重新启动了dse服务：
nodetool drain
sudo service dse restart
这将在作业完成两天后删除日志。