Closed. This question does not meet Stack Overflow guidelines。它当前不接受答案。
想改善这个问题吗？更新问题，以使为on-topic。
4年前关闭。
Improve this question
如何在Slurm集群上运行Spark？我非常想在程序中定义SparkContext并设置要使用的节点数，但是如果我必须为其编写一些bash脚本，那也可以。
想改善这个问题吗？更新问题，以使为on-topic。
4年前关闭。
Improve this question
如何在Slurm集群上运行Spark？我非常想在程序中定义SparkContext并设置要使用的节点数，但是如果我必须为其编写一些bash脚本，那也可以。
最佳答案
喜p（https://github.com/llnl/magpie）是用于在传统HPC集群（例如SLURM管理的集群）之上运行大数据应用程序（例如Spark）的Shell脚本程序包。它为您管理了排队作业的大部分复杂性，但是您可能仍需要修改提交脚本以适合您自己的Spark应用程序-有关更多信息，请参见文件submission-scripts/script-sbatch/magpie.sbatch-spark。