本文介绍了Zeppelin:如何在 zeppelin 中重新启动 sparkContext的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

我正在使用 zeppelins spark 解释器的隔离模式,在这种模式下,它将为 spark 集群中的每个笔记本启动一个新工作.我想在笔记本执行完成后通过 zeppelin 终止作业.为此,我做了 sc.stop 这停止了 sparkContext 并且作业也从火花集群停止.但是下次当我尝试运行笔记本时,它不会再次启动 sparkContext.那么该怎么做呢?

I am using Isolated mode of zeppelins spark interpreter, with this mode it will start a new job for each notebook in spark cluster. I want to kill the job via zeppelin when the notebook execution is completed. For this I did sc.stop this stopped the sparkContext and the job is also stopped from spark cluster. But next time when I try to run the notebook its not starting the sparkContext again. So how to do that?

推荐答案

这有点反直觉,但您需要访问解释器菜单选项卡而不是直接停止 SparkContext:

It's a bit counter intuitive but you need to access the interpreter menu tab instead of stopping SparkContext directly:

  • 转到翻译列表.

  • go to interpreter list.

找到Spark interpreter并点击右上角的:

find Spark interpreter and click in the right upper corner:

这篇关于Zeppelin:如何在 zeppelin 中重新启动 sparkContext的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持!

09-11 08:05