我在Zeppelin工作,编写spark-sql查询,有时我突然开始收到此错误(在不更改代码之后):

Cannot call methods on a stopped SparkContext.


然后输出显示进一步:

The currently active SparkContext was created at:

(No active SparkContext.)


这显然是没有道理的。这是齐柏林飞艇中的错误吗?还是我做错了什么?如何重启SparkContext?

谢谢

最佳答案

我已经遇到过几次这个问题。

如果将主服务器设置为yarn-client,则可能是由于Resource Manager的停止/重新启动,解释器进程可能仍在运行,但是Spark Context(这是一个Yarn应用程序)不再存在。

您可以通过咨询资源管理器Web界面来检查Spark Context是否仍在运行,并检查是否正在运行名为Zeppelin的应用程序。

有时从Zeppelin内部重新启动解释器进程(解释器选项卡-> spark->重新启动)将解决该问题。

其他时间,您需要:


从命令行终止Spark解释器进程
删除Spark Interpreter PID文件
下次您开始一段时,它将开始新的火花上下文

关于apache-spark - 为什么SparkContext随机关闭,如何从Zeppelin重新启动它?,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/35515120/

10-12 18:25