我在Zeppelin工作,编写spark-sql查询,有时我突然开始收到此错误(在不更改代码之后):
Cannot call methods on a stopped SparkContext.
然后输出显示进一步:
The currently active SparkContext was created at:
(No active SparkContext.)
这显然是没有道理的。这是齐柏林飞艇中的错误吗?还是我做错了什么?如何重启SparkContext?
谢谢
最佳答案
我已经遇到过几次这个问题。
如果将主服务器设置为yarn-client,则可能是由于Resource Manager的停止/重新启动,解释器进程可能仍在运行,但是Spark Context(这是一个Yarn应用程序)不再存在。
您可以通过咨询资源管理器Web界面来检查Spark Context是否仍在运行,并检查是否正在运行名为Zeppelin的应用程序。
有时从Zeppelin内部重新启动解释器进程(解释器选项卡-> spark->重新启动)将解决该问题。
其他时间,您需要:
从命令行终止Spark解释器进程
删除Spark Interpreter PID文件
下次您开始一段时,它将开始新的火花上下文
关于apache-spark - 为什么SparkContext随机关闭,如何从Zeppelin重新启动它?,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/35515120/