如何停止当前正在运行的任何Spark上下文。

信息
API:Scala
Spark版本:Spark 2.3

实际上,我已经创建了火花上下文。为了阻止他们,我应该输入instance.stop(),但不记得spark上下文的实例名称。那么如何停止运行spark上下文呢?

还是有什么方法可以重置我在spark-shell中所做的一切并从头开始?

最佳答案

这并不能真正回答您的问题,但是可以在将来避免此问题。

您可以(应该?)使用atexit模块来确保在退出python时自动调用spark上下文的.stop()

import atexit

#spark configuration code here
sc = SparkContext(conf = conf)

atexit.register(lambda: sc.stop())

10-05 23:20
查看更多