我正处于学习Spark的初级阶段。我刚刚开始使用pyspark使用python进行编码。通过基本代码我在Jupyter笔记本上遇到了这个错误。好吧,我已经在工作状态的PC上安装了火花。
我的问题是,当我在Ubuntu终端上输入“ pyspark”时,它将直接转到jupyter的webUI。它不在Interactive Shell中。我不知道为什么?
第二,当我运行以下代码时,我得到了错误..
from pyspark import SparkContext, SparkConf
conf = SparkConf().setAppName('appName').setMaster('local')
sc = SparkContext(conf=conf)
data = range(10)
dist_data = sc.parallelize(data)
print(dist_data.reduce(lambda a, b: a+b))
以上代码的错误是...
Error Message
ValueError:无法一次运行多个SparkContext。在/home/trojan/.local/lib/python3.6/site-packages/IPython/utils/py3compat.py:186创建的现有SparkContext(app = PySparkShell,master = local [*])创建
这意味着什么??
请告诉我可能是什么错误!
抱歉,错误图片我无法清楚地粘贴,因此我粘贴了错误的屏幕截图希望它能正常工作!
最佳答案
一个Python内核(笔记本)只能运行一个spark上下文。
如果您需要其他Spark环境,则可以打开另一个笔记本,
否则,没有理由在同一笔记本上存在多个spark上下文,您可以多次使用它,具体取决于您的问题。
关于python - 无法一次运行多个SparkContext,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/48328855/