本文介绍了将“SPARK_HOME"设置为什么?的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
安装apache-maven-3.3.3,scala 2.11.6,然后运行:
Installed apache-maven-3.3.3, scala 2.11.6, then ran:
$ git clone git://github.com/apache/spark.git -b branch-1.4
$ cd spark
$ build/mvn -DskipTests clean package
最后:
$ git clone https://github.com/apache/incubator-zeppelin
$ cd incubator-zeppelin/
$ mvn install -DskipTests
然后运行服务器:
$ bin/zeppelin-daemon.sh start
运行一个以 %pyspark
开头的简单笔记本,我收到一个关于找不到 py4j
的错误.刚刚pip install py4j
(ref).
Running a simple notebook beginning with %pyspark
, I got an error about py4j
not being found. Just did pip install py4j
(ref).
现在我收到此错误:
pyspark is not responding Traceback (most recent call last):
File "/tmp/zeppelin_pyspark.py", line 22, in <module>
from pyspark.conf import SparkConf
ImportError: No module named pyspark.conf
我已经尝试将我的 SPARK_HOME
设置为:/spark/python:/spark/python/lib
.没有变化.
I've tried setting my SPARK_HOME
to: /spark/python:/spark/python/lib
. No change.
推荐答案
需要两个环境变量:
SPARK_HOME=/spark
PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-VERSION-src.zip:$PYTHONPATH
这篇关于将“SPARK_HOME"设置为什么?的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持!