本文介绍了Python2.7.x 中的 Pyspark 导入错误的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
尝试使用 Pyspark2.0.2-hadoop2.7 在使用 Python2.7.x 时会出错
trying to use Pyspark2.0.2-hadoop2.7 provides error while using with Python2.7.x
代码为:
import os
import sys
os.environ['SPARK_HOME']="C:/Apache/spark-2.0.2-bin-hadoop2.7"
sys.path.append("C:/Apache/spark-2.0.2-bin-hadoop2.7/python")
try:
from pyspark import SparkContext
from pyspark import SparkConf
print("Succesfull")
except ImportError as e:
print("Cannot import PYspark module", e)
sys.exit(1)
当我运行此代码时提供无法导入 PYspark 模块"消息.
as i run this code provide "Cannot import PYspark module" message.
谢谢
推荐答案
通过 pyspark 和 py4j 扩展 python 路径,对于 spark 2.0.2,它将是:
Extend python path by both pyspark and py4j, for spark 2.0.2 it will be:
sys.path.append("C:/Apache/spark-2.0.2-bin-hadoop2.7/python/lib/py4j-0.10.3-src.zip")
sys.path.append("C:/Apache/spark-2.0.2-bin-hadoop2.7/python/lib/pyspark.zip")
这篇关于Python2.7.x 中的 Pyspark 导入错误的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持!