本文介绍了Python2.7.x 中的 Pyspark 导入错误的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

尝试使用 Pyspark2.0.2-hadoop2.7 在使用 Python2.7.x 时会出错

trying to use Pyspark2.0.2-hadoop2.7 provides error while using with Python2.7.x

代码为:

import os

import sys

os.environ['SPARK_HOME']="C:/Apache/spark-2.0.2-bin-hadoop2.7"

sys.path.append("C:/Apache/spark-2.0.2-bin-hadoop2.7/python")

try:

  from pyspark import SparkContext

  from pyspark import SparkConf

  print("Succesfull")

except ImportError as e:

  print("Cannot import PYspark module", e)

  sys.exit(1)

当我运行此代码时提供无法导入 PYspark 模块"消息.

as i run this code provide "Cannot import PYspark module" message.

谢谢

推荐答案

通过 pyspark 和 py4j 扩展 python 路径,对于 spark 2.0.2,它将是:

Extend python path by both pyspark and py4j, for spark 2.0.2 it will be:

sys.path.append("C:/Apache/spark-2.0.2-bin-hadoop2.7/python/lib/py4j-0.10.3-src.zip")
sys.path.append("C:/Apache/spark-2.0.2-bin-hadoop2.7/python/lib/pyspark.zip")

这篇关于Python2.7.x 中的 Pyspark 导入错误的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持!

08-31 09:53