使用Spark在Python中运行独立应用程序示例时出错

问题描述

我刚刚开始使用Spark，并在Amazon EC2实例上以独立模式运行它。我正在尝试文档中提到的示例，在查看这个名为Simple App的示例时，我不断收到以下错误：NameError：未定义名称‘Numas’

from pyspark import SparkContext

logFile = "$YOUR_SPARK_HOME/README.md"  # Should be some file on your system
sc = SparkContext("local", "Simple App")
logData = sc.textFile(logFile).cache()

numAs = logData.filter(lambda s: 'a' in s).count()
numBs = logData.filter(lambda s: 'b' in s).count()

print "Lines with a: %i, lines with b: %i" % (numAs, numBs)

如何将编辑器集成到Spark中，而不是使用这个动态的python外壳？为什么我一直收到此错误？

感谢您的帮助/指导。

推荐答案

将您的所有代码放在一个.py文件中，然后提交.py文件，如下所示：

# Run a Python application on a Spark Standalone cluster
./bin/spark-submit
  --master spark://207.184.161.138:7077
  examples/src/main/python/pi.py
  1000

阅读此处：

Submitting Applications

尝试这些示例，真的很有帮助：

• https://spark.apache.org/examples.html
• https://github.com/apache/spark/tree/master/examples/src/main/python

这篇关于使用Spark在Python中运行独立应用程序示例时出错的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持！