我对Python很陌生。我安装了带有PySpark内核(Spark 2.2.0)的Anaconda3 – 4.4.0。

我正在尝试在Windows 7操作系统上使用简单的文本文件测试一个简单的脚本,以确保Python安装的某些功能可以正常工作。

这是我的脚本:

 word_counts = ('C:\\Users\\oakins1p\\WeeklyMeeting.txt') \
.flatMap(lambda line: line.split()) \
.map(lambda word: (word, 1)) \
.reduceByKey(lambda a, b: a + b)\
.saveAsTextFile('C:\\Users\\oakins1p\\WeeklyMeetingOutput.txt')\`


我一直收到AttributeError: 'str' object has no attribute 'flatMap',但不确定如何解决此问题。

最佳答案

word_counts是一个字符串,在其中不能简单地在其上调用flatMap()

尝试首先使用textFile()读取文件,如下所示:

from pyspark import SparkContext
sc = SparkContext.getOrCreate()
word_counts = sc.textFile(filepath).flatMap()...


受此example启发。

关于python - 'str'对象没有属性'flatMap',我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/45966339/

10-12 19:39