apache-spark - Spark saveAsTextFile无法正常工作，请引用以下代码

val reduced_rdd = mofm.reduceByKey(_ + _)
                      .map(item => item.swap)
                      .sortByKey(false)
                      .take(5)
                      .saveAsTextFile("/home/scrapbook/tutorial/IPLData/")

给出错误:

<console>:40: error: value saveAsTextFile is not a member of Array[(Int, String)]
   val reduced_rdd = mofm.reduceByKey(_ + _).map(item => item.swap).sortByKey(false).take(5).saveAsTextFile("/home/scrapbook/tutorial/IPLData/")

最佳答案

.take(5) or .collect

导致RDD类型被丢弃。

saveAsTextFile需要一个RDD；在take(5)或collect之后，您将不再拥有它。

你需要:

val x = ...
...
take(5)

sc.parallelize(x).saveAsTextFile("path")

关于apache-spark - Spark saveAsTextFile无法正常工作，请引用以下代码，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/54842779/