我正在使用以下命令将RDD写入文件:
rdd.coalesce(1).saveAsTextFile(FilePath)
当FilePath是HDFS路径(
hdfs://node:9000/folder/)时，一切正常。当FilePath是本地路径(
file:///home/user/folder/)时，一切似乎都可以正常工作。将创建输出文件夹，并且还存在SUCCESS文件。但是，我看不到任何包含输出的
part-00000文件。没有其他文件。 Spark控制台输出中也没有错误。我还尝试在调用
saveAsTextFile()之前在RDD上调用collect，将777 permission赋予输出文件夹，但没有任何效果。请帮忙。
最佳答案
仅在使用local master时保存到本地制作效果
关于hadoop - Spark : saveAsTextFile() only creating SUCCESS file and no part file when writing to local filesystem，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/44536279/