r - Sparkr将DF作为csv/txt文件写入

嗨，我正在纱线模式下研究sparkR。

我需要将sparkr df写入csv / txt文件。

我看到有write.df，但是它会写入镶木地板文件。

我试图做这件事

RdataFrame<-collect(SparkRDF)
write.table(RdataFrame, ..)

但是我在contextCleaner上收到了很多警告和一些错误。

有什么办法吗？

最佳答案

Spark 2.0+

您可以使用write.text函数：


将SparkDataFrame的内容保存在文本文件中
指定的路径。 SparkDataFrame必须仅包含一列
名称为“值”的字符串类型。每行变成一个新行
输出文件。

write.text(df, path)

或带有内置SparkR write.df编写器的csv：

write.df(df, path, source="csv")

Spark 1.x

您可以使用spark-csv包：

write.df(SparkRDF, "foo.csv", "com.databricks.spark.csv", ...)

例如，可以使用packages / SparkR的spark-submit参数将其添加：

sparkR --packages com.databricks:spark-csv_2.10:1.3.0 # For Scala 2.10
sparkR --packages com.databricks:spark-csv_2.11:1.3.0 # For Scala 2.11

有关其他选项，请参见the official documentation

关于r - Sparkr将DF作为csv/txt文件写入，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/34922320/