本文介绍了Spark:如何使用标题保存数据框?的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
dataframe.saveasTextFile
,仅以分隔格式保存数据。如何在JAVA中保存带有标题的数据框。
dataframe.saveasTextFile
, saves only the data in a delimited format. How do I save the dataframe with headers in JAVA.
sourceRufFrame.toJavaRDD().map(new TildaDelimiter()).coalesce(1, true).saveAsTextFile(targetSrcFilePath);
推荐答案
如果你想保存为csv文件,我会建议使用 spark-csv
包。您只需使用标题 spark-csv 保存数据框,如下所示。
If you want to save as csv file, i would suggest using spark-csv
package. You can save your dataframe simply with spark-csv
as below with header.
dataFrame.write
.format("com.databricks.spark.csv")
.option("header", "true")
.option("delimiter",<your delimiter>)
.save(output)
您可以参考以下链接,了解更多信息:
You can refer below link, for further information:https://github.com/databricks/spark-csv
Spark-csv
有maven依赖。
这篇关于Spark:如何使用标题保存数据框?的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持!