如何使用标题保存数据框

如何使用标题保存数据框

本文介绍了Spark:如何使用标题保存数据框?的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

dataframe.saveasTextFile ,仅以分隔格式保存数据。如何在JAVA中保存带有标题的数据框。

dataframe.saveasTextFile, saves only the data in a delimited format. How do I save the dataframe with headers in JAVA.

sourceRufFrame.toJavaRDD().map(new TildaDelimiter()).coalesce(1, true).saveAsTextFile(targetSrcFilePath);


推荐答案

如果你想保存为csv文件,我会建议使用 spark-csv 包。您只需使用标题 spark-csv 保存数据框,如下所示。

If you want to save as csv file, i would suggest using spark-csv package. You can save your dataframe simply with spark-csv as below with header.

dataFrame.write
  .format("com.databricks.spark.csv")
  .option("header", "true")
  .option("delimiter",<your delimiter>)
  .save(output)

您可以参考以下链接,了解更多信息:

You can refer below link, for further information:https://github.com/databricks/spark-csv

Spark-csv 有maven依赖。

这篇关于Spark:如何使用标题保存数据框?的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持!

08-06 10:14