本文介绍了如何导出表数据帧中pyspark到csv?的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
我使用的火花1.3.1(pyspark),我已经使用SQL查询生成的表。我现在有一个对象,它是一个数据帧。我想导出此数据框对象(我把它称为表),以CSV文件,所以我可以操纵它并绘制列。如何将数据帧表导出为CSV文件?
I am using spark-1.3.1 (pyspark) and I have generated a table using a SQL query. I now have an object that is a DataFrame. I want to export this DataFrame object (I have called it "table") to a csv file so I can manipulate it and plot the columns. How do I export the DataFrame "table" to a csv file?
谢谢!
推荐答案
如果数据帧在驱动程序装入内存,你可以转换的当地的使用的方法,然后简单地使用保存
:
If data frame fits in a driver memory you can convert Spark DataFrame to local Pandas DataFrame using toPandas
method and then simply use save
:
df.toPandas().to_csv('mycsv.csv')
否则,您可以使用:
-
星火1.3
Spark 1.3
df.save('mycsv.csv', 'com.databricks.spark.csv')
星火1.4 +
Spark 1.4+
df.write.format('com.databricks.spark.csv').save('mycsv.csv')
这篇关于如何导出表数据帧中pyspark到csv?的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持!