本文介绍了Pyspark将数据框保存到S3的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！
问题描述
我想将数据帧保存到s3，但是当我将文件保存到s3时，它将使用${folder_name}创建一个空文件，我想在其中保存文件.
I want to save dataframe to s3 but when I save the file to s3 , it creates empty file with ${folder_name}, in which I want to save the file.
保存数据框的语法:-
f.write.parquet("s3n://bucket-name/shri/test")
它将文件保存在测试文件夹中，但在shri下创建$test.
It saves the file in test folder but it creates $test under shri .
有没有一种方法可以保存它而不创建额外的文件夹?
Is there a way I can save it without creating that extra folder?
推荐答案
我能够通过使用以下代码来做到这一点.
I was able to do it by using below code.
df.write.parquet("s3a://bucket-name/shri/test.parquet",mode="overwrite")
这篇关于Pyspark将数据框保存到S3的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持！