本文介绍了如何在PYTHON中从S3中的PANDA数据帧写入拼图文件的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
我有一个 pandas 数据帧。我想在S3中将此数据帧写入拼图文件。我需要一个相同的示例代码。我试着在谷歌上搜索它。但我无法获得有效的示例代码。
推荐答案
首先确保您安装了 pandas 箭或实木地板。
然后安装boto3和AWS cli。使用AWS CLI设置位于.aws文件夹中的配置和凭据文件。这里有一个简单的脚本,使用pyarrow和boto3创建一个临时拼图文件,然后发送到AWS S3。
不包括导入的示例代码:
def main():
data = {0: {"data1": "value1"}}
df = pd.DataFrame.from_dict(data, orient='index')
write_pandas_parquet_to_s3(
df, "bucket", "folder/test/file.parquet", ".tmp/file.parquet")
def write_pandas_parquet_to_s3(df, bucketName, keyName, fileName):
# dummy dataframe
table = pa.Table.from_pandas(df)
pq.write_table(table, fileName)
# upload to s3
s3 = boto3.client("s3")
BucketName = bucketName
with open(fileName) as f:
object_data = f.read()
s3.put_object(Body=object_data, Bucket=BucketName, Key=keyName)
这篇关于如何在PYTHON中从S3中的PANDA数据帧写入拼图文件的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持!