amazon-s3 - 如何将数据从胶水移动到Dynamodb

我们正在为我们的一个仪表板应用程序设计一个大数据解决方案，并认真考虑将Glue用作我们的初始ETL。当前，Glue支持JDBC和S3作为目标，但是我们的下游服务和组件将与dynamodb一起更好地工作。我们想知道将记录从Glue移到Dynamo的最佳方法是什么。

我们是否应该先写入S3，然后运行Lambda将数据插入Dynamo中？那是最佳实践吗？或者
我们应该为Dynamodb使用第三方JDBC包装器，还是使用Glue直接写入Dynamo(不确定是否可行，听起来有点吓人)，或者
我们还应该做点别的吗？

任何帮助是极大的赞赏。谢谢!

最佳答案

您可以将以下行添加到您的Glue ETL脚本中:

    glueContext.write_dynamic_frame.from_options(frame =DynamicFrame.fromDF(df, glueContext, "final_df"), connection_type = "dynamodb", connection_options = {"tableName": "pceg_ae_test"})

df的类型应为DynamicFrame

关于amazon-s3 - 如何将数据从胶水移动到Dynamodb，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/49063554/