我有一个用例，我需要将 70 TB 的数据从 DynamoDB 迁移到 BigTable 和 Spanner。具有单个索引的表将转到 BigTable，否则它们将转到 Spanner。
通过将数据导出到 S3 --> GCS --> Spanner/BigTable，我可以轻松处理历史负载。但具有挑战性的部分是处理 DynamoDB 上同时发生的增量流负载。 DynamoDB 中有 300 个表。
如何以最好的方式处理这件事？以前有人这样做过吗？
最佳答案
一种方法可以使用 lambdas 来捕获 dynamodb 更改，将更改发布到 GCP 发布/订阅，然后让 Dataflow 流处理管道处理传入的发布/订阅消息，根据表将其写入 Spanner 或 BigTable
基本的 DynamoDB->Spanner 解决方案记录在此处:https://cloud.google.com/solutions/migrating-dynamodb-to-cloud-spanner
这可以适用于处理不同表的不同目的地。
关于amazon-dynamodb - 从 DynamoDB 迁移到 Spanner/BigTable，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/58709367/