我正在尝试在AWS Aurora和Redshift之间设置同步。实现此同步的最佳方法是什么?

同步的可能方式可以是:-

  • 查询表以查找表中的更改(因为我仅执行插入操作,更新无关紧要),将这些更改导出到S3存储桶中的平面文件,并使用Redshift copy命令插入到Redshift中。
  • 使用python publisher和Boto3将更改发布到Kinesis流中,然后在Firehose中使用此流,可以从中直接复制到Redshift中。
  • 使用Kinesis Agent检测binlog中的更改(可以使用Kinesis Agent检测int binlog中的更改)并将其发布到Firehose,然后从那里复制到Firehose中。

  • 我还没有探索过AWS Datapipeline。

    最佳答案

    如@Mark B所指出的,AWS Database Migration Service可以在数据库之间迁移数据。这可以作为一次性练习完成,也可以连续运行,使两个数据库保持同步。

    该文档显示Amazon Aurora can be a sourceAmazon Redshift can be a target

    关于amazon-web-services - 将数据从Amazon Aurora同步到Redshift,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/44598515/

    10-16 01:33