我正在尝试使用RedShiftCopyActivity和datapipeline将一堆csv文件从S3复制到Redshift。

只要csv结构与表结构匹配,此方法就可以正常工作。在我的情况下,csv的列少于表的列,然后RedShiftCopyActivity失败,并在stl_load_errors中出现“找不到分隔符”错误。

我想使用redshift copy命令的“ columns”选项。这样,我就可以使它工作,但是redshift copycommand中的列部分似乎在RedShiftCopyActivity中不可用。

有任何建议吗?

热烈欢迎所有提示。

非常感谢。

彼得

最佳答案

我知道这是一个老问题,但是现在您可以为Redshift COPY命令指定列列表。

COPY tablename (column1 [,column2, ...])


从S3加载数据时,列顺序需要与源数据的顺序匹配。在此处查看文档:Amazon Redshift Column Mapping Options

拉杜

07-28 06:22