我正在尝试使用RedShiftCopyActivity和datapipeline将一堆csv文件从S3复制到Redshift。
只要csv结构与表结构匹配,此方法就可以正常工作。在我的情况下,csv的列少于表的列,然后RedShiftCopyActivity失败,并在stl_load_errors中出现“找不到分隔符”错误。
我想使用redshift copy命令的“ columns”选项。这样,我就可以使它工作,但是redshift copycommand中的列部分似乎在RedShiftCopyActivity中不可用。
有任何建议吗?
热烈欢迎所有提示。
非常感谢。
彼得
最佳答案
我知道这是一个老问题,但是现在您可以为Redshift COPY命令指定列列表。
COPY tablename (column1 [,column2, ...])
从S3加载数据时,列顺序需要与源数据的顺序匹配。在此处查看文档:Amazon Redshift Column Mapping Options。
拉杜