shell - AWS S3 ListBucketResult分页没有身份验证？

我正在寻找一个简单的清单，所有都是公共S3存储桶中的对象。

我知道如何获取listing with curl for upto 1000 results，尽管我不知道如何对结果进行分页以获取完整列表。我认为标记是一个线索。

我不想使用SDK /库或进行身份验证。我正在寻找几行外壳程序来执行此操作。

最佳答案

#!/bin/sh

# setting max-keys higher than 1000 is not effective
s3url=http://mr2011.s3-ap-southeast-1.amazonaws.com?max-keys=1000
s3ns=http://s3.amazonaws.com/doc/2006-03-01/

i=0
s3get=$s3url

while :; do
    curl -s $s3get > "listing$i.xml"
    nextkey=$(xml sel -T -N "w=$s3ns" -t \
        --if '/w:ListBucketResult/w:IsTruncated="true"' \
        -v 'str:encode-uri(/w:ListBucketResult/w:Contents[last()]/w:Key, true())' \
        -b -n "listing$i.xml")
    # -b -n adds a newline to the result unconditionally,
    # this avoids the "no XPaths matched" message; $() drops newlines.

    if [ -n "$nextkey" ] ; then
        s3get=$s3url"&marker=$nextkey"
        i=$((i+1))
    else
        break
    fi
done