我正在尝试创建一个好的脚本来将我的文件备份到Amazon S3
存储服务中。
考虑到这一点,我正在使用s3cmd
工具,这看起来非常有用。
但有一件事让我很困扰。
有时当我上传一个文件时,它会给我以下消息错误:
s3cmd sync --skip-existing -r --check-md5 -p -H --progress ./files/ s3://company-backup/files/
./files/random-file.1 -> s3://company-backup//files/random-file.1 [1 of 11]
3358720 of 14552064 23% in 10s 299.86 kB/s failed
WARNING: Upload failed: ./files/random-file.1 (timed out)
WARNING: Retrying on lower speed (throttle=0.00)
WARNING: Waiting 3 sec...
所以我在网上找到了this post,它基本上是说要增加配置文件中的
socket_timeout
,但是我如何才能找出对许多不同大小的文件最好的timeout
?我的意思是,有时我需要发送
100MB
和其他时间10GB
。最糟糕的是,当连接被timeout
关闭时,它会尝试再次发送文件,但它不会从停止它的位置开始,但是,重新开始,我真的需要避免这种情况。所以这里有两个问题:
1-如何知道最佳值
2-如何阻止我的上传?(在超时的情况下)
最佳答案
回答问题的第二部分。新版本的s3cmd支持gets和puts上的--continue
parameter。
关于linux - S3CMD超时,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/16653286/