我已经将一个1-Gig EBS卷安装到一个EC2实例上,
我正在从本地硬盘驱动器复制600MB二进制数据(通过RDS连接)
并且复制过程窗口显示剩余10小时
虽然我有高速连接(100 + Mbps)

不管数据量如何,数据传输速率均为1分钟/MB(即16Kbs/秒)
我在阅读工作站前的Moby Dick还是休假之间都有些犹豫。

是否有合理的选择来加快此传输速率? (理想情况下,至少为512 Kbps/秒)
我非常乐意采用任何解决方案来缩短EC2实例到/从EC2实例的上载/下载时间。

提前致谢。

编辑:
我偶然发现了[Amazon Export/Import Service] [1]
“AWS Import/Export加快了AWS云与您邮寄给我们的便携式存储设备之间的大量数据传输”。通过“邮寄给我们”,它们的字面意思是您“实质上”将存储设备运送到了Amazon。不要说这是Stoneage,这是全新的技术,Dude! :-)

编辑2:
听起来不错:[适用于AW的Aspera] [2],但是很不幸,它太贵了;为有大量需求和大量现金的《财富》 500强企业量身定做。

最佳答案

有时候,如果您想完成某件事,最好自己动手做:-)
我在网上找不到任何令人满意的东西,因此整晚都花了自己的时间完成了完整基准测试
我已经测试了一些替代方案/场景,结果如下:

EC2上安装的FTP服务器是Filezilla服务器(正确的配置很容易)
用于此基准测试的FTP客户端是WinSPC(Filezilla客户端不起作用。请参见this other post
图例:[HC]代表家庭连接(100MBps)
上传带宽
RDS上传: 15 Kb/S =>更糟
FTP上传[在EC2上安装了FTP服务器]: 100 Kb/S
从HC从AWS管理控制台上传到S3: 60 Kb/S
使用EC2上的AWS Console界面上传到S3: 145 Kb/S
从HC使用S3 Browser上传到S3: 120 Kb/S
从EC2使用S3 Browser上载到S3: 2000 Kb/S

下载带宽
RDS下载和上传: 15 Kb/S =>更糟
FTP下载[在EC2上安装了FTP服务器]: 360 Kb/S
从EC2的S3 AWS控制台界面下载: 350 Kb/S
使用S3 Browser从S3下载:从HC: 380至620 Kb/S
使用S3 Browser从S3下载:从EC2中下载: 3000 Kb/S

结论:

因此,到目前为止,Amazon S3的与S3浏览器结合使用可获得最佳结果
(S3浏览器只是S3之上的一层,我不明白为什么上传速度会更好)
但是,请记住,EC2实例上的FTP服务器具有将本地EC2目录直接映射到EC2的巨大优势。 与S3不同,仅涉及一次传输。实际上,S3需要进行2次传输:从本地资源到S3/从S3到EC2,反之亦然,而FTP访问则通过缩短传输周期来实现即时性。此外,它节省了S3铲斗的成本。
值得一提的是,EC2实例的带宽确实很强。因此,更有趣的是-不用说,使用真正利用它的协议(protocol),例如S3或FTP,而不是RDS。

我希望这对面临相同问题的其他人有用,并节省他们宝贵的时间。

09-10 03:19
查看更多