我绝对是AWS的初学者:我已经创建了一个密钥和一个实例,要在EC2环境中运行的python脚本需要遍历约80,000个文件,标记其中的句子,并使用这些句子进行一些无监督的学习。

这可能是重复的;但是我找不到将这些文件复制到EC2环境并在EC2中运行python脚本的方法,我也不太确定如何使用boto3。我正在使用Mac OS。我只是在寻找加快速度的任何方法。非常感谢!我永远感激!!!

最佳答案

这是我最近尝试过的方法:


创建存储桶,并使该存储桶可供公众访问。
创建角色并添加HTTP选项。
上载所有文件,并确保文件可公共访问。
获取S3文件的HTTP链接。
通过腻子连接实例。
wget将文件复制到EC2
实例。


如果文件是zip格式,则一次复制足以将所有文件移到实例中。

07-24 09:39
查看更多