S3：如何上传大量文件

Question

我必须上传100k个小文件（总大小：200MB）。

我尝试通过网络浏览器（AWS控制台）这样做，但在前15分钟，我上传的只有2MB。

将100k小文件上传到S3的最快方法是什么？

Answer 1

安装the AWS CLI tool，然后使用aws s3 cp命令或aws s3 sync命令将所有文件上传到S3。

或者，您可以考虑使用第三方S3客户端，例如Cyberduck和CloudBerry Explorer。

Answer 2

我有99,561个小文件，总计466MB，并尝试将它们从我的m4.16xlarge（64 CPU）EC2实例中尽快上传到S3。

• aws s3 sync花了10分钟
• Cyber​​Duck答应花费17分钟，但被绞死了。我在45分钟后将其终止。
• 乍一看，CloudBerry似乎只是Windows，所以我没有对其进行测试。
• s3-parallel-put --put=stupid花了9分钟
• s3-parallel-put --put=stupid --processes=64花了1分钟
• s3-parallel-put --put=stupid --processes=256花了19秒
• s3-parallel-put --put=stupid --processes=512用了18秒

我将继续提出s3-parallel-put解决方案。