在Amazon S3上一次更新多个文件的扩展名

时间:2016-08-12 01:25:26

标签: ruby amazon-web-services amazon-s3 aws-sdk aws-cli

我的S3存储桶上有大约100万个文件,不幸的是这些文件上传的扩展名错误。我需要添加一个' .gz'扩展到该存储桶中的每个文件。

我可以通过使用aws cli来管理: aws s3 mv bucket_name/name_1 bucket_name/name_1.gz

这样可以正常运行,但脚本运行速度很慢,因为它逐个移动文件,在我的计算中它需要最多1周,这是不可接受的。

我想知道我们是否有更好更快的方法来实现这一目标?

2 个答案:

答案 0 :(得分:0)

您可以尝试支持多线程调用的S3 Browser。 http://s3browser.com/

我怀疑其他工具也可以做多线程,但CLI没有。

答案 1 :(得分:0)

S3文件/存储桶没有重命名功能,因此您需要移动或复制/删除文件。如果文件很大,那确实有点慢。

然而,没有任何东西阻止您等待请求完成以继续“重命名”列表中的下一个文件,只需处理它。

相关问题