我的S3存储桶上有大约100万个文件,不幸的是这些文件上传的扩展名错误。我需要添加一个' .gz'扩展到该存储桶中的每个文件。
我可以通过使用aws cli来管理:
aws s3 mv bucket_name/name_1 bucket_name/name_1.gz
这样可以正常运行,但脚本运行速度很慢,因为它逐个移动文件,在我的计算中它需要最多1周,这是不可接受的。
我想知道我们是否有更好更快的方法来实现这一目标?
答案 0 :(得分:0)
您可以尝试支持多线程调用的S3 Browser。 http://s3browser.com/
我怀疑其他工具也可以做多线程,但CLI没有。
答案 1 :(得分:0)
S3文件/存储桶没有重命名功能,因此您需要移动或复制/删除文件。如果文件很大,那确实有点慢。
然而,没有任何东西阻止您等待请求完成以继续“重命名”列表中的下一个文件,只需处理它。