S3存储桶之间的批量复制

Question

我想将一个S3存储桶中的文件列表复制到另一个存储桶。

迭代文件并使用boto3＆＃34; bucket.copy＆＃34; (link)功能非常慢。

有没有办法执行批量复制或加快速度？

Answer 1

AWS Command-Line Interface (CLI)有一个aws s3 sync选项，可以将新的和更新的文件从源目录递归复制到目标。

请参阅：Sync documentation

使用python进行递归复制，请参阅：Boto3 to download all files from a S3 Bucket