使用Boto将多个路径/文件从S3复制到S3

时间:2017-08-16 12:36:12

标签: amazon-s3 boto boto3

我有一堆S3文件和文件夹需要在本地复制,解密,然后复制到我的S3存储桶中。

每个S3存储桶的设置有所不同,但基本上是这样的:

S3存储桶名称>事件文件夹(例如,A,B,C,D,E)> country子文件夹(例如,英国,美国,德国)>包含所有数据“运行”的子文件夹(2017年1月,2017年2月等)>子文件夹中的文件。

我需要复制一些事件,例如只有A,C适用于少数几个国家,例如只有英国和德国,最新的'数据运行'即。 2017年八月。我需要每月做一次,实际上,我需要100条路径,所以我真的不想手动复制每一条路径。复制整个存储桶也不是一个选择,因为它太大了。

我想知道boto是否是最好的工具,或者它是否只允许我一次复制一个路径。 S3文件是.gzip格式,因此我无法直接将其复制到我的S3存储桶(必须先解密)。我一直试图寻找一个例子但找不到东西。

编辑:我看了一下递归函数但是(我相信)只适用于同一文件夹中的文件。所以如果你有一个文件夹>子文件夹>子文件夹>你被搞砸的文件。

谢谢!

0 个答案:

没有答案
相关问题