除s3cmd外，自动同步两个Amazon S3存储桶？

Question

除了使用s3cmd之外，还有另一种同步两个Amazon S3存储桶的自动方式吗？也许亚马逊有这个选项吗？环境是linux，每天我想同步新的＆amp;删除文件到另一个桶。我讨厌将所有鸡蛋放在一个篮子里的想法。

Answer 1

您可以使用标准的Amazon CLI进行同步。 你只需要做一些事情：

aws s3 sync s3://bucket1/folder1 s3://bucket2/folder2

http://aws.amazon.com/cli/

Answer 2

我正在寻找类似的东西，有几个选择：

1. 商业应用程序，例如：s3RSync。此外，S3的CloudBerry为Windows提供了可用于编写脚本的Powershell扩展，但我知道您正在使用* nix。
2. AWS API +（Fav语言）+ Cron。 （听我说）。这需要一个在AWS的库中没有经验的相当精明的人在短时间内构建复制和比较文件的东西（使用s3键的ETag功能）。只需提供源/目标存储桶，信用卡，并通过密钥迭代并在AWS中发出本机“复制”命令。我用过Java。如果你使用Python和Cron，你可以做一个有用工具的简短工作。

我仍在寻找已经构建的开源或免费的东西。但＃2真的不是一项非常艰巨的任务。

编辑：我回到这篇文章并意识到现在Attunity CloudBeam也是许多人的商业解决方案。

Answer 3

S3 buckets！= baskets

来自site：

  

数据持久性和可靠性

     

Amazon S3提供高度持久的存储基础架构，专为关键任务和主数据存储而设计。对象冗余地存储在Amazon S3 Region中多个设施的多个设备上。为了确保持久性，Amazon S3 PUT和COPY操作在返回SUCCESS之前将数据同步存储在多个设施中。存储后，Amazon S3会通过快速检测和修复任何丢失的冗余来维护对象的持久性。 Amazon S3还定期验证使用校验和存储的数据的完整性。如果检测到损坏，则使用冗余数据对其进行修复。此外，Amazon S3会计算所有网络流量的校验和，以便在存储或检索数据时检测数据包的损坏。

     

Amazon S3的标准存储是：

     

  
• 支持Amazon S3服务水平协议。
  
• 旨在提供99.999999999％的耐久性和99.99％的对象在特定年份的可用性。
  
• 旨在维持两个设施中同时丢失的数据。
  

     

Amazon S3通过版本控制提供进一步的保护。您可以使用版本控制来保存，检索和还原存储在Amazon S3存储桶中的每个对象的每个版本。这使您可以轻松地从意外的用户操作和应用程序故障中恢复。默认情况下，请求将检索最近编写的版本。可以通过在请求中指定版本来检索旧版本的对象。存储费率适用于存储的每个版本。

非常可靠。