从AWS EC2 EBS下载大文件的最快方法

Question

假设我在EC2实例的块存储上累积了几个TB的数据文件。

将它们下载到本地计算机的最有效方法是什么？ scp？ ftp？ nfs？ http？ rsync？通过中间s3桶？ Torrent通过多台机器？针对这个特殊问题的任何特殊工具或脚本？

Answer 1

请遵守以下规则：

• 作为一个文件移动，将所有内容tar到一个存档文件中。
• 在与EC2 / EBS相同的区域中创建S3存储桶。
• 使用AWS CLI S3命令将文件上传到S3存储桶。
• 使用AWS CLI将文件提取到本地或其他存储位置。

这对您来说是最简单，最有效的方式。

Answer 2

需要有关此用例的更多信息。我希望以下概念是有用的：

• HTTP - 快速，易于实施，功能多样，开销小。
• Resilio （以前称为BitTorrent Sync） - 快速，易于部署，分散且安全。可以处理传输中断。如果两个端点都在NAT后面，则可以工作。
• rsync - 老派和众所周知的解决方案。可以恢复传输并快速同步大量数据。
• 上传到S3并从那里开始 - 上传到S3很快。下一步您可以使用HTTP（S）或BitTorrent来获取数据。

Answer 3

由于我没有真正得到令人信服的答案，我决定自己做一个小测量。以下是我得到的结果：

更多详情here。