AWS Storage网关用于在S3中缓存数百万个文件

Question

我们有一个用例，其中我们需要从Java应用程序访问几乎数百万个文件。当前，我们将它们存储在EBS卷中。事实证明这是一个昂贵的选择（因为我们现在已达到15TB），因此我们正在寻找S3作为文件存储。我们可以承受延迟。

一个选择是使用s3fs挂载S3并访问文件。但是我正在探索AWS Storage网关的选项，如果它可以提供更好的缓存和更快的访问。 s3fs遇到了很多问题，因此正在寻找替代方法。

Answer 1

尽可能避免使用s3fs，因为它仅模拟文件系统，并且可能会遇到利用率高的问题。

最佳解决方案是让您的应用程序通过S3 API调用直接从Amazon 访问文件，而不是假装S3是文件系统。这对于大型应用程序非常有效，并且您没有管理/维护开销，因为您的应用程序直接与S3通信。您应该认真考虑这个选项。

如果确实需要通过文件系统访问文件，请考虑使用AWS Storage Gateway – File Gateway，它可以将S3存储显示为NFS共享。