是否有可扩展的开源文件存储系统？

Question

有趣的是，什么软件使用Dropbox，rapidshare，hotfile等公司管理大量文件？有没有开源系统。我看了一下构建在mongo-db上的gridFS。看起来这不是最好的选择，因为速度（与nginx相比）。或者我错了吗？

我想要能无限扩展的系统。通过将服务器插入系统。列表为100 TB。

Answer 1

Checkout MogileFS - http://danga.com/mogilefs/ - 由Danga Interactive开发的开源文件系统，用于与他们的LiveJournal.com服务一起使用。

如果您不想/不能使用像亚马逊S3这样的云服务并运行自己的服务器，那么MogileFS可能是正确的选择。 MogileFS非常可靠，管理和扩展非常简单且便宜。

不幸的是，我无法为其他文件系统提供任何性能比较或基准测试。但是你不应该期望MogileFS在第一名，因为它在应用程序级别上工作，这也是一个优势。

有关更多信息，请参阅Google代码页：http://code.google.com/p/mogilefs/

Answer 2

Dropbox基于亚马逊的S3 Dropbox - Where are my files stored。

您可以在此处找到一些开源选项：Alternatives to Amazon S3

Answer 3

Hadoop的HDFS是一个可扩展的文件系统。另一个选项是GlusterFS

Answer 4

GlusterFs是一个开源的分布式文件系统。与HDFS不同，它没有集中式元数据。这意味着GlusterFS没有单一的失败点。

Answer 5

对于那些发现这个问题的googler：

FB有这么多文件，他们必须编写自己的文件系统;多个文件基本上存储在一个巨大的文件中，它们之间有标记。这样做是为了减少系统中的文件数量。

您需要的是Big Table的Google File System

Answer 6

你的意思是gridFS有容量限制吗？您能否更具体一点或指向您阅读的一些文档，因为我不知道gridFS的任何容量限制。