我应该如何使用MongoDB GridFS来存储我的大尺寸数据?

时间:2013-09-11 08:47:34

标签: mongodb gridfs

在我阅读MongoDB Gridfs官方文档后,我知道MongoDB使用GridFS存储大文件(大小> 16M),文件可以是视频,电影或其他任何东西。但是现在,我遇到的是,大型结构化数据,而不是简单的物理文件。数据大小超出限制。为了使它更详细,我正在处理的是数千个基因序列,其中许多超过BSON文档大小限制。你可以只考虑每个基因序列作为一个简单的字符串,字符串是如此之大,以至于某些字符串有超过mongoDB BSOM大小限制。那么,我该怎么做才能解决这个问题呢? GridFS仍然适合解决我的问题吗?

1 个答案:

答案 0 :(得分:1)

GridFS将以较小的分割数据,这就是它如何克服大小限制。它对流数据特别有用,因为您可以快速访问任何给定偏移量的数据,因为块已被索引。

存储数十兆字节的“结构化”数据听起来有点奇怪:要么您需要根据某些标准访问部分数据,那么您需要一个不同的数据结构来访问较小的数据部分。 / p>

或者您确实需要根据某些标准处理整个数据集。在这种情况下,您需要一个有效索引的集合,您可以根据您的条件查询该集合,并且该集合包含必须处理的文件的ID。

如果没有问题的具体示例,即查询和数据结构是什么样的,那么很难给出更详细的答案。

相关问题