阅读大型json文件的最佳做法?

时间:2013-10-17 19:53:25

标签: php json node.js mongodb couchdb

我有几个数据存储为json,最好将它们加载到mongodb或couchdb(可能在像Mongolab这样的远程主机上),像http://fatfreeframework.com/jig这样的平面文件json db,解析文件使用PHP(或Node等)或其他方法直接在服务器上?文件很大,将它们加载到内存中并不好,但我对所有内容都开放。

1 个答案:

答案 0 :(得分:3)

听起来你想:

  1. 以JSON格式存储大量数据
  2. 查询特定的JSON文档
  3. 返回匹配文档的一小部分
  4. 我不能代表CouchDB,但在MongoDB中这很容易:

    1. 使用mongoimport将您的JSON文档加载到MongoDB中。

    2. 使用ensureIndex()

    3. 为您要查询的字段编制索引
    4. 使用find()命令查询所需文档(criteria参数)并返回目标密钥子集(projection参数)

    5. 这里的主要限制是“巨大的”JSON文档的大小。 MongoDB将每个文档限制为16MB,因此如果它们大于此值,则需要删除一些数据或做一些花哨的技巧才能使其工作。如果它们符合该限制,那么MongoDB应该是满足您要求的一种很好的方式。