将大集合插入另一个集合

时间:2012-12-01 19:51:54

标签: mongodb pymongo

我收集了30000份表格的文件:

<_id:X src: 1 , dst:2}
<_id:X src: 1 , dst:3}
<_id:X src: 1 , dst:4}
<_id:X src: 1 , dst:5}
<_id:X src: 1 , dst:6}
<_id:X src: 1 , dst:7}
...

我将此集合转换为以下形式:

<_id: 1 , listOfNumbers:[2, 3, 4, 5, 6, 7}
<_id: 2 , dst:0}
<_id: 3 , dst:0}
<_id: 5 , dst:0}
<_id: 7 , dst:0}
<_id: 9 , dst:0}
...

我通过使用MapReduce操作和push方法来完成此操作,转换10000个文档需要12秒,转换20000个文档需要75秒。

有人知道如何更快地完成这项工作吗?索引在这里发挥作用吗?

谢谢!

0 个答案:

没有答案