在Mongodb中存储Numpy或Pandas数据

时间:2014-04-14 22:12:34

标签: python mongodb numpy pandas

我试图决定将我的时间序列数据存储在mongodb中的最佳方法。在mongo之外,我使用它们作为numpy数组或pandas DataFrames。我见过很多人(例如在这个post中)建议腌制它并存储二进制文件,但我认为pickle永远不能用于长期存储。这只适用于可能对其类结构进行底层代码更改的数据结构吗?换句话说,numpy数组可能稳定得很好,但是pandas DataFrames可能会变坏,因为大熊猫仍在不断发展?

更新:

一位朋友向我指出了这一点,这似乎是我想要的良好开端:

http://docs.scipy.org/doc/numpy/reference/routines.io.html

Numpy有自己的二进制文件格式,应该是长期存储稳定的。一旦我得到它实际工作,我会回来发布我的代码。如果其他人已经完成了这项工作,我将很乐意接受你的回答。

1 个答案:

答案 0 :(得分:1)

我们已经构建了一个开源库,用于在MongoDB中存储数字数据(Pandas,numpy等):

https://github.com/manahl/arctic

最重要的是,它易于使用,速度非常快,支持数据版本控制,多个数据库等。

相关问题