使用PyTables逐步构建和存储大型稀疏矩阵

时间:2015-02-27 17:51:09

标签: python scipy sparse-matrix pytables

我试图从文本文档开始构建一个非常大的稀疏矩阵(表示无向的加权图)。行(和列)的数量是词汇表的大小,可以变化,可以包含数万个条目:当我尝试构建超过100000x100000的矩阵时,问题首先出现。我打算经常从这个矩阵中检索行。

我安装了PyTables,但现在我有点卡住了。我希望通过首先初始化它来存储和写入我的大矩阵(可能是scily的lil_matrix),然后循环遍历图形的所有加权边缘的列表,逐步填充相应的条目。矩阵与它们的重量。我不知道如何实现这一目标;到目前为止,我已经发现并且只考虑了一次存储整行的方法,但在我的情况下,这种方法要么太记忆要么耗费时间。

感谢所有的帮助,谢谢!

0 个答案:

没有答案