为什么python列表可以容纳比numpy数组更多的数据?

时间:2019-03-02 17:22:35

标签: python arrays numpy memory out-of-memory

对不起,我觉得这可能是一个基本问题,但是我没有找到任何“解决方案”。

我正在用大量数据填充python列表,最后想将其转换为numpy.array进行进一步处理。

但是,当我调用numpy.asarray(my_list)时,出现内存不足错误。为什么会这样呢?是因为numpy.array对象存储在连续的内存块中,而没有足够的内存空间吗?

那我如何最好地处理如此大的数据量?我猜想numpy肯定是要走的路,所以我有点好奇,我可以用简单的list对象来处理这样的卷,而不能用我目前的numpy方法来处理。

再次重复我最重要的问题:我怎样才能最好地处理适合python lists的数据(所以我认为总体上它仍然可以存储在我的内存中),但是无法转换为numpy.array

谢谢!

1 个答案:

答案 0 :(得分:0)

为numpy数组分配内存,从不首先创建列表。

由于原始列表适合存储在内存中,因此内存映射不是必需的。