大数组在numpy中创建MemoryError

Question

是否有解决内存错误问题的方法？

内存是8 GB，我想完成广播操作，但确实有巨大的成本。

鉴于条件：

interdata = data[:, None] - data[None]

数据的形状为[1000, 32, 32]，我希望 interdata 的形状为 [1000, 1000, 32, 32] ，这似乎对我来说太大了。

有没有办法解决这个难题？

Answer 1

  

有没有办法解决这个难题？

当然，但要付出代价。 。

numpy 可以使用 .memmap() -ed资源，其中磁盘容量是您的下一个容量＆＃34;天花板＆＃34 ;

然而，这会让您进入SSD设备托管[us] - <存储或 .memmap() 的 ~1E+1 [ms] 单位旋转驱动器，所以记住这一点。

如果这是不可接受的，那么现在有相当昂贵的COTS平台提供多TB容量或RAM，其中 [ns] -rule。