多处理内存限制

时间:2014-03-27 08:20:11

标签: python memory multiprocessing shared-memory

任何人都可以了解multiprocessing可以达到的最高记忆力吗? 当我运行一个大小为~40 Gb的数组的程序时,我遇到multiprocessing.Queue失败的问题,返回以下错误。相同的程序适用于较小的数组:

Traceback (most recent call last):
  File "/usr/lib/python2.7/multiprocessing/queues.py", line 266, in _feed
    send(obj)
SystemError: NULL result without error in PyObject_Call

那么有人可以分享一些有关大数据限制的信息吗?

谢谢

0 个答案:

没有答案
相关问题