Question

编辑：我确认这是Python中的错误。它是bug http://bugs.python.org/issue10332（我提交了一个新的bug，维护者将其指向10332）。我将多源处理目录从Python源代码复制到我的项目目录中，测试用例现在正常工作。

除非我删除maxtasksperchild参数，否则这个看似简单的程序对我不起作用。我做错了什么？

from multiprocessing import Pool
import os
import sys

def f(x):
  print "pid: ", os.getpid(), " got: ", x
  sys.stdout.flush()
  return [x, x+1]

def cb(r):
  print "got result: ", r

if __name__ == '__main__':
  pool = Pool(processes=1, maxtasksperchild=9)
  keys = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
  result = pool.map_async(f, keys, chunksize=1, callback=cb)
  pool.close()
  pool.join()

当我运行它时，我得到：

$ python doit.py
pid:  6409  got:  1
pid:  6409  got:  2
pid:  6409  got:  3
pid:  6409  got:  4
pid:  6409  got:  5
pid:  6409  got:  6
pid:  6409  got:  7
pid:  6409  got:  8
pid:  6409  got:  9

它挂了。也就是说，处理第10个元素的新工人没有产生。

在另一个终端，我看到：

$ ps -C python
  PID TTY          TIME CMD
 6408 pts/11   00:00:00 python
 6409 pts/11   00:00:00 python <defunct>

这是在运行python 2.7.2+的Ubuntu 11.10上完成的（从ubuntu软件包安装）。

Answer 1

maxtasksperchild表示一个处理执行最大任务数。

Answer 2

此问题已在python3中修复。

pid:  18316  got:  1
pid:  18316  got:  2
pid:  18316  got:  3
pid:  18316  got:  4
pid:  18316  got:  5
pid:  18316  got:  6
pid:  18316  got:  7
pid:  18316  got:  8
pid:  18316  got:  9
pid:  18317  got:  10
got result:  [[1, 2], [2, 3], [3, 4], [4, 5], [5, 6], [6, 7], [7, 8], [8, 9], [9, 10], [10, 11]]

使用maxtasksperchild进行python多处理

2 个答案: