Question

以下代码未按预期执行。

import multiprocessing

lock = multiprocessing.Lock()
def dummy():
    def log_results_l1(results):
        lock.acquire()
        print("Writing results", results)
        lock.release()

    def mp_execute_instance_l1(cmd):
        print(cmd)
        return cmd

    cmds = [x for x in range(10)]

    pool = multiprocessing.Pool(processes=8)

    for c in cmds:
        pool.apply_async(mp_execute_instance_l1, args=(c, ), callback=log_results_l1)

    pool.close()
    pool.join()
    print("done")


dummy()

但如果函数没有嵌套，它确实有效。发生了什么事。

Answer 1

multiprocessing必须腌制函数和参数。功能按其合格名称进行腌制;实际上，在unpickling上，另一个进程需要能够导入它们所定义的模块并执行getattr调用以找到有问题的函数。嵌套函数在其定义的函数之外的名称不可用，因此酸洗失败。当您将函数移动到全局范围时，您可以解决此问题，这就是为什么它在您执行此操作时的作用。

多处理池不在嵌套函数中工作

1 个答案: