Question

我正在尝试的代码是：

def update_vm(si, vm):
    env.host_string = vm
    with settings(user=VM_USER, key_filename=inputs['ssh_key_path']):
        put(local_file, remote_zip_file)
        run('tar -zxpf %s' % remote_zip_file)
        run('sudo sh %s' % REMOTE_UPDATE_SCRIPT)
        response_msg = run('cat %s' % REMOTE_RESPONSE_FILE)
        if 'success' in response_msg:
            #do stuff
        else:
            #do stuff

def update_vm_wrapper(args):
    return update_vm(*args)

def main():
    try:
        si = get_connection()
        vms = [vm1, vm2, vm3...]
        update_jobs = [(si, vm) for vm in vms]
        pool = Pool(30)
        pool.map(update_vm_wrapper, update_jobs)
        pool.close()
        pool.join()
    except Exception as e:
        print e
if __name__ == "__main__":
    main()

现在问题是我看到它试图将zip文件放在相同的vm（比如vm1）中3次（我想vms的长度）。并尝试执行其他ssh命令3次。

使用update_vm（）方法的锁解决了这个问题。但它看起来不再是多处理器解决方案。它更像是循环遍历。

我在这里做错了什么？

Answer 1

Fabric为parallel execution of tasks提供了自己的工具 - 您应该使用它们，而不是仅仅尝试在多处理池中执行Fabric任务。问题是env对象在执行任务时发生了变异，因此不同的工作者互相踩踏（除非你把锁定放在其中）。

来自pythons多处理的奇怪行为

1 个答案: