如何在Python中的父级和分叉子进程之间共享数据?

时间:2008-10-20 15:57:06

标签: python fork share

我很确定使用os.plock(op)函数可以做到这一点,但我不知道怎么做。此外,如果有更好的方法,我很高兴找到答案。代码片段非常受欢迎。

5 个答案:

答案 0 :(得分:13)

Subprocess取代了os.popen,os.system,os.spawn,popen2和命令。 simple example for piping将是:

p1 = Popen(["dmesg"], stdout=PIPE)
p2 = Popen(["grep", "hda"], stdin=p1.stdout, stdout=PIPE)
output = p2.communicate()[0]

您还可以使用带有flag = MAP_SHARED的memory mapped file来处理进程之间的共享内存。

multiprocessing抽象pipesshared memory,并提供更高级别的界面。取自Processing文档:

from multiprocessing import Process, Pipe

def f(conn):
    conn.send([42, None, 'hello'])
    conn.close()

if __name__ == '__main__':
    parent_conn, child_conn = Pipe()
    p = Process(target=f, args=(child_conn,))
    p.start()
    print parent_conn.recv()   # prints "[42, None, 'hello']"
    p.join()

答案 1 :(得分:7)

查看python 2.6中的multiprocessing新模块(也可用于早期版本pyprocessing

以下是说明使用管道传递信息的文档中的示例:

from multiprocessing import Process, Pipe

def f(conn):
    conn.send([42, None, 'hello'])
    conn.close()

if __name__ == '__main__':
    parent_conn, child_conn = Pipe()
    p = Process(target=f, args=(child_conn,))
    p.start()
    print parent_conn.recv()   # prints "[42, None, 'hello']"
    p.join()

答案 2 :(得分:4)

这几乎与Python无关!这是Unix进程间通信的典型例子。一个不错的选择是使用popen()在父进程和子进程之间打开管道,并沿管道来回传递数据/消息。

查看subprocess module,它可以在生成子进程时自动设置必要的管道。

答案 3 :(得分:1)

您有两个选项:os.popen*模块中的os,或者您可以使用subprocess模块获得相同的效果。 Python手册提供了popensubprocess的漂亮文档和示例。

答案 4 :(得分:0)

如果您正在进行低级操作系统分叉并且确实希望避免使用管道,则也可以使用共享内存映射文件。这不如使用subprocesspopen管道那么好,但包括完整性的答案......

有一个full example here,但基本上你可以将os文件处理和mmap模块结合起来:

import mmap, os, tempfile
fd, tmpfile = tempfile.mkstemp()
os.write(fd, '\x00' * mmap.PAGESIZE)
os.lseek(fd, 0, os.SEEK_SET)
child_pid = os.fork()
if child_pid:
    buf = mmap.mmap(fd, mmap.PAGESIZE, mmap.MAP_SHARED, mmap.PROT_READ)
    os.waitpid(child_pid, 0)
    child_message = buf.readline()
    print(child_message)
    os.close(fd)
else:
    buf = mmap.mmap(fd, mmap.PAGESIZE, mmap.MAP_SHARED, mmap.PROT_WRITE)
    buf.write('testing\n')
    os.close(fd)
相关问题