Question

我在这个问题的代码中实现了一个变体：

Non-blocking read on a subprocess.PIPE in python

尝试从这个虚拟程序test.py实时读取输出：

import time,sys

print "Hello there"
for i in range(100):
    time.sleep(0.1)
    sys.stdout.write("\r%d"%i)
    sys.stdout.flush()
print
print "Go now or I shall taunt you once again!"

另一个问题的变化是调用程序必须逐个字符而不是逐行读取，因为虚拟程序test.py通过使用\r在一行上输出进度指示。所以这就是：

import sys,time
from subprocess import PIPE, Popen
from threading  import Thread

try:
    from Queue import Queue, Empty
except ImportError:
    from queue import Queue, Empty  # python 3.x

ON_POSIX = 'posix' in sys.builtin_module_names

def enqueue_output(out, queue):
    while True:
        buffersize=1
        data = out.read(buffersize)
        if not data:
            break
        queue.put(data)
    out.close()

p = Popen(sys.executable + " test.py", stdout=PIPE, bufsize=1, close_fds=ON_POSIX)
q = Queue()
t = Thread(target=enqueue_output, args=(p.stdout, q))
t.daemon = True # thread dies with the program
t.start()

while True:
    p.poll()
    if p.returncode:
        break
    # read line without blocking
    try:
        char = q.get_nowait()
        time.sleep(0.1)
    except Empty:
        pass
    else: # got line
        sys.stdout.write(char)
        sys.stdout.flush()

print "left loop"
sys.exit(0)

此问题有两个问题

永不退出 - p.returncode永远不会返回值，并且不会留下循环。怎么解决？
真的很慢！有没有办法在不增加buffersize的情况下提高效率？

Answer 1

正如@Markku K.所指出的那样，你应该使用bufsize=0一次读取一个字节。

您的代码不需要非阻塞读取。你可以简化它：

import sys
from functools import partial
from subprocess import Popen, PIPE

p = Popen([sys.executable, "test.py"], stdout=PIPE, bufsize=0)
for b in iter(partial(p.stdout.read, 1), b""):
    print b # it should print as soon as `sys.stdout.flush()` is called
            # in the test.py
p.stdout.close()
p.wait()

注意：一次读取1个字节效率非常低。

此外，通常情况下，a block-buffering issue有时可以使用pexpect, pty modules或unbuffer, stdbuf, script command-line utilities来解决。

对于Python进程，您可以使用-u标志强制stdin，stdout，stderr流的非缓冲（二进制层）。

python中子进程PIPE上的非阻塞读取，一次一个字节

1 个答案: