我在这个问题的代码中实现了一个变体:
Non-blocking read on a subprocess.PIPE in python
尝试从这个虚拟程序test.py
实时读取输出:
import time,sys
print "Hello there"
for i in range(100):
time.sleep(0.1)
sys.stdout.write("\r%d"%i)
sys.stdout.flush()
print
print "Go now or I shall taunt you once again!"
另一个问题的变化是调用程序必须逐个字符而不是逐行读取,因为虚拟程序test.py
通过使用\r
在一行上输出进度指示。所以这就是:
import sys,time
from subprocess import PIPE, Popen
from threading import Thread
try:
from Queue import Queue, Empty
except ImportError:
from queue import Queue, Empty # python 3.x
ON_POSIX = 'posix' in sys.builtin_module_names
def enqueue_output(out, queue):
while True:
buffersize=1
data = out.read(buffersize)
if not data:
break
queue.put(data)
out.close()
p = Popen(sys.executable + " test.py", stdout=PIPE, bufsize=1, close_fds=ON_POSIX)
q = Queue()
t = Thread(target=enqueue_output, args=(p.stdout, q))
t.daemon = True # thread dies with the program
t.start()
while True:
p.poll()
if p.returncode:
break
# read line without blocking
try:
char = q.get_nowait()
time.sleep(0.1)
except Empty:
pass
else: # got line
sys.stdout.write(char)
sys.stdout.flush()
print "left loop"
sys.exit(0)
此问题有两个问题
p.returncode
永远不会返回值,并且不会留下循环。怎么解决?buffersize
的情况下提高效率?答案 0 :(得分:2)
正如@Markku K.所指出的那样,你应该使用bufsize=0
一次读取一个字节。
您的代码不需要非阻塞读取。你可以简化它:
import sys
from functools import partial
from subprocess import Popen, PIPE
p = Popen([sys.executable, "test.py"], stdout=PIPE, bufsize=0)
for b in iter(partial(p.stdout.read, 1), b""):
print b # it should print as soon as `sys.stdout.flush()` is called
# in the test.py
p.stdout.close()
p.wait()
注意:一次读取1个字节效率非常低。
此外,通常情况下,a block-buffering issue有时可以使用pexpect
, pty
modules或unbuffer
, stdbuf
, script
command-line utilities来解决。
对于Python进程,您可以使用-u
标志强制stdin,stdout,stderr流的非缓冲(二进制层)。