Question

预先警告：出于好奇，我在这里乱砍。我没有特别的理由去做我在下面做的事情！

以下是Python 2.7.13

上的MacOS 10.12.5

我正在使用python进行攻击，我认为如果我stdout非阻塞

，会发生什么事情会很有趣

fcntl.fcntl(sys.stdout.fileno(), fcntl.F_SETFL, os.O_NONBLOCK)

对fcntl的调用肯定是成功的。然后我尝试写入大量数据（大于OSX上管道的最大缓冲区大小 - 这是65536字节）。我以各种方式做到这一点并得到不同的结果，有时是例外，有时看起来很难。但

案例1

fcntl.fcntl(sys.stdout.fileno(), fcntl.F_SETFL, os.O_NONBLOCK)
try:
    sys.stdout.write("A" * 65537)
except Exception as e:
    time.sleep(1)
    print "Caught: {}".format(e)

# Safety sleep to prevent quick exit
time.sleep(1)

这总是抛出异常Caught: [Errno 35] Resource temporarily unavailable。我觉得这很有道理。更高级别的文件对象包装器告诉我写入调用失败。

案例2

fcntl.fcntl(sys.stdout.fileno(), fcntl.F_SETFL, os.O_NONBLOCK)
try:
    sys.stdout.write("A" * 65537)
except Exception as e:
    print "Caught: {}".format(e)

# Safety sleep to prevent quick exit
time.sleep(1)

这有时会引发异常Caught: [Errno 35] Resource temporarily unavailable，或者有时没有异常被捕获，我看到以下输出：

close failed in file object destructor:
sys.excepthook is missing
lost sys.stderr

案例3

fcntl.fcntl(sys.stdout.fileno(), fcntl.F_SETFL, os.O_NONBLOCK)
try:
    sys.stdout.write("A" * 65537)
except Exception as e:
    print "Caught: {}".format(e)

# Safety sleep to prevent quick exit
time.sleep(1)

print "Slept"

这有时会引发异常Caught: [Errno 35] Resource temporarily unavailable或有时没有异常被抓住，我只看到＆＃34;睡觉＆＃34;。似乎是通过print＆＃34;睡眠＆＃34;我没有从案例2中收到错误消息。

案例4

fcntl.fcntl(sys.stdout.fileno(), fcntl.F_SETFL, os.O_NONBLOCK)
try:
    os.write(sys.stdout.fileno(), "A" * 65537)
except Exception as e:
    print "Caught: {}".format(e)

# Safety sleep to prevent quick exit
time.sleep(1)

总是好的！

案例5

fcntl.fcntl(sys.stdout.fileno(), fcntl.F_SETFL, os.O_NONBLOCK)
try:
    print os.write(sys.stdout.fileno(), "A" * 65537)
except Exception as e:
    print "Caught: {}".format(e)

# Safety sleep to prevent quick exit
time.sleep(1)

这有时可以，或者有时打印close failed in file object destructor错误消息。

我的问题是，为什么在python中这样会失败？我在这里做了一些根本不好的事情 - 使用python还是在系统级别？

似乎某种程度上，当写入已经失败时，写入stdout太快会导致错误消息。该错误似乎不是例外。不知道它来自哪里。

N.B。我可以在C中编写等效的程序，它可以正常工作：

#include <stdio.h>
#include <stdlib.h>
#include <memory.h>
#include <sys/fcntl.h>
#include <unistd.h>

int main(int argc, const char * argv[])
{
    const size_t NUM_CHARS = 65537;
    char buf[NUM_CHARS];

    // Set stdout non-blocking
    fcntl(fileno(stdout), F_SETFL, O_NONBLOCK);

    // Try to write a large amount of data
    memset(buf, 65, NUM_CHARS);
    size_t written = fwrite(buf, 1, NUM_CHARS, stdout);

    // Wait briefly to give stdout a chance to be read from
    usleep(1000);

    // This will be written correctly
    sprintf(buf, "\nI wrote %zd bytes\n", written);
    fwrite(buf, 1, strlen(buf), stdout);
    return 0;
}

Answer 1

这很有趣。到目前为止，我发现了一些事情：

案例1

这是因为sys.stdout.write将写入所有字符串或抛出异常，这在使用O_NONBLOCK时不是所需的行为。当对write的基础调用返回EAGAIN（OS X上的Errno 35）时，应该再次尝试使用剩余的数据。应该使用os.write，并检查返回值以确保写入所有数据。

此代码按预期工作：

fcntl.fcntl(sys.stdout.fileno(), fcntl.F_SETFL, os.O_NONBLOCK)

def stdout_write(s):
    written = 0
    while written < len(s):
        try:
            written = written + os.write(sys.stdout.fileno(), s[written:])
        except OSError as e:
            pass

stdout_write("A" * 65537)

案例2

我怀疑此错误消息是由于 https://bugs.python.org/issue11380：

close failed in file object destructor:
sys.excepthook is missing
lost sys.stderr

我不确定为什么有时会被召唤。这可能是因为print语句中有except尝试使用相同的stdout写入失败。

案例3

这与案例1类似。此代码始终适用于我：

fcntl.fcntl(sys.stdout.fileno(), fcntl.F_SETFL, os.O_NONBLOCK)

def stdout_write(s):
    written = 0
    while written < len(s):
        try:
            written = written + os.write(sys.stdout.fileno(), s[written:])
        except OSError as e:
            pass

stdout_write("A" * 65537)

time.sleep(1)

print "Slept"

案例4

确保检查os.write的返回值，我怀疑没有成功写入完整的65537个字节。

案例5

这与案例2类似。

在python

1 个答案: