twisted deferToThread tcp connections

Question

我是新来的扭曲，试图写我的第一个应用程序，我实际上坚持这个问题：

我有一个主线程加载了一堆模块来运行，每个模块都位于远程服务器上并通过tcp连接提供，这里模块运行代码如下：

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import socket
import struct

from twisted.internet import endpoints
from twisted.internet.defer import inlineCallbacks
from twisted.spread import pb
from txapp.core import get_modules

from txmod.spread import EnvelopeSpreadReceiver


@inlineCallbacks
def listen(reactor):
    modules = yield get_modules()

    for mod in modules:
        endpoint = endpoints.serverFromString(reactor, 'tcp:%d:%s' %
                                              (int(mod.get('module_server_port') or 0),
                                               socket.inet_ntoa(struct.pack('!L', mod.get('module_server_ipaddr'))),))
        endpoint.listen(pb.PBServerFactory(EnvelopeSpreadReceiver()))
        print 'PBServerFactory starting on %s:%d for module %s' % (
            socket.inet_ntoa(struct.pack('!L', mod.get('module_server_ipaddr'))),
            int(mod.get('module_server_port')),
            mod.get('module_name'))


def main():
    from twisted.internet import reactor
    listen(reactor)
    reactor.run()


if __name__ == "__main__":
    main()

给定服务器可能在不同端口上运行多个模块，但通常是： 1个服务器，1个模块

运行应用程序的主服务器将尝试连接到每个模块，运行代码并期望结果（成功与否）。

我正在努力解决如何使这段代码无阻塞：如果服务器无法响应，tcp连接可能会挂起，那么我应该将每个模块的tcp连接放在一个带有deferToThread的单独线程上吗？

主应用程序每天会处理数百万个请求，因此它应该完全不阻塞。

这是处理此问题的正确方法吗？有人能指出我如何实现这个目标的正确方向吗？

Answer 1

Twisted的事件循环API不是线程安全的，正如Twisted's threading documentation所涵盖的那样。这意味着您绝对无法调用deferToThread来处理连接;如果你尝试过会崩溃。

等待TCP连接不会导致事件循环卡住;用于向连接发送和接收数据的API已经是非阻塞的。所以我不认为你在这里要解决问题，它已经为你解决了。