Question

我有以下代码来运行连续循环来从网站获取一些内容：

from http.cookiejar import CookieJar
from urllib import request

cj = CookieJar()
cp = request.HTTPCookieProcessor(cj)
hh = request.HTTPHandler()
opener = request.build_opener(cp, hh)

while True:
    # build url
    req = request.Request(url=url)
    p = opener.open(req)
    c = p.read()
    # process c
    p.close()
    # check for abort condition, or continue

正确阅读内容。但由于某种原因，TCP连接不会关闭。我正在观察来自dd-wrt路由器接口的活动连接数，并且它一直在上升。如果脚本继续运行，它将耗尽路由器的4096连接限制。发生这种情况时，脚本只需进入等待状态（路由器不允许新连接，但超时尚未命中）。几分钟后，这些连接将被关闭，脚本可以重新恢复。

我能够观察到路由器悬挂连接的状态。它们共享相同的状态：TIME_WAIT。

我希望这个脚本同时使用不超过1个TCP连接。我做错了什么？

我在Mac OS X 10.10上使用Python 3.4.2。

Answer 1

通过一些研究，我发现了这个问题的原因：the design of TCP protocol。简而言之，当您断开连接时，连接不会立即掉线，它会进入TIME_WAIT＆＃39;状态，并将在4分钟后超时。不像我期望的那样，连接不会立即消失。

根据this question，它也无法强行删除连接（无需重新启动网络堆栈）。

事实证明，在我的特定情况下，如this question stated，更好的选择是使用持久连接，a.k.a.HTTP keep-alive。当我查询同一台服务器时，这将有效。

Python3 urllib.request不会立即关闭连接

1 个答案: