Python3,Urllib.request,urlopen()正在超时

时间:2017-07-03 17:21:07

标签: python urllib2 urlopen

我正在使用urlopen()打开一个网站并从中提取(财务)数据。这是我的专栏:

sourceCode = urlopen('xxxxxxxx').read()

在此之后,我然后拉出我需要的数据。我遍历同一域上的不同页面来提取数据(股票信息)。我用:

结束循环体
time.sleep(1)

因为我被告知会阻止我阻止我。我的程序将运行几分钟,但在某些时候,它会停止并退出数据。我可以重新运行它,它将运行另一个任意的时间然后停止。

我能做些什么来阻止这种情况吗?

1 个答案:

答案 0 :(得分:-1)

(对大多数网站而言)这对我有用:

如果您使用的是urllib.request库,则可以创建一个Request并欺骗用户代理。这可能意味着他们不再阻止您。

from urllib.request import Request, urlopen
req = Request(path, headers={'User-Agent': 'Mozilla/5.0})
data = urlopen(req).read()

希望这会有所帮助

相关问题