遍历网址列表

时间:2016-07-17 07:56:50

标签: python

我想从大约900个网址中获取数据。但程序在30-40个网址后停止。

opener = urllib2.build_opener()
    opener.addheaders = [('User-agent', 'Mozilla/5.0')]

    with open('Labgodata.csv') as csvfile:
        reader = csv.DictReader(csvfile)
        for line in reader:
            sleep(0.2)
            getdata(line['URL'])

这里'Labgodata.csv'是包含网址的文件。

0 个答案:

没有答案