使用相同的参数(起始网址)多次运行同一蜘蛛

时间:2019-05-19 14:41:47

标签: python python-3.x scrapy

我创建了一个蜘蛛,可以抓取以下Twitter屏幕名称的所有内容。

我有1000个这些screen_name,我需要运行SAME Spider,但使用另一个screen_name。

screen_name用于更改起始网址。

process = CrawlerProcess({
    'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)'
})

screen_names = [...] # from database

for screen_name in screen_names:
    process.crawl(TwitterSpider(), start_urls=["https://mobile.twitter.com/{name}/following".format(name=screen_name)])        

process.start() 

现在这失败了

  

2019-05-19 15:26:17 [scrapy.utils.signal]错误:出现错误   信号处理程序:>

     

AttributeError:“ TelnetConsole”对象没有属性“ port”

0 个答案:

没有答案