Scrapy:如何安排蜘蛛每小时运行一次?

时间:2015-06-21 22:32:12

标签: python scrapy scrapy-spider

我有一只蜘蛛可以帮助我从网上收集数据。 我需要这个蜘蛛每小时自动开始工作。 我试图使用闭合信号来产生一个新的请求,但似乎它在关闭信号后无效。

def __init__(self):
    dispatcher.connect(self.spider_closed, signals.spider_closed)

def spider_closed(self, reason):
    time.sleep(3600)
    link="http://www.google.com"
    request=Request(url=link, dont_filter=True,callback=self.parse_item)
    yield request

如果有人可以帮助我,那将是很好的

0 个答案:

没有答案