如何提高Scrapy爬行速度？

Question

我正在使用Scrapy抓取网站并将数据提取到json文件，但我发现对于某些网站，抓取工具需要很长时间才能抓取整个网站。

我的问题是：如何最大程度地缩短抓取时间？

Answer 1

尝试调整CONCURRENT_ITEMS，CONCURRENT_REQUESTS，CONCURRENT_REQUESTS_PER_DOMAIN和其他设置。

有关完整设置列表，请参阅http://doc.scrapy.org/en/latest/topics/settings.html