即使有多个网址可以抓取，我怎么能让scrapy只下载几个网址

Question

是否有一个命令行开关或另一个开箱即用的技巧强制scrapy只下载几个网址（即使有更多可用的？）

我目前正在调用命令中的蜘蛛，如下所示，并希望在10次网址检索后完成。

scrapy抓取mySpider

Answer 1

您可以将设置传递给scrapy：

scrapy crawl mySpider -s CLOSESPIDER_PAGECOUNT=10

• 如果蜘蛛爬行超过10，蜘蛛将会被关闭，原因为closespider_pagecount。