如何查找蜘蛛抓取的页数

Question

我在Python中使用Scrapy从网站上抓取数据。

我成功地从网站上删除了数据，但我想知道我的蜘蛛抓了多少页。

Scrapy统计数据如下：

Answer 1

虽然scrapy使用requests来请求网页并从网络服务器获取responses，但标记为此类的统计信息仍具有丰富的信息。

downloader/request_count: 421
downloader/response_count: 421
downloader/response_status_count/200: 420
downloader/response_status_count/404: 1

所以scrapy发出了421个请求，得到了420次有效响应（代码200）。有一次没有响应（代码404）。

Answer 2

420页。

您可以从统计信息的downloader/response_status_count/200字段中确定这一点。