有没有办法阻止解析从另一个页面重定向的响应？

Question

我正在使用CrawlSpider来抓取网站。有些请求会将规则与回调匹配，但会重定向到另一个页面，而Scrapy无论如何都会解析这些响应。有没有办法防止这种情况发生？

Answer 1

我自己没有尝试过，但似乎Requests.meta对象可以有dont_redirect属性，如果你设置它可能会解决你的问题。

http://doc.scrapy.org/en/latest/topics/downloader-middleware.html#std:reqmeta-dont_redirect