抓取和抓取网址时的不同响应（草皮）

Question

我正在尝试抓取the website。当我使用带有chrome用户代理的Scrapy shell时，得到的响应（html内容）与在浏览器中查看的相同。 但是，当我使用带有默认user_agent的Scrapy脚本抓取相同的链接时，它会显示出我不需要的内容的不同响应。但是，当我将user_agent更改为在shell中使用的用户代理时，它显示404错误。 请帮我。我真的很坚持。 我尝试了许多用户代理。我也更改了并发请求，但是没有任何反应。