我正在尝试使用python从网站收集股票的新闻历史记录。
当您向下滚动时新闻加载，因此每个股票都需要许多请求。
在一些请求之后，即使在指定User-Agent之后，甚至在使用每个请求变化之后，网站也拒绝访问。我还尝试在请求之间暂停执行几秒钟。什么都行不通。
有人知道如何解决这个问题吗？
答案 0 :(得分：1)
如果其他人遇到这个问题，那么＆＃34; fake-useragent＆＃34;似乎提供了一个解决方案。
我只是在每次请求之前随机化了用户代理。
该网站继续拒绝访问，尽管很少，并且可以通过一个简单的循环绕过它。
（前几天同样的答案被删除了，因为我附上了一个包的链接。我认为我的答案对以后遇到这个问题的人比以前对类似问题和所有愚蠢评论的答案更有帮助。）