Question

我试图用Jsoup解析这个网站：http://www.listofnewspapers.com/2014/04/site-map.html但是我收到了这个错误：

对于＆＃39; http://www.listofnewspapers.com/2014/04/site-map.html＆＃39;：HTTP错误提取网址＆＃34;

我认为错误发生在connect(URL).get()。

我打印了状态代码以进行调试，我得到了200。

我尝试了多个其他网站，他们连接得很好。

Answer 1

似乎过滤了用户代理。尝试设置一个：

Jsoup.connect(URL).userAgent("Mozilla").get()

Answer 2

使用Firefox userAgent：

.userAgent("Mozilla")

例如：

Jsoup.connect("https://stackoverflow.com/questions/44349297/http-error-fetching-url").userAgent("Mozilla").get();