检索需要加载时间的网页

Question

我正在使用Jsoup来解析网站上的内容。问题是页面上有一些数据需要几秒钟才能加载。出于这个原因，我的程序只能获取加载图形而不是加载的数据。这是我得到的：

<div class="sidebar_section">
    <h3><a href="#" class="sidebar_toggle down">Counsel</a></h3>
        <ul style="display:none;" id="counsel">
            <li>Loading &nbsp;&nbsp;<img src="/members/images/ajax-loader3.gif" /></li>
        </ul>
</div>

如果我在浏览器中打开此URL，我实际上可以看到此块的内容而不是“加载”字。

我想知道是否有任何方式在页面完全加载后获取内容。这是我的简单代码：

Document doc = Jsoup.connect(url).get();

真的很感激任何帮助。

Answer 1

HttpURLConnection可能是一种更好的抓取网页的方法，因为它提供了更多的控制和错误处理，而且你可以获得MIME类型和字符编码。