仅在页面完全加载后填充doc

Question

我正在从某个网站检索数据。只有在页面完全加载后，<a>内的<sup>才可用，即javascript会将<a>标记添加到页面中。

<table>
<tr>
<td class="left ">
<a href="reference" >Refer</a>see this
<sup class="super"><a href=​"#src1" onclick=​"dosomething;​" title=​"1" >​1​</a>​</sup>
</td>
<td class="td_right2" style="padding-top: .25em"></td>
</tr>
..

</table>

所以，当我做的时候

Document doc=JSoup.connect(...).userAgent(...).get();

该文档不包含<a>标记。 如何确保文档也填充了'a'标记.Jsoup中的任何函数是否与JQuery中的.ready类似？

Answer 1

Jsoup是一个HTML解析器，而不是一个webbrowser。与大多数HTML解析器一样，Jsoup不执行任何JavaScript代码。

您需要一个可以执行JavaScript的HTML解析器。 HtmlUnit就是这样的，它是一个无GUI的webbrowser，专为单元测试而设计，能够执行可能修改HTML DOM树的网页中包含的JavaScript。您可以尝试使用它。