获取不完整网页的源代码

时间:2016-11-12 17:06:21

标签: c# webpage vine

我知道要获取网页的源代码,我只需输入:

using System.Net;
String htmlcode = "";
using (WebClient client = new WebClient()) {
    htmlcode = client.DownloadString("url here");
}

但问题是我需要获取代码的网页是"不完整"。那个页面是一个人的Vine页面(让我们以随机人为例:https://vine.co/u/1038856243713851392,所以你可以自己尝试并理解我的意思。)

问题是我需要手动向下滚动到页面末尾才能完全加载所有帖子。另一个是,即使这样做,源代码仍然不完整(因为Chrome似乎再次加载页面以显示它)。

我的目标是能够获取整个页面代码(即使它是2MB字符串,我敢打赌我能够处理它),以便之后获取所有URL该作者发布的葡萄藤。

非常感谢您提供的所有帮助

编辑:我发现如果您向下滚动到最后,然后保存将html页面作为桌面上的文件,您就可以访问17k行代码!

0 个答案:

没有答案