如何从Javascript中的页面中提取链接列表

时间:2013-09-03 10:41:24

标签: regex web-scraping

我想获取Youtube用户上传的所有视频的列表。假设我转到http://www.youtube.com/user/bertrandleroy/videos并单击“加载更多”,直到加载完所有内容。有一个ID为“视频页面内容”的div,其中包含指向所有视频的链接。如何生成链接列表。如果可能的话,我更愿意只使用Chrome或Firebug中的开发工具。

1 个答案:

答案 0 :(得分:2)

使用chrome你可以使用类似的东西:

var list=document.getElementsByClassName('yt-uix-contextlink');
for (i=0;i<list.length;i++)
{
console.log(list[i].getAttribute("href"));
}

将其粘贴到控制台选项卡中。

这实际上会为每个视频产生2个链接(/ watch ...)。