Chrome如何逐步（懒惰）加载一个页面，例如长的YouTube页面？

Question

我正在尝试确定youtube用于延迟加载页面的确切机制。例如，我想用wget或类似的东西从用户页面抓取所有链接，但页面是逐步（延迟）加载的，并且不返回所有内容。

我不是网络专业人士，但我是一名优秀的程序员。我不得不承认JS在实践中很难遵循。这种延迟加载形式是基于浏览器还是脚本？

在开发人员工具窗口中观察网络活动会显示当页面向下滚动时正在加载的图像，但我无法确定导致此问题的机制。

Answer 1

当您向下滚动时，这些页面会使用JavaScript加载其内容，因此要抓取它，您需要跟踪所做的AJAX调用或使用框架来执行此操作，例如PhantomJS。您也可以尝试构建机器人，因为您说自己是一名优秀的程序员，因此您可以尝试遵循一些想法here和here。