刮到滚动到底部后加载的数据

Question

我正在使用 PHP ，我想从任何网站上抓取一些数据。但我有一个问题。我刮数据但这些项目数是48.但我知道该页面有11K项目。当您滚动并获得新的数据束（48项）时，其余数据会延伸。 我正在和simple_html_dom一起刮胡子。如何操纵滚动并获取数据？ 谢谢！ :)

Answer 1

听起来像是通过ajax加载了缺失的数据。

检查开发者控制台中的“网络”选项卡（按F12键）。查看正在调用的URL（和响应），并根据您的需要进行编辑。然后调用此URL而不是您现在正在使用的URL。

Answer 2

这是不可能的。

但是如果你需要废弃这些数据，你可以向返回延迟加载数据的端点发送请求。你必须研究目标网站的js代码。

P.S。 如果你想使用非常难的方法，你可以研究浏览器模拟。