如何抓取Google Play商店中应用的所有评论？

Question

当我在Google Play商店抓取应用页面时，我只能抓取应用评论的前几页。

（当我使用网络浏览器点击箭头按钮时，会显示应用评论的下一页）

如何抓取其他评论？

Answer 1

我查看了Telegram的Google Play页面，似乎所有评论都与页面的其余部分一起加载。

点评可见，无需点击箭头

点击箭头后，评论部分的尺寸会增加，并会显示完整的评论

然后，您可以通过单击向右箭头查看更旧，更“有帮助”的评论。

但是，所有这些评论都是从一开始就加载的：

从那里开始，您必须使用网络抓取工具解析HTML以获取评论。

修改

好的，点击几次箭头后，Google Play开始加载一些较旧的评论，方法是用http://play.google.com/store/getreviews ping一个令牌。

这是我得到的回复的片段：

<div class="single-review">  <a href="/store/people/details?id=113340797493751556969">...

它似乎包含所有已加载的评论，因此您所要做的就是解析它，或者尝试弄清楚令牌的工作原理，以便您可以自己从getreviews获取。

Answer 2

但为时已晚，但您可以使用BeautifulSoup库来抓取所有评论。所有评论都在div内，有单独的评论＆＃39;。

创建网页html的汤对象，选择＆＃39;单一评论＆＃39;的所有实例。类。

  

soup.select（＆＃39;。单审查＆＃39）

会为你做的。从评论中提取您想要的任何内容。作为参考，您可能想要查看BeautifulSoup documentation

您无需检查右箭头或左箭头。上述方法将为您提供当前网页上的所有评论。