如何在JavaScript:void()时刮掉多个页面?

时间:2015-10-05 02:09:38

标签: javascript python html web-scraping python-requests

旁注:我这里的总菜鸟,所以我实际上不知道该页面是否是一个JavaScript页面。当我检查元素时,它会显示HTML代码,但是当我将鼠标悬停在页码上时,它会显示javascript:void()

我正在查看this post以及其他一些关于如何使用Python请求和漂亮的汤来抓取多个页面的内容。

我的情况类似于上述帖子的OP:

  • 当我点击新页面时,网址不会更改
  • 我能够抓一页,但有多个页面(在我的情况下可能有几千页)

但在我的案例与OP的案例之间,也存在一些差异:

  • 在帖子中提到的the website中,当您将鼠标悬停在“2”或“3”上以转到另一个页面时,您会在浏览器的左下方看到javascript:goToPage("2");但是,我正在查看的页面,当我点击任何页面链接时,它会显示javascript:void(0)
  • 当我检查元素时,我也没有得到POST,所以我无法按照提供的解决方案。

同样,我能够抓一页,但我不知道如何一次刮掉所有页面。

1 个答案:

答案 0 :(得分:0)

您可以尝试从Python迁移到Javascript解决方案,并设置一个环境来执行这些Javascript。它是唯一真正的解决方案,就任何人都可以隐藏Javascript代码而言,除非你执行它,否则你不能真正刮掉任何东西。

相关问题