抓取 - 有限的搜索结果可用性

时间:2017-10-13 12:04:15

标签: r search web-scraping rvest

所以我希望有一些二手车价格数据库来对不同品牌,国家,燃料类型等进行一些数据分析。

我发现有几个网站拥有这些信息并提取了一些数据。但我也想从autoscout24.com中提取数据。

我正在使用R的rvest包,通常我需要做的就是编写一个遍历所有搜索结果的循环,并从每个单独的列表中收集信息。

我对Autoscout感兴趣的是,无法查看所有搜索结果。说,您转到他们的网页https://www.autoscout24.com/,选择国家/地区并按结果。然后在结果页面上只有前20页,每页包含20个列表。当您转到最后一个搜索结果页面时,没有任何变化。因此,基本上,您最多只能查看400个搜索结果。

我在想是否这样做是为了让某些人(像我一样)不能轻易地抓取他们的数据?从我的角度来看,这完全没问题,但我对此很好奇,因为我从未在其他网站上看到过这样的做法(虽然我没有尝试过这些做法)。

0 个答案:

没有答案