网络爬虫在谷歌地图上获取所有谷歌评论评论

时间:2018-01-10 10:40:14

标签: python selenium web-crawler review

在特定位置的所有Google评论/评论中,有两种方法可以使用网络抓取工具

  1. 使用google maps API,它可以自动返回评论,但限制为5,如果您需要获取所有评论(> 5),则这些API无法支持
  2. 使用您自己的抓取工具获取所有评论数据
  3. 当我尝试在google评论中抓取网页时,在selenium + python中 我需要一些帮助来滚动谷歌审查结果窗口 这是一个例子 对自由女神像有18333条评论,为了得到所有的评论,你需要滚动鼠标滚轮让网页自动滚动并重新加载新的评论 这是我的代码,我的问题是如何滚动审阅窗口?当我尝试滚动查看窗口时,滚动事件似乎没有响应

    from selenium import webdriver
    driver =webdriver.Chrome(executable_path=r'C:\python362\chromedriver_win32\chromedriver.exe')
    url = 'https://www.google.com.tw/search?
    q=Statue+of+Liberty&oq=Statue+of+Liberty&aqs=chrome..69i57&sourceid=chrome&ie=UTF-8#lrd=0x89c25090129c363d:0x40c6a5770d25022b,1,,,'
    driver.get(url)
    
    #scroll the web pages
    driver.execute_script("window.scrollBy(0, -150);")
    

    谢谢你的时间

0 个答案:

没有答案