Python Xpath请求不规则地返回空列表

时间:2017-04-16 20:10:39

标签: python xpath web-scraping

我知道有很多类似的问题,但我已经完成了所有这些问题,但他们无法帮助我。我试图从网站上获取信息,并且我在其他网站上使用了相同的方法并取得了成功。然而,在这里,它不起作用。如果有人能给我一些提示,我将非常感激!

我希望从this website获得明天的最高温度。

import re, requests, time
from lxml import html

page = requests.get('http://www.weeronline.nl/Europa/Nederland/Amsterdam/4058223')  
tree = html.fromstring(page.content)
a = tree.xpath('//*[@id="app"]/div/div[2]/div[5]/div[2]/div[2]/div[6]/div/div/div/div/div/div/ul/div[2]/div/li[1]/div/span/text()')
print(a)

但是返回一个空列表。在我检查的其他几个网站上使用相同的方法工作正常。我尝试将此方法应用于本网站的其他部分和此域名,但都无济于事。

感谢您的帮助! 最好的问候

1 个答案:

答案 0 :(得分:1)

请注意,当您尝试打开该页面时,系统会询问您是否同意允许Cookie。 (就像那样,我没有荷兰语。)你需要使用像 selenium 之类的东西来点击按钮“确定”,以便你可以访问你真正想要的页面。然后,您可以使用Web Scrape page with multiple sections中讨论的技术来获取该页面的HTML,最后应用检索所需内容所需的任何xpath。