response.xpath不返回值

Question

我正在尝试在以下页面上提取商品的价格：https://www.lowesforpros.com/pd/DEWALT-20-Volt-Max-1-2-in-Cordless-Brushless-Drill/1000135807

在下面的代码中什么都没有返回：

response.xpath("//*[@id='main']/div[6]/section[1]/div[3]/div[2]/div[2]/div/span[1]/text()").extract()]

我查看了消息来源，没有看到使用JS进行定价的任何迹象。

Answer 1

简单吗？

response.xpath('//span[@itemprop="price"]/@content').extract_first()

Answer 2

价格部分不包含在页面的基本HTML中。页面加载完成后由javascript加载。因此，该路径未指定任何内容。您必须使用诸如Splash之类的javascript渲染器引擎或诸如Selenium之类的网络驱动程序