为什么我不能从这个URL获取数据?

时间:2017-02-11 09:42:50

标签: xpath web-scraping scrapy scrapy-spider

此页面上有一些数据:

$ scrapy shell“https://partsouq.com/en/catalog/genuine/unit?c=Toyota&ssd=%24HQwdcgcAAwFNa3YjVR92aVB7C10ZDko%24&vid=4463&cid=&uid=2535&q=

并且页面的左侧有数字,点击其中任何一个后,带有内容的表格就像在附件中一样,但在对此表格中的任何项目制作“inspect element”之后,我得到了空集!!

  
    

response.xpath( '// * [@ ID = “GF-结果表”] / TR [2] / TD [2] / DIV')。提取物()     []

  

this shows the tabe and the html code for it

2 个答案:

答案 0 :(得分:0)

您提供错误的xpath。正确的xpath是

response.xpath(&#39; // * [@ id中=&#34; GF-结果表&#34;] / tbody的/ TR [2] / TD [2] / DIV&#39)< / p>

答案 1 :(得分:0)

https://partsouq.com/en/search/search?q=0910112012&qty=1

这是附件的网址,弹出窗口是由JavaScript呈现的,你不能在scrapy中做JS事情。

a标记的xpath很简单:

//a[@id]