使用rvest收集数据不会从data-widget中检索到任何值

时间:2017-02-15 11:50:30

标签: r rvest data-harvest

我正在尝试使用rvest收集数据(也尝试使用XMLselectr)但我遇到以下问题时遇到了问题:

在我的浏览器的网络检查器中,html看起来像

<span data-widget="turboBinary_tradologic1_rate" class="widgetPlaceholder widgetRate rate-down">1226.45</span>

(注意:rate-down1226.45会定期更新。)我想收获1226.45但是当我运行我的代码(下面)时,它说没有存储信息。这有什么关系吗? 它的小部件这个事实?任何关于如何进行的建议将不胜感激。

library(rvest);library(selectr);library(XML)
zoom.turbo.url <- "https://www.zoomtrader.com/trade-now?game=turbo"
zoom.turbo <- read_html(zoom.turbo.url)
# Navigate to node
zoom.turbo <- zoom.turbo %>% html_nodes("span") %>% `[[`(90)

# No value
as.character(zoom.turbo)
html_text(zoom.turbo)  

# Using XML and Selectr
doc <- htmlParse(zoom.turbo, asText = TRUE)
xmlValue(querySelector(doc, 'span'))

1 个答案:

答案 0 :(得分:1)

对于难以抓取的网站,例如内容为动态的网站,您可以使用RSelenium。使用此软件包和浏览器泊坞窗,您可以使用R命令导航网站。

我已经使用这种方法来抓取一个拥有动态登录脚本的网站,我无法使用其他方法。