使用Rselenium进行5次迭代后循环停止

时间:2016-01-06 12:26:29

标签: r for-loop web-scraping rselenium

我已经从网页(使用RSelenium)网页划分了与不同表格相对应的网址。我存储在名为' URL'的对象中的这些网址。现在我想在下一步中将每个表格以文本格式写入我在下面循环中指定的目录。但由于某种原因,循环在5次迭代后停止,我无法弄清楚为什么?有什么想法或提示吗?

for (i in 1:length(URL)){
remDr$navigate(URL[i])
  date <- Sys.Date()
file <- paste("./WebScraping Connecting/Connecting_","_", date, ".txt", sep="")
y2 <- remDr$getPageSource()
y2 <- unlist(y2)
y3 <- readHTMLTable(y2, header=TRUE)
l <- unlist(lapply(y3[[1]], paste, collapse=" "))
for (j in 2:length(y3)){
l1 <- unlist(lapply(y3[[j]], paste, collapse=" "))
if (!is.null(l1)){
l <- rbind(l, l1)
}
}

写(as.vector(l),file = file)

更新:有时循环甚至在3次迭代后停止。如果我手动完成循环,它似乎工作正常。但是,我收到了这条警告信息:

In rbind(l, l1) :
number of columns of result is not a multiple of vector length (arg 1)

0 个答案:

没有答案