Question

我正在抓取ASN数据库（http://aviation-safety.net/database/）。我已经编写了代码来对这几年（1919-2019年）进行分页，并刮除除了死亡（表示为“ fat。”）以外的所有相关节点。选择器小工具告诉我致命事件节点称为“'#contentcolumnfull：nth-child（5）'”。由于某些原因，“。list：nth-child（5）”不起作用。

当我抓取#contentcolumnfull：nth-child（5）时，第一个元素为空白，表示为“”。

我如何编写一个函数来删除所刮取的每一年/每一页的第一个空元素？当我自己抓取单个页面时，删除第一个元素很简单：

fat <- html_nodes(webpage, '#contentcolumnfull :nth-child(5)')
fat <- html_text(fat)
fat <- fat[-1]

但是我发现很难编写一个函数。

我还有第二个关于日期时间和格式的问题。我的天数数据表示为年月日。缺少几个基本日期和月份（例如：??-??-1985，JAN-??-2004）。理想情况下，我想将日期转换为润滑对象，但不能缺少数据或仅保留年份。

在这一点上，我已经使用gsub（）和regex来清理数据（删除“ ??”和浮点破折号），所以我混合使用了多种数据格式。但是，这使得可视化数据变得困难。对最佳做法有何想法？

# Load libraries 
library(tidyverse)
library(rvest)
library(xml2)
library(httr)

years <- seq(1919, 2019, by=1)

pages <- c("http://aviation-safety.net/database/dblist.php?Year=") %>%
  paste0(years) 

# Leaving out the category, location, operator, etc. nodes for sake of brevity 
read_date <- function(url){
  az <- read_html(url)
  date <- az %>%
    html_nodes(".list:nth-child(1)") %>%
    html_text() %>%
    as_tibble()
} 

read_type <- function(url){
  az <- read_html(url)
  type <- az %>%
    html_nodes(".list:nth-child(2)") %>%
    html_text() %>%
    as_tibble()
}

date <- bind_rows(lapply(pages, read_date))
type <- bind_rows(lapply(pages, read_type))

# Writing to dataframe
aviation_df <- cbind(type, date)
aviation_df <- data.frame(aviation_df)

# Excluding data cleaning

Answer 1

不好的做法是多次对同一页执行ping操作以提取请求的信息。您应该阅读该页面，提取所有需要的信息，然后移至下一页。

在这种情况下，各个节点都存储在一个主表中。 rvest的html_table()函数很容易将html表转换为数据帧。

library(rvest)
library(dplyr)

years <- seq(2010, 2015, by=1)

pages <- c("http://aviation-safety.net/database/dblist.php?Year=") %>%
  paste0(years) 

# Leaving out the category, location, operator, etc. nodes for sake of brevity 
read_table <- function(url){
  #add delay so that one is not attacking the host server (be polite)
  Sys.sleep(0.5)
  #read page
  page <- read_html(url)
  #extract the table out (the data frame is stored in the first element of the list)
  answer<-(page %>% html_nodes("table") %>%  html_table())[[1]]
  #convert the falatities column to character to make a standardize column type
  answer$fat. <-as.character(answer$fat.)
  answer
} 

# Writing to dataframe
aviation_df <- bind_rows(lapply(pages, read_table))

还有一些额外的列需要清理

难以处理的网页抓取分页网站

1 个答案: