在R中加载csv子集的有效方法

时间:2016-03-01 12:34:05

标签: r dplyr

我有350个csv文件,每个文件有10,000到700,000行。我想将每个文件的一个子集读入R.我的方法到目前为止是:

library(dplyr)

to_load <- Sys.glob("data/*.csv")

data <- data_frame(file = to_load) %>%
           rowwise() %>%
           do(read.csv(.$file) %>% filter(condition == "a"))

当我仅使用前6个文件进行尝试时,do()的估计完成时间为3分钟,总计平均约为3小时。我的问题是,是否有更有效的方法。我愿意尝试任何事情。

0 个答案:

没有答案
相关问题