将非常大的txt文件加载到R中的最佳方法是什么?

时间:2018-05-22 17:57:28

标签: r

我有一个很大的.txt文件,我从网站上下载过。它包含大约5500万行。

我需要在R中处理这些数据,并且我试图找出如何将数据输入到R中的数据框。

这是我到目前为止所使用的:

US_Citations_1 <- read.table( "201709_US_Citations_3.txt", header= TRUE, sep="|", as.is=FALSE, na.strings="NA", colClasses=NA, nrows=5000000, skip=0, fill=TRUE, strip.white=TRUE, blank.lines.skip=TRUE, comment.char="", allowEscapes=FALSE, flush=FALSE, stringsAsFactors=TRUE, fileEncoding="", encoding="unknown")

US_Citations_2 <- read.table( "201709_US_Citations_3.txt", header= FALSE, sep="|", as.is=FALSE, na.strings="NA", colClasses=NA, nrows=5000000, skip=5000001, fill=TRUE, strip.white=TRUE, blank.lines.skip=TRUE, comment.char="", allowEscapes=FALSE, flush=FALSE, stringsAsFactors=TRUE, fileEncoding="", encoding="unknown")

我基本上将文件分成较小的segmets(尝试导入整个文件会产生错误)。

所以第一个代码打开了500万行,下一个文件打开了接下来的500万行(nrows = 5000000,skip = 5000001),然后我又生成了11个命令,每个命令生成500万行。

这个想法是,一旦导入了所有11个数据帧,我将使用一个简单的rbind命令将它们全部合并到一个大框架中。

我的问题是我无法加载最后1000万行。即使我将其设置为只导入10行,它似乎也会卡住并无限期地工作。

您可能有其他解决方案吗?谢谢。

0 个答案:

没有答案