如何将一个非常大的文件导入 R(用逗号分隔)

时间:2021-01-12 23:43:11

标签: r read.csv readr

我有一个包含超过一百万行数据的 xls 文件。一切都在一列中,并用逗号分隔。 Excel打开需要很长时间,我只需要两条信息——客户ID和交易金额。

我的方法是将文件导入R(以逗号分隔),然后提取我需要的两列。问题是导入后所有内容仍然在一列中。我已经尝试过 read.csv(file, sep = ",") 中的 read_csv(file, col_names = T)readr。没有一个工作。但是,我将前五行另存为另一个 xls 文件以进行测试,并且导入正常(正确分隔),没有任何问题。

我也尝试过 cSplit 用逗号分割导入的数据集,但我得到了 Error: C stack usage 14478558 is too close to the limit。我想这是由于文件大小。很抱歉,我无法提供可复制的示例,但数据如下所示,有一百万行:

  customer_id,type,note_number,amount,company
  1,cc,abc,5,A
  2,dc,bcd,7,B
  3,cc,cde,10,C

编辑

感谢@akrun 建议data.table::fread(file),函数的警告信息让我意识到源文件中的, 中的某些字段包含""。使导入和分离变得更加棘手的是,有些文件有多个 ""。例如,某人的名字可以显示为 ""Joh, Dep"" 而不是 "Joh Dep"

此外,正如@RonakShah 所建议的,我创建了一个 sample test file

0 个答案:

没有答案
相关问题