如何从巨大的数据转储中删除我想要的东西?

时间:2012-04-27 17:47:37

标签: sql file text

我有一个3.55 GB .txt文件,这个文件太大而无法进入Access。它里面有大约500万条记录,而我只有一小部分记录。我需要一种方法来解析我需要的数据行并摆脱大量数据。每行文字是651个字符,但幸运的是我们可以按前三个字符排序。如果我可以删除任何不以044,067,122或107开头的行,我会将文件缩小到我能够加载到Access的大小。我已经将cygwin和mysql加载到机器上,现在我正盯着命令提示,想知道下一步该怎么做。

1 个答案:

答案 0 :(得分:1)

如果你有cygwin,那么

grep '^(044|067|122|107)' file.csv > newfile.csv

会做到这一点。可能需要启用grep的正则表达式选项,但我的大脑现在处于星期五的Mush模式,并且不记得它们是什么。