如何根据列字符串的出现仅输出前n行

时间:2017-03-30 19:38:40

标签: linux awk grep text-parsing

我有一个大文件,其中包含第一列中的ID号,后续列中包含其他唯一信息。每个ID号在文件中多次出现:

000112 3489 A-8 40984
000112 4743 A-7 94587
000112 5894 A-1 45795
000177 8347 A-2 54575
000177 5843 B-5 94342
000177 5684 A-4 76544
000177 6586 C-2 65834
000226 5679 C-2 85795
000226 5456 C-1 45876
000226 9899 A-2 56834

我想输出一个文件,其中只包含每个ID号的前两次出现的行:

000112 3489 A-8 40984
000112 4743 A-7 94587
000177 8347 A-2 54575
000177 5843 B-5 94342
000226 5679 C-2 85795
000226 5456 C-1 45876

请注意,此数据仅代表输入文件的一小部分,因此需要输入特定字符串(ID号)的命令不是我正在寻找的。谢谢!

2 个答案:

答案 0 :(得分:1)

awk 'a[$1]++ < 2' input-file

应该做的伎俩。只需读取文件并增加由第一列中的值索引的数组。如果该值小于2,则打印该行。当你第三次看到相同的id时,数组中的索引将是2,并且该行的输出将被抑制。

答案 1 :(得分:0)

这不是很漂亮,但会产生所需的输出:

第1步:

awk '!seen[$1]++' input.file > output1 

第2步:

grep -v -F -f output1 input.file | awk '!seen[$1]++' > output2

第3步:

cat output1 output2 | sort -k 1 > desired.output