从文本文件中过滤掉重复项

时间:2016-03-02 23:30:54

标签: awk sed grep

我有一个文本文件如下:

a b 1.25 3.5
a c 1.25 3.4
b c 3.4  3.5
d e 3.4  3.4
f g 4.5  6.7
a b 1.3  4.6

我想根据第一列或第二列值删除具有重复条目的行。到目前为止,我见过的所有帖子都保留了副本的第一个实例。输出应该类似于

d e 3.4  3.4
f g 4.5  6.7

1 个答案:

答案 0 :(得分:3)

$ awk 'NR==FNR{cnt1[$1]++; cnt2[$2]++; next} (cnt1[$1]==1) && (cnt2[$2]==1)' file file
d e 3.4  3.4
f g 4.5  6.7