Linux用awk去掉重复列的几种情况
awk去掉重复列的模式如下：
!a[$0]++
其中$0表示整行，$1表示第一列，$2表示第二列
文件内容如下：
cat 00.txt a b c b a s
1、去重第一列重复的行
cat 00.txt |awk !a[$1]++{print}
a b
c b
2、去重以第一列和第二列重复的行
第一种：
[root@VM-20-12-centos txt]# cat 11.txt
aa bb
aa bb
aa cc
cc bb
[root@VM-20-12-centos txt]# cat 11.txt |awk !a[$1""$2]++{print}
aa bb
aa cc
cc bb
第二种：
[root@VM-20-12-centos txt]# cat 11.txt |awk !a[$0]++{print}
aa bb
aa cc
cc bb
3、只显示重复行
[root@VM-20-12-centos txt]# cat 11.txt
aa bb
aa bb
aa cc
cc bb
[root@VM-20-12-centos txt]# cat 11.txt |awk a[$0]++{print}
aa bb
uniq可以针对完全相同的行去重
[root@VM-20-12-centos txt]# cat 11.txt aa bb aa bb aa cc cc bb [root@VM-20-12-centos txt]# cat 11.txt |uniq aa bb aa cc cc bb
