首页 > 代码库 > Linux文件合并去重

Linux文件合并去重

1.取两个文件的交集

cat file1 file2 | sort | uniq -d > file3

 

2.删除两个文件的交集

cat file1 file2 | sort | uniq -q > file3

 

3.取两个文件的并集

cat file1 file2 | sort | uniq > file3

 

4.去除一个文件中的重复行

sort file1 | uniq > file2
注:这里把重复的行统一为一行

sort file1 | uniq -u > file2
注:这里把所有重复的行全部删掉了,一行不留

 

Linux文件合并去重