cat file1.txt file2.txt >file3.txt

sort file3.txt | uniq >newfile.txt

newfile即为去重后的文件

本文出自 “simeon技术专栏” 博客，请务必保留此出处http://simeon.blog.51cto.com/18680/1949188

处理文本文件及其排序去重