首页 > 代码库 > python做文本按行去重

python做文本按行去重


文本:

   每行在promotion后面包含一些数字,如果这些数字是相同的,则认为是相同的行,对于相同的行,只保留一行。


思路:

   根据字典和字符串切割。

   建立一个空字典。

   读入文本,并对每行切割前半部分,在读入文本的过程中循环在这个字典中查找,如果没找到,则写入该行到字典。否则,则表示该行已经被写入过字典了(即出现重复的行了),不再写入字典,这就实现了对于重复的行只保留一行的目的。


文本如下:



/promotion/232   utm_source
/promotion/237   LandingPage/borrowExtend/? ;
/promotion/25113 LandingPage/mhd
/promotion/25113 LandingPage/mhd
/promotion/25199 com/LandingPage
/promotion/254   LandingPage/mhd/mhd4/? ;
/promotion/259   LandingPage/ydy/? ;
/promotion/25113 LandingPage/mhd
/promotion/25199 com/LandingPage
/promotion/25199 com/LandingPage

 

程序如下:

line_dict_uniq = dict()

with open(‘1.txt‘,‘r‘) as fd:
    for line in fd:
      key = line.split(‘ ‘)[0]
      if key  not in line_dict_uniq.values():
        line_dict_uniq[key] = line
      else:
        continue

print line_dict_uniq 
print len(line_dict_uniq)

#  这里是打印了不重复的行(重复的只打印一次),实际再把这个结果写入文件就可以了,
#  就不写这段写入文件的代码了


上面这个程序执行效率比较低,改成如下会提高一些:


line_dict_uniq = dict()

with open(‘1.txt‘,‘r‘) as fd:
    for line in fd:
      key = line.split(‘ ‘)[0]
      if key  not in line_dict_uniq.keys():
        line_dict_uniq[key] = line
      else:
        continue
print line_dict_uniq
print len(line_dict_uniq)



本文出自 “linux与网络那些事” 博客,请务必保留此出处http://khaozi.blog.51cto.com/952782/1863241

python做文本按行去重