fileinput模块可以对一个或多个文件中的内容进行迭代、遍历等操作。

该模块的input()函数有点类似文件readlines()方法，区别在于:

前者是一个迭代对象，即每次只生成一行，需要用for循环迭代。

后者是一次性读取所有行。在碰到大文件的读取时，前者无疑效率更高效。

用fileinput对文件进行循环遍历，格式化输出，查找、替换等操作，非常方便。

【典型用法】

import fileinput
for line in fileinput.input():
    process(line)

【基本格式】

fileinput.input([files[, inplace[, backup[, bufsize[, mode[, openhook]]]]]])

【默认格式】

fileinput.input (files=None, inplace=False, backup=‘‘, bufsize=0, mode=‘r‘, openhook=None)

[python] view plain copy

 

 print?

1. files:                  #文件的路径列表，默认是stdin方式，多文件[‘1.txt‘,‘2.txt‘,...]  
2. inplace:                #是否将标准输出的结果写回文件，默认不取代  
3. backup:                 #备份文件的扩展名，只指定扩展名，如.bak。如果该文件的备份文件已存在，则会自动覆盖。  
4. bufsize:                #缓冲区大小，默认为0，如果文件很大，可以修改此参数，一般默认即可  
5. mode:                   #读写模式，默认为只读  
6. openhook:               #该钩子用于控制打开的所有文件，比如说编码方式等;  

【常用函数】

[python] view plain copy

 

 print?

1. fileinput.input()       #返回能够用于for循环遍历的对象  
2. fileinput.filename()    #返回当前文件的名称  
3. fileinput.lineno()      #返回当前已经读取的行的数量（或者序号）  
4. fileinput.filelineno()  #返回当前读取的行的行号  
5. fileinput.isfirstline() #检查当前行是否是文件的第一行  
6. fileinput.isstdin()     #判断最后一行是否从stdin中读取  
7. fileinput.close()       #关闭队列  

【常见例子】

• 例子01: 利用fileinput读取一个文件所有行

命令行方式:

• 例子02: 利用fileinput对多文件操作，并原地修改内容

[python] view plain copy

 

 print?

1. #test.py  
2. #---样本文件---  
3. c:\Python27>type 1.txt  
4. first  
5. second  
6.   
7. c:\Python27>type 2.txt  
8. third  
9. fourth  
10. #---样本文件---  
11. import fileinput  
12.   
13. def process(line):  
14.     return line.rstrip() + ‘ line‘  
15.   
16. for line in fileinput.input([‘1.txt‘,‘2.txt‘],inplace=1):  
17.     print process(line)  
18.   
19. #---结果输出---  
20. c:\Python27>type 1.txt  
21. first line  
22. second line  
23.   
24. c:\Python27>type 2.txt  
25. third line  
26. fourth line  
27. #---结果输出---  

命令行方式:

[html] view plain copy

 

 print?

1. #test.py  
2. import fileinput  
3.   
4. def process(line):  
5.     return line.rstrip() + ‘ line‘  
6.   
7. for line in fileinput.input(inplace = True):  
8.     print process(line)  
9.   
10. #执行命令  
11. c:\Python27>python test.py 1.txt 2.txt  

• 例子03: 利用fileinput实现文件内容替换，并将原文件作备份

[python] view plain copy

 

 print?

1. #样本文件:  
2. #data.txt  
3. Python  
4. Java  
5. C/C++  
6. Shell  
7.   
8. #FileName: test.py  
9. import fileinput  
10.   
11. for line in fileinput.input(‘data.txt‘,backup=‘.bak‘,inplace=1):  
12.     print line.rstrip().replace(‘Python‘,‘Perl‘)  #或者print line.replace(‘Python‘,‘Perl‘),  
13.       
14. #最后结果:  
15. #data.txt  
16. Python  
17. Java  
18. C/C++  
19. Shell  
20. #并生成:  
21. #data.txt.bak文件  

[python] view plain copy

 

 print?

1. #其效果等同于下面的方式  
2. import fileinput  
3. for line in fileinput.input():  
4.     print ‘Tag:‘,line,  
5.   
6.   
7. #---测试结果:     
8. d:\>python Learn.py < data.txt > data_out.txt  

• 例子04: 利用fileinput将CRLF文件转为LF

[python] view plain copy

 

 print?

1. import fileinput  
2. import sys  
3.   
4. for line in fileinput.input(inplace=True):  
5.     #将Windows/DOS格式下的文本文件转为Linux的文件  
6.     if line[-2:] == "\r\n":    
7.         line = line + "\n"  
8.     sys.stdout.write(line)  

• 例子05: 利用fileinput对文件简单处理

[python] view plain copy

 

 print?

1. #FileName: test.py  
2. import sys  
3. import fileinput  
4.   
5. for line in fileinput.input(r‘C:\Python27\info.txt‘):  
6.     sys.stdout.write(‘=> ‘)  
7.     sys.stdout.write(line)  
8.   
9. #输出结果     
10. >>>   
11. => The Zen of Python, by Tim Peters  
12. =>   
13. => Beautiful is better than ugly.  
14. => Explicit is better than implicit.  
15. => Simple is better than complex.  
16. => Complex is better than complicated.  
17. => Flat is better than nested.  
18. => Sparse is better than dense.  
19. => Readability counts.  
20. => Special cases aren‘t special enough to break the rules.  
21. => Although practicality beats purity.  
22. => Errors should never pass silently.  
23. => Unless explicitly silenced.  
24. => In the face of ambiguity, refuse the temptation to guess.  
25. => There should be one-- and preferably only one --obvious way to do it.  
26. => Although that way may not be obvious at first unless you‘re Dutch.  
27. => Now is better than never.  
28. => Although never is often better than *right* now.  
29. => If the implementation is hard to explain, it‘s a bad idea.  
30. => If the implementation is easy to explain, it may be a good idea.  
31. => Namespaces are one honking great idea -- let‘s do more of those!  

• 例子06: 利用fileinput批处理文件

[python] view plain copy

 

 print?

1. #---测试文件: test.txt test1.txt test2.txt test3.txt---  
2. #---脚本文件: test.py---  
3. import fileinput  
4. import glob  
5.   
6. for line in fileinput.input(glob.glob("test*.txt")):  
7.     if fileinput.isfirstline():  
8.         print ‘-‘*20, ‘Reading %s...‘ % fileinput.filename(), ‘-‘*20  
9.     print str(fileinput.lineno()) + ‘: ‘ + line.upper(),  
10.       
11.       
12. #---输出结果:  
13. >>>   
14. -------------------- Reading test.txt... --------------------  
15. 1: AAAAA  
16. 2: BBBBB  
17. 3: CCCCC  
18. 4: DDDDD  
19. 5: FFFFF  
20. -------------------- Reading test1.txt... --------------------  
21. 6: FIRST LINE  
22. 7: SECOND LINE  
23. -------------------- Reading test2.txt... --------------------  
24. 8: THIRD LINE  
25. 9: FOURTH LINE  
26. -------------------- Reading test3.txt... --------------------  
27. 10: THIS IS LINE 1  
28. 11: THIS IS LINE 2  
29. 12: THIS IS LINE 3  
30. 13: THIS IS LINE 4  

• 例子07: 利用fileinput及re做日志分析: 提取所有含日期的行

[python] view plain copy

 

 print?

1. #--样本文件--  
2. aaa  
3. 1970-01-01 13:45:30  Error: **** Due to System Disk spacke not enough...  
4. bbb  
5. 1970-01-02 10:20:30  Error: **** Due to System Out of Memory...  
6. ccc  
7.   
8. #---测试脚本---  
9. import re  
10. import fileinput  
11. import sys  
12.   
13. pattern = ‘\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}‘  
14.   
15. for line in fileinput.input(‘error.log‘,backup=‘.bak‘,inplace=1):  
16.     if re.search(pattern,line):  
17.         sys.stdout.write("=> ")  
18.         sys.stdout.write(line)  
19.   
20. #---测试结果---  
21. => 1970-01-01 13:45:30  Error: **** Due to System Disk spacke not enough...  
22. => 1970-01-02 10:20:30  Error: **** Due to System Out of Memory...  

• 例子08: 利用fileinput及re做分析: 提取符合条件的电话号码

[python] view plain copy

 

 print?

1. #---样本文件: phone.txt---  
2. 010-110-12345  
3. 800-333-1234  
4. 010-99999999  
5. 05718888888  
6. 021-88888888  
7.   
8. #---测试脚本: test.py---  
9. import re  
10. import fileinput  
11.   
12. pattern = ‘[010|021]-\d{8}‘  #提取区号为010或021电话号码，格式:010-12345678  
13.   
14. for line in fileinput.input(‘phone.txt‘):  
15.     if re.search(pattern,line):  
16.         print ‘=‘ * 50  
17.         print ‘Filename:‘+ fileinput.filename()+‘ | Line Number:‘+str(fileinput.lineno())+‘ | ‘+line,  
18.   
19. #---输出结果:---  
20. >>>   
21. ==================================================  
22. Filename:phone.txt | Line Number:3 | 010-99999999  
23. ==================================================  
24. Filename:phone.txt | Line Number:5 | 021-88888888  
25. >>>   

• 例子09: 利用fileinput实现类似于grep的功能

• 例子10: 利用fileinput做正则替换

[python] view plain copy

 

 print?

1. #---测试样本: input.txt  
2. * [Learning Python](#author:Mark Lutz)  
3.       
4. #---测试脚本: test.py  
5. import fileinput  
6. import re  
7.    
8. for line in fileinput.input():  
9.     line = re.sub(r‘\* 
   (.?)
   #(.*)‘, r‘<h2 id="\2">\1</h2>‘, line.rstrip())  
10.     print(line)  
11.   
12. #---输出结果:  
13. c:\Python27>python test.py input.txt  
14. <h2 id="author:Mark Lutz">Learning Python</h2>  

• 例子11: 利用fileinput做正则替换，不同字模块之间的替换

• 例子12: 利用fileinput根据argv命令行输入做替换

Python中fileinput模块介绍