首页 > 代码库 > python 入门实践之网页数据抓取

python 入门实践之网页数据抓取

这个不错。正好入门学习使用。

1、其中用到 feedparser:
技巧:使用 Universal Feed Parser 驾驭 RSS
http://www.ibm.com/developerworks/cn/xml/x-tipufp.html
请访问 feedparser.org,详细了解 Universal Feed Parser,其中还包括一些下载资料和文档。

feedparser 实际下载地址:
http://code.google.com/p/feedparser/downloads/list

2、另外,需要将文件加上 utf-8 的 bom 头,需要用到 python 写入十六进制字符:
http://linux.byexamples.com/archives/478/python-writing-binary-file/
python 写入十六进制字符
file.write("\x5F\x9D\x3E")
file.close()

3、因为要调试,文件的打开模式改成 w 方便一些。

Python代码  收藏代码
    1. import urllib  
    2. import sys  
    3. import re  
    4. from feedparser import _getCharacterEncoding as enc  
    5.   
    6. class TagParser:  
    7.     def __init__(self, value):  
    8.         self.value = value  
    9.     def get(self, start, end):  
    10.         regx = re.compile(r‘<‘ + start + r‘.*?>.*</‘ + end + r‘>‘)  
    11.         return re.findall(regx, self.value)  
    12.   
    13. if __name__ == "__main__":  
    14.     baseurl = "http://data.book.163.com/book/section/000BAfLU/000BAfLU"  
    15.     f = open("test_01.txt", "w")  
    16.     f.write("\xef\xbb\xbf")  
    17. #    for ndx in range(0, 56):  
    18.     for ndx in range(0, 1):  
    19.         url = baseurl + str(ndx) + ".html"  
    20.         print "get content from " + url  
    21.         src = urllib.urlopen(url)  
    22.         text = src.read()  
    23.   
    24.     f1= open("tmp_" + str(ndx) + ".txt", "w")  
    25.     f1.write(text)  
    26.     f1.close()  
    27.   
    28.         encoding = enc(src.headers, text)[0]  
    29.      
    30.         tp = TagParser(text)  
    31.      
    32.         title = tp.get(‘h1 class="f26s tC"‘, ‘h1‘)  
    33.         article = tp.get(‘p class="ti2em"‘, ‘p‘)  
    34.      
    35.         t = re.sub(r‘</.+>‘, ‘\n‘, title[0])  
    36.         t = re.sub(r‘<.+>‘, ‘\n‘, t)  
    37.         data = t  
    38.      
    39.         c = ""  
    40.         for p in article:  
    41.             pt = re.sub(r‘</p>‘, ‘\n‘, p)  
    42.             c += pt  
    43.         c = re.sub(r‘<.+>‘, ‘\n‘, c)  
    44.         data += c  
    45.         data = data.decode(encoding)  
    46.         f.write(data.encode(‘utf-8‘, ‘ignore‘))  
    47.      
    48.     f.close()  

python 入门实践之网页数据抓取