首页 > 代码库 > python抓取网页信息

python抓取网页信息

环境:python 2.7

用自带的urllib,urllib2包可以实现大部分抓取功能。代码十分简短。

关键在于正则表达式的建立和处理。

 1 #coding=utf-8 2 ‘‘‘ 3 Created on 2014-9-25 4  5 @author: Administrator 6 ‘‘‘ 7 import urllib 8 import urllib2 9 import re10 11 #url = ‘http://www.taobao.com/‘12 url = http://www.gov.cn/13 14 req = urllib2.Request(url)15 html = urllib2.urlopen(req).read()16 #print html17 18 ss = re.findall(blank">(.*?)\<\/,html)19 for i in ss:20     print i

 

python抓取网页信息