首页 > 代码库 > 一个简单的python爬虫，以豆瓣妹子“http://www.dbmeizi.com/category/2?p= ”为例
一个简单的python爬虫，以豆瓣妹子“http://www.dbmeizi.com/category/2?p= ”为例
本想抓取网易摄影上的图，但发现查看html源代码时找不到图片的url，但firebug却能定位得到。(不知道为什么？？？)
目标是抓取前50页的爆乳图，代码如下：
import urllib2,urllib,re,os‘‘‘http://www.dbmeizi.com/category/2?p=%‘‘‘def get_url_from_douban(): url_list=[] p=re.compile(r‘‘‘<img.*?src="http://www.mamicode.com/(.+?\.jpg)‘‘‘) #找出发布人的标题和url for i in range(1,50): target = r"http://www.dbmeizi.com/category/2?p=%d"%i # print target req=urllib2.urlopen(target) result=req.read() matchs=p.findall(result) url_list.extend(matchs) # print matchs # print "-----"*40 return url_listdef download_pic(url_list): # print url_lists count=0 if not os.path.exists(‘/tmp/pic‘): os.mkdir(‘/tmp/pic/‘) for url in url_list: urllib.urlretrieve(url,‘/tmp/pic/‘+str(count)+‘.jpg‘) count+=1if __name__==‘__main__‘: # start_time=time.time() print "start getting url..." url_lists=get_url_from_douban() print "url getted! downloading..." download_pic(url_lists) print "download finish!!!" # cost_time=time.time() - start_time() # print cost_time # download_pic(url_lists)
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
/System/Library/Frameworks/Python.framework/Versions/2.7/bin/python /Users/lsf/PycharmProjects/some_subject/get_doubanmeizi_pic.py
start getting url...
url getted! downloading...
download finish!!!
Process finished with exit code 0
运行结果如图：
只是一个简单的实现方式，没有考虑性能，速度挺慢的。
ps:贴图会不会被查水表！！？？
一个简单的python爬虫，以豆瓣妹子“http://www.dbmeizi.com/category/2?p= ”为例
声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉： 投诉/举报 工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。