首页 > 代码库 > 抓取MM图片的爬虫
抓取MM图片的爬虫
刚学python，试着写了个非常简单的爬虫，爬一些MM的鲍照下来。记录一下
#coding=utf-8import urllib,timeimport reglobal xx=0def getHtml(url): page = urllib.urlopen(url) html = page.read() return htmldef getImg(html): global x reg = r‘original=\‘(.+?.jpg)\‘ width‘ imgre = re.compile(reg) imglist = re.findall(imgre,html) local = r‘D:\pic‘ ‘\\‘ ‘%s.jpg‘ #注意表示方法，用字符串合并方法表示，不然最后一个\不好弄 i=0 for imgurl in imglist: i+=1 print ‘Downloading---‘,i urllib.urlretrieve(imgurl,local % x) x+=1 print iprint u"""---------------------------- 程序:图片爬虫 作者:hinet 版本:v 1.0 日期:2014-8-11 语言：Python 2.7 文件:D:/pic----------------------------"""for i in range(1,50): url = "http://www.baozhao.me/p/%d.html" % i html = getHtml(url) print getImg(html)
记录几个小问题：
1.文件保存到D:\pic\ 下，开始怎么都表现不出来最后那个\，最后使用了代码中的这个方法，合并了两个字符串才形成这个文件夹路径，以后再想更好的办法。
local = r‘D:\pic‘ ‘\\‘ ‘%s.jpg‘
2.re.findall函数返回一个list，使用urlretrieve进行循环下载，文件名用0,1,2,3……jpg。
这个版本还有缺陷，后期应该引入线程，还得解决图片链接问题，让抓取更有效率。
声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉： 投诉/举报 工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。