首页 > 代码库 > 爬虫-批量获取图片
爬虫-批量获取图片
python版本:3.0
使用库: import urllib.request #打开网页的库
import os #创建文件夹有关
程序作用:批量爬取煎蛋网上图片
视频链接:链接:http://pan.baidu.com/s/1mhLBwWo 密码:1n51
有一点与视频不同:视频中图片链接为http:打头,实际煎蛋网目前没有http:,会导致无法识别网页类型,不能正确下载,在保存是补上http:即可
基础知识:
1.对于某个网站,网址一般是按顺序编码的比如:http://jandan.net/ooxx/
使用浏览器的审查元素,可以发现网址<a href="http://jandan.net/ooxx/page-2366#comments">
2366 </a>
第一页,第十页,第二十页改变的就是page-后面的数字,改变每次打开网页的这个数字就可以达到刷网页的目的,大家可以依次打开下面的网址,可以发现其规律
http://jandan.net/ooxx/page-2366#comments
http://jandan.net/ooxx/page-2365#comments
http://jandan.net/ooxx/page-2364#comments
2.网页上图片点击,可以发现图片的地址都有如下规律:
http://wx1.sinaimg.cn/mw600/005vbOHfgy1fd1ur0l6lbj31ao1y0nc8.jpg
http://wx1.sinaimg.cn/mw600/005vbOHfgy1fd1ur0l6lbj31ao1y0nc7.jpg
我们可以从一个网页的代码中筛选出这个格式的链接,利用python带的函数下载即可
程序思路:批量获取含有图片的网页,获取网页上包含的图片链接,下载图片
程序框架:
def test1(folder =‘OOXX‘,pages=2): //00XX为文件夹,程序运行时将创建,pages为抓取的网页数 os.mkdir(folder) #创建文件夹 os.chdir(folder) url="http://jandan.net/ooxx/" //要抓取的网页 page_num=int(get_page(url)) //获取第一个网址 for i in range(pages): page_num -=i page_url= url +‘page-‘ +str(page_num) +‘#comments‘ //批量获取网址 img_addrs = find_imgs(page_url) //获取图片链接 save_imgs(folder,img_addrs) //保存图片 if __name__==‘__main__‘: test1()
完整代码:
import urllib.request #打开网页的库 import os #创建文件夹有关 def url_open(url): #打开网页 req=urllib.request.Request(url) # req.add_header(‘User-Agent‘,‘Mozilla/5.0 (Windows; U; Windows NT 5.2) AppleWebKit/525.13 (KHTML, like Gecko) Chrome/0.2.149.27 Safari/525.13 ‘) #看起来像浏览器访问 response = urllib.request.urlopen(url) html = response.read() print(url) return html def get_page(url): html=url_open(url).decode(‘utf-8‘) #解码 a=html.find(‘current-comment-page‘)+23 b=html.find(‘]‘,a) return html[a:b] def find_imgs(url): #寻找图片地址 html=url_open(url).decode(‘utf-8‘) img_addrs=[] a=html.find(‘img src=http://www.mamicode.com/‘)"http://jandan.net/ooxx/" page_num=int(get_page(url)) for i in range(pages): page_num -=i page_url= url +‘page-‘ +str(page_num) +‘#comments‘ img_addrs = find_imgs(page_url) save_imgs(folder,img_addrs) if __name__==‘__main__‘: test1()
爬虫-批量获取图片