首页 > 代码库 > python3 网页爬虫图片下载无效链接处理 try except
python3 网页爬虫图片下载无效链接处理 try except
代码比较粗糙,主要是备忘容易出错的地方。供自己以后查阅。
#图片下载
import re
import urllib.request #python3中模块名和2.x(urllib)的不一样
site=‘https://world.taobao.com/item/530762904536.htm?spm=a21bp.7806943.topsale_XX.4.jcjxZC‘
page=urllib.request.urlopen(site)
html=page.read()
html=html.decode(‘utf-8‘) #读取下来的网页源码需要转换成utf-8格式
reg=r‘src="http://(gd.*?jpg)‘
imgre=re.compile(reg)
imglist=re.findall(imgre,html)
trueurls=[]
for i in imglist:
trueurls.append(i.replace(‘gd‘,‘http://gd‘))
trueurls[2]=‘http://wlgsad.com.jpg‘
print (trueurls)
x=200
for j in trueurls:
try:
urllib.request.urlretrieve(j,‘%s.jpg‘ %x)
except Exception : #except Exception as e:
pass # print (e)
# print (‘有无效链接‘)
x=x+1
在except子句可以打印出一些提示信息
下载图片的时候,如果有无效的链接,可以用try except跳过无效链接继续下一个图片的下载
python3 网页爬虫图片下载无效链接处理 try except