首页 > 代码库 > Python爬虫抓取糗百的图片,并存储在本地文件夹
Python爬虫抓取糗百的图片,并存储在本地文件夹
思路:
1.观察网页,找到img标签
2.通过requests和BS库来提取网页中的img标签
3.抓取img标签后,再把里面的src给提取出来,接下来就可以下载图片了
4.通过urllib的urllib.urlretrieve来下载图片并且放进文件夹里面(第一之前的准备工作就是获取当前路径然后新建一个文件夹)
5.如果有多张图片,不断的重复3-4
由于爬虫写得少,通过自己的调试,终于写了出来了
下面直接上代码:
1 #coding = ‘utf-8‘ 2 import requests 3 from bs4 import BeautifulSoup 4 import urllib 5 import os 6 import sys 7 reload(sys) 8 sys.setdefaultencoding("utf-8") 9 10 if __name__ == ‘__main__‘: 11 url = ‘http://www.qiushibaike.com/‘ 12 res = requests.get(url) 13 res.encoding = ‘utf-8‘ 14 soup = BeautifulSoup(res.text, ‘html.parser‘) 15 imgs = soup.find_all("img") 16 17 _path = os.getcwd() 18 new_path = os.path.join(_path , ‘pictures‘) 19 if not os.path.isdir(new_path): 20 os.mkdir(new_path) 21 new_path += ‘\ ‘ 22 23 try: 24 x = 1 25 if imgs == []: 26 print "Done!" 27 for img in imgs: 28 link = img.get(‘src‘) 29 if ‘http‘ in link: 30 print "It‘s downloading %s" %x + "th‘s piture" 31 urllib.urlretrieve(link, new_path + ‘%s.jpg‘ %x) 32 x += 1 33 34 except Exception, e: 35 print e 36 else: 37 pass 38 finally: 39 if x : 40 print "It‘s Done!!!"
接下来上结果:
总结:
虽然一开始思路不清晰,而且对怎样把图片保存下来,都不是很熟
但是经过自己的思考,只要思路清楚了,确定了方向就好办了,至于函数不会用的话,可以直接百度查,很方便的
总而言之,写程序之前一定要有思路,边写边想思路是不行的,那样容易返工
不过最后还是写出来了,哈哈
也请大家来共同学习和指正
----------------------
转载的话请大家注明出处哦,谢谢了
Python爬虫抓取糗百的图片,并存储在本地文件夹
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。