首页 > 代码库 > 通过scrapy内置的ImagePipeline下载图片到本地

通过scrapy内置的ImagePipeline下载图片到本地

2024-10-12 00:45:39   213人阅读

1.通过scrapy内置的ImagePipeline下载图片到本地

1.通过scrapy内置的ImagePipeline下载图片到本地

1）在settings.py中打开 ITEM_PIPELINES 的注释，在  ITEM_PIPELINES 中加入

ITEM_PIPELINES = {
   ‘spider_first.pipelines.SpiderFirstPipeline‘: 300,
   ‘scrapy.pipelines.images.ImagesPipeline‘:5,   #后面的数字代表执行优先级 ，当执行pipeine的时候会按照数字由小到大执行 
}

2）settings.py中加入

IMAGES_URLS_FIELD ="image_url"  #image_url是在items.py中配置的网络爬取得图片地址
#配置保存本地的地址
project_dir=os.path.abspath(os.path.dirname(__file__))  #获取当前爬虫项目的绝对路径
IMAGES_STORE=os.path.join(project_dir,‘images‘)  #组装新的图片路径




可能报错：




ModuleNotFoundError: No module named ‘PIL‘

安装pillow库即可
pip install pillow




启动爬虫 ，即可images文件夹下看到下载的图片


技术分享


 


通过scrapy内置的ImagePipeline下载图片到本地






























        

            
                
                  
                
                

                    联系

                    我们