首页 > 代码库 > 已将GitHub scrapy-redis库升级,使其兼容最新版本Scrapy
已将GitHub scrapy-redis库升级,使其兼容最新版本Scrapy
1.代码升级
之前的问题:
随着Scrapy库的流行,scrapy-redis作为使用redis支持分布式爬取的工具,也不断的被大家发现。
但是,使用过程中你会发现的问题是由于scrapy-redis是基于较老版本的Scrapy,所以当你使用的是新版本的Scrapy时,不可避免的会出现警告,甚至错误。
关于这个问题,我总结之后在scrapy-redis库中提了出来并开了issue和作者做了讨论,在确定思路后,就着手进行代码升级。
解决:
花了一段时间修改后向原代码库提交的pull request,作者已经merge了。地址:https://github.com/darkrho/scrapy-redis
其它:
如果你在使用中发现了什么问题,如果是和兼容性升级相关的,还请给我发个邮件或是直接在github上开个issue。
2.关于Travis CI
也是在参与这个项目中,才开始了解它。经常在README中发现的build图标表明的就是使用Travis CI进行构建后的状态。
Travis CI,为开源社区提供的云端持续集成服务。其作用就是在云端构建并反馈构建状态。只需在相应的代码库配置中安装Travis的hook并在库的根目录下配置.travis.yml文件。具体的可参见doc。
已将GitHub scrapy-redis库升级,使其兼容最新版本Scrapy
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。