首页 > 代码库 > 基于Redis的爬虫平台的实现
基于Redis的爬虫平台的实现
一、需求：
1.数据抓取：目标数据的下载、解析、入库功能。
2.数据服务：黑名单、灰名单等查询服务。
3.平台监控：平台各个模块的数据实时监控。
二、WEB端效果展示：
三、架构设计
下载器、解析器、持久器、调度器都支持独立部署，可横向拓展部署多台服务。解耦。下载器内部开启多线程下载；解析器从待解析队列取数据，分支抽链、解析；调度器和持久器都放在web工程中，项目启动时抓取任务初始化+持久器任务开启。下载器、解析器、调度器、持久器都依赖于底层基础DAO服务。
四、技术选型
1.下载器和解析器：尝试过很多种，Jsoup、Jspider、Xpath、httpclient、HtmlUnit等。基本功能都可以。Jsoup可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。Jsoup的强大选择器最终让我选择了它。
2.生产消费介质：这里有很多种：消息队列MQ、缓存容器redis等都可以胜任。作为一次练手，采用单台redis作为消费介质（内部串行执行），可避免多线程并发问题，数据结构为list。
基于Redis的爬虫平台的实现
声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉： 投诉/举报 工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。