首页 > 代码库 > 一个小型的网页抓取系统的架构设计

一个小型的网页抓取系统的架构设计

一个小型的网页抓取系统的架构设计

        

    网页抓取服务是互联网中的常用服务,在搜索引擎中spider(网页抓取爬虫)是必需的核心服务。搜索引擎的衡量指标“多、快、准、新”四个指标中,多、快、新都是对spider的要求。搜索引擎公司比如google、baidu都维护者自己负责的spider系统。当然他们的系统很复杂,在这里我们介绍一个小型的网页抓取系统的架构,目标是快速的抓取某个或者几个指定的网站的数据,它的作用有很多,比如做竞品分析,还有其他不可告人的J。

         下面这个小型的网页抓取系统,分成下面几个部分:

         1)网页种子文件,这个里面配置要抓取的链接是我们抓取服务的起点;

         2)链接池,链接的FIFO队列,种子的link会先入这个队列;

         3)抓取线程,从链接池中获取链接,并下载网页生成的网页数据放到网页池;

         4)网页池,网页的FIFO队列,抓取的网页都会进入到这个pool;

         5) 抽取线程是系统的核心,它负责根据配置的模板抽取网页中指定的链接与数据,将抽取到个格式化数据入到抽取线程,将抽取出来的新的链接放到链接库;

         6)调度线程,负责链接的调度策略,将选择合适的链接放到链接池队列;

系统架构如下:


 

一个小型的网页抓取系统的架构设计