首页 > 代码库 > golang crawler
golang crawler
最近看了《Go并发编程实战》,学了最后一章的crawler。这是一个很好的demo, 设计功能完备,同时具有可扩展性。
根据学到的思路简单总结一下,同时重复发明一下轮子。
Version 01:
比如:我们想爬一下一个外贸网站所有的 商品。
其中,有三个component,
(1) Downloader, 用来根据根据 request中的URL下载对应的页面。
(2) Analyzer 分析下载下来的页面,提取其中的 商品信息,作为Item。 同时提取其中内部链接
(3) Pipeline 对应后处理, 我们可以对 Item信息做一系列后处理,比如提取 商品名称、分类、价格等信息。对数据结构化结构化等一系列操作。
我们需要三个channel 分别装载Request, Response, Item。
golang crawler
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。