首页 > 代码库 > 一淘搜索之网页抓取系统分析与实现(3)—scrapy+webkit & mysql+django
一淘搜索之网页抓取系统分析与实现(3)—scrapy+webkit & mysql+django
结构图
scrapy+webkit:
如结构图③。scrapy不能实现对javascript的处理,所以需要webkit解决这个问题。开源的解决方案可以选择scrapinghub的scrapyjs或者功能更强大的splash.
关于scrapy+webkit的使用后期进行分析。
scrapy+django:
如结构图④。django实现的配置界面主要是对抓取系统的管理和配置,包括:站点feed、页面模块抽取、报表系统的反馈等等。
请直接参考:
[1]快速构建实时抓取集群
[2]淘宝摘星
文章链接:http://blog.csdn.net/u012150179/article/details/38227079
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。