首页 > 代码库 > C#爬虫初期功能
C#爬虫初期功能
支持树型爬虫结构。
例如:
A爬虫 搜索"蓝牙开关"关键字
|
|- B爬虫 获得A爬虫所有结果 通过结果 搜索生产厂家
目前只提供2种不同爬虫
1.只全文搜索关键字。
2.筛选爬虫,筛选字频,屏蔽字。通过百度谷歌是否有对应结果筛选。
不同种类的爬虫可用在爬虫树中进行组合,xml读入。
======================
第一个版本先不做爬虫树,先把读写配置文件和图形界面做好。
爬虫接口定义:
bool Search(out string url, out string preview)
void Init(WormSct wormSct)
//void Load(string path) 该版本不加
void Load(string formatStr, int oriSegment, int endSegment)
配置读写接口:
void onl oad(Dictionary<string,string> source);
//这个字典key是文件名带后缀。在同一个目录下读进来。
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。