首页 > 代码库 > C#爬虫初期功能

C#爬虫初期功能

支持树型爬虫结构。

例如:

A爬虫  搜索"蓝牙开关"关键字

|

|- B爬虫 获得A爬虫所有结果 通过结果 搜索生产厂家

 

 

目前只提供2种不同爬虫

1.只全文搜索关键字。

2.筛选爬虫,筛选字频,屏蔽字。通过百度谷歌是否有对应结果筛选。

 

不同种类的爬虫可用在爬虫树中进行组合,xml读入。

 

======================

第一个版本先不做爬虫树,先把读写配置文件和图形界面做好。

 

爬虫接口定义:

bool Search(out string url, out string preview)

void Init(WormSct wormSct)

//void Load(string path) 该版本不加

void Load(string formatStr, int oriSegment, int endSegment)

 

 

配置读写接口:

void onl oad(Dictionary<string,string> source);

//这个字典key是文件名带后缀。在同一个目录下读进来。