首页 > 代码库 > web爬虫

web爬虫

第一、爬虫及其行为方式

1.根集

2.连接的提取和相对链接的标准化

从页面提取出链接,然后把相对链接转化为绝对链接

3.避免环路的出现

4.循环和复制

5.记录爬过得链接

  1. 树和散列表
  2. 有损的存在位图
  3. 集群和索引

6.规范URL

7.避免循环和重复

  1. 规范URL
  2. 广度优先的爬行
  3. 节流:限制一段时间内机器人可以从一个WEB站点获取的页面的数量
  4. 限制URL的大小
  5. URL/站点黑白名单
  6. 内容识别
  7. 模式检测
  8. 人工监视

8.机器人的HTTP

http1.1加host首部

9.web站点和robots.txt文件

1.获取robots.txt

2.robots文件采用了非常简单的、面向行的语法

robotx.txt有三种类型的行:空行、注释行、规则行

User-Agent:<robot-name>

Disallow:URL list

机器人将期望访问的url与上面的URL list做比较,如果不在list内,说明可以访问该URL