首页 > 代码库 > 网路爬虫 来源

网路爬虫 来源

  网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者 蠕虫。

说到低爬虫就是以中自动搜索引擎

  最早的爬虫来源于搜索引擎,而最早的爬虫是善意的爬虫,它可以搜索你的一切信息,并提供个其他用户,也将其他用户的信息提供个你使用,也应此产胜利一个协议叫“robots.text”,这是一个君子协议,并起到双赢的作用。

 然而应为后来的大数据,而失却了作用,也是由于媒体的大力宣传,吸引了一批又一批的人去创建大数据公司,然而在这些人手里的数据可以用一个U盘就可以将它们装下,像这样的公司 他们怎么好意思称他们的数据为为大数据了,

所以为了得更多的数据,他们就得去搜索更多的数据来充实他们的数据库!而人手动去搜索数据就很浪费资源,因此在在这中情况下就产生 自动索引   又名 (爬虫) 

  

 

网路爬虫 来源