简单爬虫R实现

1、广度优先搜索策略

网页的结构通常是一个页面包含正文和多个链接，这些链接大部分是域内链接，但也含有域外链接。通过对这些链接进行遍历，一层一层地搜索就可以搜索到所有页面。

如图，网页结构已经很好的显示了一种图的层次结构。在这种图的结构中，简单地实现遍历，我们就可以采用两种遍历方式，广度优先和宽度优先搜索。形象的说，广度优先就是一层一层的搜索，先搜索父节点，然后搜索父节点的所有子节点，再搜索后面的。宽度优先呢，就是一条路走到底，然后再回过去继续。

很明显，广度优先就是利用队列的思想，宽度优先就是利用栈的思想了。这里谈谈，怎么利用广度优先思想搜索页面。

如图显示了页面进入队列的情况，每次搜索一个页面后，就提取页面所有的链接。将这些页面加入到队尾。搜索网页时，就从队首出去一个页面的url。

但仅仅这样是不够的，网页并非是树形结构，而是一个加权有向图。因此，就存在如下的一些问题：

◎环路问题

◎权重衡量的问题

针对环路问题，比较容易解决，就是利用一张hash表记住已经访问过的页面。但是这张hash表却会随着访问的增长越变越大，大到hash表已经几乎失去hash的优势了。

对于权重衡量的问题解决就很复杂了，这里从两个方面提供策略。

1、 链接的内容，从链接的内容着手可以很方便的解决权重问题。一是通过锚文本的内容相关性解决，如果访问的是一个java开发的网站，而锚文本却是一个心理学的内容，一般情况是没多大关系的。二是通过链接内容来分辨，链接的英文字符应该跟本站主题有一定程度的相似性，但链接文本不太好分辨，很多网站的域名或是目录、文件名都没多大规则。三是可以忽略掉一些链接，如图片的链接，很多广告都是这类链接。

2、  链接-页面之间的相关性。看看Google的pagerank算法，这里不作过多的介绍。网站的页面被分为两种，中枢和权威。中枢是一个枢纽，会指向很多的权威页面。而权威则是由多个中枢指定的页面。

2、准备工作

好了，回到正题，这里主要讲一下通过R语言实现网络爬虫。不过这里实现的爬虫不是像Google这样的广义的爬虫，而是基于某一个主题的爬取。这里是心理学方面的。针对不同的爬取需要，可对爬虫策略进行相应的变换。从应用的角度我们可以大致的将爬虫划分为如下几个模块，如图：

模块分析

1、  数据库模块配置

Windows下配置DNS的数据源，配置过程略。

数据库及表的创建（本例中）

mysql> create table pagetext(

    -> href varchar(30) primary key,

    -> text text

-> );

2、主题词获取

   下载主题词库，然后从外部导入

    文本相关度求法à对文本进行分词之后，与主题词进行匹配，看看存在多少个主题相关的词汇，大于k值则表示与主题相关。

3、        代码

library(XML)

library(RODBC)

library(hash)

library(rJava)

library(Rwordseg)

#############################################################

# 模块一，建立主题词库，以数据框的形式保存

#############################################################

data=http://www.mamicode.com/read.table("F:/psychDict.txt", header=T)

#包含主题词的个数

dataLen=length(data[,1])

countFun=function(vector)

{

count=0;

#此处需要优化，在R里面时间也太长了吧

for(i in 1:length(vector))

{

           for(j in 1:dataLen)

         {

                    if(vector[i]==data[1,])

                    {

                             count = count+1

                             break

                    }

           }

}

return(count)

}

###########################################################

# 模块二、爬虫流程模块

###########################################################

minCorCount=10       #主题词汇最少个数

#建立一个hash表，保存已经访问过的url

closedH=hash()

#将初始链接加入队列，我们用一个向量来模拟队列

urlQueue=c("http://www.baidu.com/")

for(time in 1:100)

{

#取出队头，下载页面

page=htmlParse(urlQueue[1])

#提取正文

text=xmlValue(xmlRoot(page))

#去掉非中文字符

text=gsub("[^\u4e00-\u9fa5]","",text)

#检测正文内容是否相关

textV=segmentCN(text)

textCor=countFun(textV)

#如果相关，则将其加入数据库

if(textCor>=minCorCount)

{

           sqlAddpage(urlQueue[1],text)

}

#获取所有链接

links=getNodeSet(page,"//a")

#遍历每个链接节点

for(i in 1:length(links))

{

           #提取链接href

           href=http://www.mamicode.com/xmlGetAttr(links[[i]],"href")

           #提取锚文本

           linkText=xmlValue(links[[i]])

           #如果锚文本主题相关，则将其加入队列

           linkV=segmentCN(linkText)

           corCount=countFun(linkV)

           if(corCount>0)

           {

                    #如果这个链接不在close表里面

                    if(closedH[[href]]==NULL)

                    {

                             #加入到队列

                             urlQueue=c(urlQueue,href)

                    }

           }

           #如果不相关，则将其加入hash表中

           else

           {

           .set(closedH,keys=href,values=linkText)

           }

}

#将遍历过的URL加入close表并且从队列里面删除

.set(closedH,keys=href,values=linkText)

urlQueue=urlQueue[-1]

}

##############################################################

# 模块三、数据库访问模块

##############################################################

#将正文加入数据库

sqlAddPage=function(href,text)

{

channel=odbcConnect("mysqldata",uid="root",pwd="chenzhi2014")

sql=paste("insert into pagetext values(‘",href,"‘,‘",text,"‘)")

#建议数据保存使用这种简单的方式

sqlQuery(channel,sql)

close(channel)

}

4、        改进地方

上述有很多地方都是需要改进的，下面列出几个。

l  主题词汇词典的表示，一般词典都是通过2字hash索引建立的，在R语言里面可以使用hash类直接建立索引，这其实是一个必须改动的地方，不然会非常非常慢。

l  文档与主题的相似度求法，这里直接给的一个阈值恒定，可以利用相关度的概率论公式进行求解。

l  还有之间说过的 hash表的问题，如何解决hash表无限膨胀的问题。