scrapy是一个python爬虫框架，使用起来还是非常简单的。

使用pip安装scrapy

   首先安装pip，安装后使用pip安装scrapy，pip install scrapy

scrapy创建项目，及简单测试

　　这里有几个比较好的例子

　　http://blog.csdn.net/HanTangSongMing/article/details/24454453

　　http://my.oschina.net/chengye/blog/124162

　　他们都是使用的CrawlSpider，这种爬虫的有点事可以帮其获取页面上的链接，然后自动爬取。

　　每一条rule的意思是

　　Rule(sle(allow=("/position.php\?&start=\d{,4}#a")), follow=True, callback=‘parse_item‘)

　　首先rule定义了哪些链接需要做跟踪或处理。 

　　如果rule的follow为true则跟踪匹配规则对应页面上的链接，如果有回调函数则对匹配规则的页面进行分析

scrapy 使用xpath抓取，xpath是一种xml导航语言，非常好用

scrapy的shell工具非常好用

　　首先打开scrapy shell ：scrapy shell

　　打开后使用fetch(‘url‘)，打开要爬去的链接

　　然后使用 response.xpath(‘//***/***‘) 就能分析页面了

scrapy 的response 已经把页面装维unicode编码了，可以直接encode成gbk或者utf8,。

scrapy中文文档：http://scrapy-chs.readthedocs.org/zh_CN/0.24 

我感觉咋像机器翻译的那，有的地方太生硬，可以结合着原文文档使用

scrapy使用