首页 > 代码库 > 爬虫scrapy

爬虫scrapy

嘛本来今天是要开发分布式爬虫的,
然而悲伤的发现,还要先学scrapy,
so,我就先熟悉一下scrapy咯

windous好烦,很多开发都不太支持,要买个Linux主机

目的:scrapy 静态爬虫
过程:windous下先完成安装环境
在终端运行,scrapy shell url

筛选数据
用到火狐的firebug
response.xpath().extract()
/text()
//*[@id=‘puid-2657983011‘]/dl/dd[5]/div[1]/span[1]
.//*[@id=‘puid-2657983011‘]/dl/dd[5]/div[1]/span[1]/text()
.//div[@class=‘f-list-item‘]/dl/dd[5]/div[1]/span[1]/text()
.//div[@class=‘f-list-item ‘]/dl/dd[1]/a/text()
几个筛选示例
总结:嘛简单的静态爬爬取做到了,和昨天的方式还是不太一样的

之间知道了ipython zip()
还可以吧,明天开始进行scrapy框架内的学习
PS:妈蛋我一定要用双系统,入Linux的坑

爬虫scrapy