首页 > 代码库 > 爬虫scrapy
爬虫scrapy
嘛本来今天是要开发分布式爬虫的,
然而悲伤的发现,还要先学scrapy,
so,我就先熟悉一下scrapy咯
windous好烦,很多开发都不太支持,要买个Linux主机
目的:scrapy 静态爬虫
过程:windous下先完成安装环境
在终端运行,scrapy shell url
筛选数据
用到火狐的firebug
response.xpath().extract()
/text()
//*[@id=‘puid-2657983011‘]/dl/dd[5]/div[1]/span[1]
.//*[@id=‘puid-2657983011‘]/dl/dd[5]/div[1]/span[1]/text()
.//div[@class=‘f-list-item‘]/dl/dd[5]/div[1]/span[1]/text()
.//div[@class=‘f-list-item ‘]/dl/dd[1]/a/text()
几个筛选示例
总结:嘛简单的静态爬爬取做到了,和昨天的方式还是不太一样的
之间知道了ipython zip()
还可以吧,明天开始进行scrapy框架内的学习
PS:妈蛋我一定要用双系统,入Linux的坑
爬虫scrapy
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。