首页 > 代码库 > scrapy基本使用(二)

scrapy基本使用(二)

参考链接: http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/tutorial.html#id5

scrapy基本使用(一) http://www.cnblogs.com/zhaijiahui/p/6973858.html

 

了解一些基础,接下来我们该从源码里,扒出你想要的东西了。

这里就要用到一个叫选择器(Selectors)的东西了。

首先思考几个问题:

1)选择器的作用是什么?

从网页源码中提取出想要的数据。我理解python中的re,BeautifulSoup作用类似。

2)选择器如何工作?

用的是XPath,在xml和html上的节点语言,什么是节点语言?我理解这里就是在匹配一个个标签<div>,<a>,<span>等等,这样匹配的效率更高更准确。

 

下面是如何使用选择器

3)如何使用选择器?

3.1 官方的使用方法

from scrapy.selector import Selector

这样只需要调用Selector(response)就等价于scrapy.selector.Selector(response)

 

3.2 如何使用XPath来匹配内容呢?

举个例子:

body = ‘<html><body><span>good</span></body></html>‘

Selector(text=body).xpath(‘//span/text()‘).extract()

注意到我们要找的内容在<span>标签里面,可以用//span/来定位,而我们要获取标签里面包裹的内容,用text()来获取。

而前面.xpath() 及 .css() 方法返回的是一个类 SelectorList 的实例, 它是一个新选择器的列表。需要调用extract()最后成功获取good。

 

response.xpath(‘//title/text()‘).extract() 等价于 response.css(‘title::text‘).extract()

 

当源码是这种情况的时候,

<a href=‘image3.html‘>Name: My image 3 <br /><img src=‘image3_thumb.jpg‘ /></a>

 xpath用法:

>>> response.xpath(//a[contains(@href, "image")]/@href).extract()
[uimage1.html,
 uimage2.html,
 uimage3.html,
 uimage4.html,
 uimage5.html]

contains代表href里面包含”image”的内容,最后还需要@href确定取得是href的内容

 css用法:

>>> response.css(a[href*=image]::attr(href)).extract()
[uimage1.html,
 uimage2.html,
 uimage3.html,
 uimage4.html,
 uimage5.html]

 

当我们像这样把数据都挑出来以后

    def parse(self, response):
        for sel in response.xpath(//ul/li):
            item = DmozItem()
            item[title] = sel.xpath(a/text()).extract()
            item[link] = sel.xpath(a/@href).extract()
            item[desc] = sel.xpath(text()).extract()
            yield item

最后获取数据需要用 yield

yield是一个生成器,他可以记录调用之前的数据信息(各个参数的值),和位置信息(在框架中跳转以后依然能回来执行),而上次调用的所有局部变量都保持不变。

 

可以参考:Python yield 用法 http://www.pythonclub.org/python-basic/yield

 

保存爬取到的数据

scrapy crawl dmoz -o items.json

该命令将采用 JSON 格式对爬取的数据进行序列化,生成 items.json 文件。

 

在类似本篇教程里这样小规模的项目中,这种存储方式已经足够。 如果需要对爬取到的item做更多更为复杂的操作,您可以编写 Item Pipeline 。

scrapy基本使用(二)