首页 > 代码库 > scrapy基本使用（二）

scrapy基本使用（二）

2024-10-04 09:14:02   216人阅读

参考链接： http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/tutorial.html#id5

scrapy基本使用（一） http://www.cnblogs.com/zhaijiahui/p/6973858.html

 

了解一些基础，接下来我们该从源码里，扒出你想要的东西了。

这里就要用到一个叫选择器（Selectors）的东西了。

首先思考几个问题：

1）选择器的作用是什么？

从网页源码中提取出想要的数据。我理解python中的re，BeautifulSoup作用类似。

2）选择器如何工作？

用的是XPath，在xml和html上的节点语言，什么是节点语言？我理解这里就是在匹配一个个标签<div>,<a>,<span>等等，这样匹配的效率更高更准确。

 

下面是如何使用选择器

3）如何使用选择器？

3.1 官方的使用方法

from scrapy.selector import Selector

这样只需要调用Selector(response)就等价于scrapy.selector.Selector(response)

 

3.2 如何使用XPath来匹配内容呢？

举个例子：

body = ‘<html><body><span>good</span></body></html>‘

Selector(text=body).xpath(‘//span/text()‘).extract()

注意到我们要找的内容在<span>标签里面，可以用//span/来定位，而我们要获取标签里面包裹的内容，用text()来获取。

而前面.xpath() 及 .css() 方法返回的是一个类 SelectorList 的实例, 它是一个新选择器的列表。需要调用extract()最后成功获取good。

 

response.xpath(‘//title/text()‘).extract() 等价于 response.css(‘title::text‘).extract()

 

当源码是这种情况的时候，

<a href=‘image3.html‘>Name: My image 3 <br /><img src=‘image3_thumb.jpg‘ /></a>

 xpath用法：

>>> response.xpath(‘//a[contains(@href, "image")]/@href‘).extract()
[u‘image1.html‘,
 u‘image2.html‘,
 u‘image3.html‘,
 u‘image4.html‘,
 u‘image5.html‘]

contains代表href里面包含”image”的内容，最后还需要@href确定取得是href的内容

 css用法：

>>> response.css(‘a[href*=image]::attr(href)‘).extract()
[u‘image1.html‘,
 u‘image2.html‘,
 u‘image3.html‘,
 u‘image4.html‘,
 u‘image5.html‘]

 

当我们像这样把数据都挑出来以后

    def parse(self, response):
        for sel in response.xpath(‘//ul/li‘):
            item = DmozItem()
            item[‘title‘] = sel.xpath(‘a/text()‘).extract()
            item[‘link‘] = sel.xpath(‘a/@href‘).extract()
            item[‘desc‘] = sel.xpath(‘text()‘).extract()
            yield item

最后获取数据需要用 yield

yield是一个生成器，他可以记录调用之前的数据信息（各个参数的值），和位置信息（在框架中跳转以后依然能回来执行），而上次调用的所有局部变量都保持不变。

 

可以参考：Python yield 用法 http://www.pythonclub.org/python-basic/yield

 

保存爬取到的数据

scrapy crawl dmoz -o items.json

该命令将采用 JSON 格式对爬取的数据进行序列化，生成 items.json 文件。

 

在类似本篇教程里这样小规模的项目中，这种存储方式已经足够。 如果需要对爬取到的item做更多更为复杂的操作，您可以编写 Item Pipeline 。

scrapy基本使用（二）


联系
我们