首页 > 代码库 > python 生成器和迭代器介绍

python 生成器和迭代器介绍

在正式接触生成器之前,我们先来了解一些概念

 

容器(container)

容器是一种把多个元素组织在一起的数据结构,容器中的元素可以逐个迭代获取,可以用in、not in关键字判断元素是否包含在容器中。通常这类数据结构把所有的元素存储在内存中(也有一些特殊的存在)。

Python中常见的容器对象:

  1. list ,deque, ...
  2. set, frozensets, ...
  3. dict, defaultdict, OrderedDict, Counter, ...
  4. tuple, nametuple, ...
  5. str

提示:1.可迭代对象赋予容器一种可以供提取元素的能力

          2.不是所有的容器都是可迭代的

 

可迭代对象(iterable)

如果给定一个list或tuple,我们可以通过for循环来遍历这个list或tuple,这种遍历我们称为迭代(Iteration)。

可迭代对象并不局限于容器,如:files,sockets等(处于打开状态)。只要是可用i返回有一个可迭代的对象都可以称之为可迭代对象。

例:

x = [1, 2, 3]
y = iter(x)

print(next(y))
print(next(y))

print(type(x), type(y))

技术分享

分析:

       这里x是一个可迭代对象,可迭代对象和容器一样是一种通俗的称呼,并不是指某种具体的数据类型。list,set,dict都是可迭代对象而y则是一个独立的迭代器,迭代器内部有一个状态,该状态用于记录当前迭代坐在的位置,以方便下次迭代的时获取正确的元素。

       迭代器有一种具体的迭代器类型:list_iterator,set_iterator, ...。可迭代对象实现了__iter__()和__next__()方法(python2中是next()方法,python3.x是__next__()方法),这两个方法对应内置函数iter()和next()。__iter__方法返回可迭代对象本身,这使得它既有可迭代对象同时也是一个迭代器。

技术分享

迭代器(iterator)

     迭代器(iterator)是一种对象,它能够用来遍历标准模板库容器中的部分或全部元素,每个迭代器对象代表容器中的确定的地址。迭代器修改了常规指针的接口,所谓迭代器是一种概念上的抽象:那些行为上像迭代器的东西都可以叫做迭代器。然而迭代器有很多不同的能力,它可以把抽象容器和通用算法有机的统一起来。

迭代器具备以下两种方法:

  • __iter__()
  • __next__()

而可迭代对象必须具备:

  • __iter__()

提示:1.对于迭代器来讲,有一个__next__()就够了。在使用for循环时,程序会自动调用即将被处理的迭代器对象,然后使用next()函数,直到检测到一个StopIteration异常。

          2.next()内置函数就是调用对象的方法__next__(),iter()内置函数是调用对象的__iter__()方法。

案例:

  • 直接调用next()方法

技术分享

技术分享

  • 先使用iter(),再调用next()

技术分享

上面的例子中,我们都知道列表 t 可以用 for 循环进行取值操作,但是不能被内置函数 next() 来取值,因此,判断 t 是 可迭代对象(iterable); 当 t 通过 iter() 进行包装后,可以调用 next() 查询取值,所以,I 是 迭代器(iterator)。

除了上述方式可以判断,还有collections模块的判断函数:

  • 可迭代对象判断

技术分享

  • 迭代器判断

技术分享

使用 iter() 将可迭代对象进行转化成迭代器

技术分享

小结:我们可以推断,for 循环内部就是先调用 iter() 把 iterable 变成 iterator 再进行循环迭代。

技术分享

技术分享

上面的for循环和while循环等价

 

为什么list, dict, set, str等数据类型不是 迭代器(Iterator)?

       因为Python的 Iterator 对象表示的是一个数据流,Iterator对象可以被next()内置函数调用并不断返回下一个数据,直到没有数据时抛出StopIteration异常。可以把这个数据流看做是一个有序序列,但是不能提前知道这个序列的长度,只能不断通过next()内置函数实现按需计算下一个数据,所以Iterator的计算是惰性的,只有在需要返回下一个数据时才会计算。Iterator可以看做是无限大的数据流,eg: 全体自然数,而list,set, str等是不可能存储全部的自然数的。

 

补充: Iterator继承自Iterable,从下面的测试中可以很方便的看到Iterator包含__iter__()和next()方法,而Iteratble仅仅包含__iter__()。

from collections import Iterator, Iterable

技术分享

技术分享

迭代器总结:

  • 用for循环迭代的对象都是Iterable类型
  • 用next()内置函数取值的对象都是Iterator类型,表示一个惰性计算的序列
  • Iterable均可通过内置函数iter(),获得一个Iterator对象
  • for循环内部实现机制

 

生成器

      生成器的概念要比迭代器稍显复杂,因为生成器是能够返回一个迭代器的函数,其最大的作用是将输入对象返回为一个迭代器。Python中使用了迭代的概念,是因为当需要循环遍历一个较大的对象时,传统的内存载入方式会消耗大量的内存,不如需要时读取一个元素的方式更为经济快捷。

生成器是一次生成一个值的特殊类型函数(特殊的迭代器)。可以将其视为可恢复函数。调用该函数将返回一个可用于生成连续 x 值的生成器Generator。

有两点要先明确:

  • 任意生成器都是迭代器(反之,不成立)
  • 任意生成器,都是一个可以延迟创建值的工厂(可控性)

生成器的创建

  • 将列表生成式中[]改成()

       通过列表生成式,可以直接创建一个列表。但是,受到内存限制,列表容量肯定是有限的。而且,创建一个包含百万元素的列表,不仅是占用很大的内存空间,如:我们只需要访问前面的几个元素,后面大部分元素所占的空间都是浪费的。

因此,没有必要创建完整的列表(节省大量内存空间)。在Python中,我们可以采用生成器:边循环,边计算的机制—>generator

技术分享

我们该怎么打印元素呢?

刚刚提到生成器是特殊的迭代器,可以通过next()内置函数来获得generator的下一个返回值:

技术分享

generator是保存的算法,每次调用next()内置函数,才能计算出下一个元素。

next的方式肯定不能用的,正因为generator也是可迭代对象,我们可以使用for循环。

技术分享

提示:这里使用for循环,没有出现异常情况,是和迭代器一样的,都是因为for循环的内部机制。

简单的说就是在函数的执行过程中,yield语句会把你需要的值返回给调用生成器的地方,然后退出函数,下一次调用生成器函数的时候又从上次中断的地方开始执行,而生成器内的所有变量参数都会被保存下来供下一次使用。

 

生成器小结:

  • 生成器对象就是一种特殊的迭代器,满足迭代器协议,可以调用next()内置函数;对生成器for 循环时,调用iter()方法返回了生成器对象,然后再不断next()迭代,而iter()和next()都是在yield内部实现的。
  • 生成器创建方式:常见两种(列表生成式、函数关键字)。

 

 


python 生成器和迭代器介绍