首页 > 代码库 > 第四周Python--装饰器(迭代器、生成器)
第四周Python--装饰器(迭代器、生成器)
---恢复内容开始---
上节回顾:
编码:Python3中默认的是unicode,Python2中默认的是ASCII
区分:局部变量和全局变量
递归的特点:
1)规模减少
2)明确结束条件
3)效率低
函数式编程,不会有副作用,传递什么值就会有什么结果。
本节内容:
1、迭代器和生成器
2、装饰器
3、Json和Pickle序列化
4、软件目录结构规范
5、作业:ATM
1、迭代器&生成器
迭代器
迭代器是访问集合元素的一种方式。迭代器对象从集合的第一个元素开始访问,直到所有的元素被访问完结束。迭代器只能往前不会后退,不过这也没什么,因为人们很少在迭代途中往后退。另外,迭代器的一大优点是不要求事先准备好整个迭代过程中所有的元素。迭代器仅仅在迭代到某个元素时才计算该元素,而在这之前或之后,元素可以不存在或者被销毁。这个特点使得它特别适合用于遍历一些巨大的或是无限的集合,比如几个G的文件
特点:
- 访问者不需要关心迭代器内部的结构,仅需通过next()方法不断去取下一个内容
- 不能随机访问集合中的某个值 ,只能从头到尾依次访问
- 访问到一半时不能往回退
- 便于循环比较大的数据集合,节省内存
生成器generator
我现在有个需求,看列表[0, 1, 2, 3, 4, 5, 6, 7, 8, 9],我要求你把列表里的每个值加1,你怎么实现?你可能会想到2种方式:
a=[0,1,2,3,4,5,6,7,8,9] b=[] for i in a:b.append(i+1) a=b print(a)
a=[0,1,2,3,4,5,6,7,8,9] for index,i in enumerate(a): a[index] +=1 print(a)
a = [i+1 for i in range(10)]#列表生成式 print(a)
列表生成式的作用:代码更加的简洁
通过列表生成式,我们可以直接创建一个列表。但是,受到内存限制,列表容量肯定是有限的。而且,创建一个包含100万个元素的列表,不仅占用很大的存储空间,如果我们仅仅需要访问前面几个元素,那后面绝大多数元素占用的空间都白白浪费了。所以,如果列表元素可以按照某种算法推算出来,那我们是否可以在循环的过程中不断推算出后续的元素呢?这样就不必创建完整的list,从而节省大量的空间。在Python中,这种一边循环一边计算的机制,称为生成器:generator。
我们创建了一个generator后,基本上永远不会调用next(),而是通过for循环来迭代它,并且不需要关心StopIteration的错误。generator非常强大。如果推算的算法比较复杂,用类似列表生成式的for循环无法实现的时候,还可以用函数来实现。
比如,著名的斐波拉契数列(Fibonacci),除第一个和第二个数外,任意一个数都可由前两个数相加得到:1, 1, 2, 3, 5, 8, 13, 21, 34, ...
斐波拉契数列用列表生成式写不出来,但是,用函数把它打印出来却很容易:
def fib(max):
n, a, b = 0, 0, 1
while n < max:
print(b)
a, b = b, a + b (元祖格式)
n = n + 1
return (“done”)
定义:一个函数调用时返回一个迭代器,那这个函数就叫做生成器(generator),如果函数中包含yield语法,那这个函数就会变成生成器 。
1 def cash_out(amount): 2 while amount >0: 3 amount -= 1 4 yield 1 5 print("擦,又来取钱了。。。败家子!") 6 7 8 9 ATM = cash_out(5) 10 print("--------------------") 11 print("取到钱 %s 万" % ATM.__next__()) 12 print("花掉花掉!") 13 print("取到钱 %s 万" % ATM.__next__()) 14 print("取到钱 %s 万" % ATM.__next__()) 15 print("花掉花掉!") 16 print("取到钱 %s 万" % ATM.__next__()) 17 print("取到钱 %s 万" % ATM.__next__()) 18 print("取到钱 %s 万" % ATM.__next__()) #到这时钱就取没了,再取就报错了 19 print("取到钱 %s 万" % ATM.__next__()) 20 21 结果: 22 -------------------- 23 取到钱 1 万 24 花掉花掉! 25 擦,又来取钱了。。。败家子! 26 取到钱 1 万 27 擦,又来取钱了。。。败家子! 28 取到钱 1 万 29 花掉花掉! 30 擦,又来取钱了。。。败家子! 31 取到钱 1 万 32 擦,又来取钱了。。。败家子! 33 取到钱 1 万 34 擦,又来取钱了。。。败家子!
作用:
这个yield的主要效果呢,就是可以使函数中断,并保存中断状态,中断后,代码可以继续往下执行,过一段时间还可以再重新调用这个函数,从上次yield的下一句开始执行。
另外,还可通过yield实现在单线程的情况下实现并发运算的效果。
1 import time 2 def consumer(name): 3 print("%s 准备吃包子啦!" %name) 4 while True: 5 baozi = yield 6 7 print("包子[%s]来了,被[%s]吃了!" %(baozi,name)) 8 9 def producer(name): 10 c = consumer(‘A‘) 11 c2 = consumer(‘B‘) 12 c.__next__() 13 c2.__next__() 14 print("老子开始准备做包子啦!") 15 for i in range(10): 16 time.sleep(1) 17 print("做了2个包子!") 18 c.send(i) 19 c2.send(i) 20 21 producer("alex") 22 23 结果: 24 A 准备吃包子啦! 25 B 准备吃包子啦! 26 老子开始准备做包子啦! 27 做了2个包子! 28 包子[0]来了,被[A]吃了! 29 包子[0]来了,被[B]吃了! 30 做了2个包子! 31 包子[1]来了,被[A]吃了! 32 包子[1]来了,被[B]吃了! 33 做了2个包子! 34 包子[2]来了,被[A]吃了! 35 包子[2]来了,被[B]吃了! 36 做了2个包子! 37 包子[3]来了,被[A]吃了! 38 包子[3]来了,被[B]吃了! 39 做了2个包子! 40 包子[4]来了,被[A]吃了! 41 包子[4]来了,被[B]吃了! 42 做了2个包子! 43 包子[5]来了,被[A]吃了! 44 包子[5]来了,被[B]吃了! 45 做了2个包子! 46 包子[6]来了,被[A]吃了! 47 包子[6]来了,被[B]吃了! 48 做了2个包子! 49 包子[7]来了,被[A]吃了! 50 包子[7]来了,被[B]吃了! 51 做了2个包子! 52 包子[8]来了,被[A]吃了! 53 包子[8]来了,被[B]吃了! 54 做了2个包子! 55 包子[9]来了,被[A]吃了! 56 包子[9]来了,被[B]吃了! 57 58 59 来源alex
2、装饰器
参考:1)(http://www.cnblogs.com/wupeiqi/articles/4980620.html (参考银角大王的博客))
2)http://egon09.blog.51cto.com/9161406/1836763
2.1:函数调用顺序:其他高级语言类似,Python 不允许在函数未声明之前,对其进行引用或者调用
错误示范:
1 def foo(): 2 print ‘in the foo‘ 3 bar() 4 5 foo() 6 (错误) 7 8 def foo(): 9 print ‘foo‘ 10 bar() 11 foo() 12 def bar(): 13 print ‘bar‘ 14 15 (错误)
正确示范:(注意,python为解释执行,函数foo在调用前已经声明了bar和foo,所以bar和foo无顺序之分)
1 def bar(): 2 print ‘in the bar‘ 3 def foo(): 4 print ‘in the foo‘ 5 bar() 6 7 foo() 8 9 def foo(): 10 print ‘in the foo‘ 11 bar() 12 def bar(): 13 print ‘in the bar‘ 14 foo()
2.2:高阶函数
满足下列条件之一就可成函数为高阶函数
-
某一函数当做参数传入另一个函数中
-
函数的返回值包含n个函数,n>0
高阶函数示范:
1 def bar(): 2 print ‘in the bar‘ 3 def foo(func): 4 res=func() 5 return res 6 foo(bar)
高阶函数的牛逼之处:
def foo(func): return func print ‘Function body is %s‘ %(foo(bar)) print ‘Function name is %s‘ %(foo(bar).func_name) foo(bar)() #foo(bar)() 等同于bar=foo(bar)然后bar() bar=foo(bar) bar()
2.3:内嵌函数和变量作用域:
定义:在一个函数体内创建另外一个函数,这种函数就叫内嵌函数(基于python支持静态嵌套域)
函数嵌套示范:
1 def foo(): 2 def bar(): 3 print ‘in the bar‘ 4 5 bar() 6 7 foo()
局部作用域和全局作用域的访问顺序
1 x=0 2 def grandpa(): 3 # x=1 4 def dad(): 5 x=2 6 def son(): 7 x=3 8 print x 9 son() 10 dad() 11 grandpa()
上述例子,答案是3,函数是如何执行的?
局部变量修改对全局变量的影响。(修改办法,global)
y=10 def test(): global y y=2 print(y) test() print(y) def dad(): m=1 def son(): n=2 print (‘--->‘,m + n) print( ‘-->‘,m) son() dad() 结果: 2 2 --> 1 #注意先执行的是那句 ---> 3
2.4:闭包:如果在一个内部函数里,对在外部作用域(但不是在全局作用域)的变量进行引用,那么内部函数就被认为是 closure
def counter(start_num=0): count=[start_num] def incr(): count[0]+=1 return count[0] return incr print(counter()) print(counter()) print(counter()) c=counter() print(c()) print(c()) 结果: <function counter.<locals>.incr at 0x00000000021CF730> <function counter.<locals>.incr at 0x00000000021CF730> <function counter.<locals>.incr at 0x00000000021CF730> 1 2
2.5装饰器
内嵌函数+高阶函数+闭包=》装饰器
Python中:
装饰器的定义:本质上就是函数,就是用def语法来定义。功能就是装饰其它函数的,为其它函数添加附加功能。
正在线上执行的程序,如果新增功能:怎么办?
装饰器原则:
1、不能修改被修饰函数的源代码
2、不能修改被装饰的函数的调用方式。
总结:装饰器对待被修饰的函数来说,是完全透明的。(没有修改我的源代码,还在正常运行。)
预热两个范例:
范例一:函数参数固定
import time def decorartor(func): def wrapper(n): start_time=time.time() func(n) stop_time=time.time() print(‘The func run time is %s‘%(stop_time-start_time)) return wrapper def test(n): time.sleep(3) print("in the test arg is %s" %n) decorartor(test)(‘ajun‘) 结果: in the test arg is ajun The func run time is 3.000171422958374
范例二:函数参数不固定
1 import time 2 def decorartor(func): 3 def wrapper(*args,**kwargs): 4 start_time=time.time() 5 func(*args,**kwargs) 6 stop_time=time.time() 7 print(‘The func run time is %s‘%(stop_time-start_time)) 8 return wrapper 9 def test(n,x=1): 10 time.sleep(3) 11 print("in the test arg is %s" %n) 12 13 decorartor(test)(‘ajun‘,x=2) 14 15 结果: 16 in the test arg is ajun 17 The func run time is 3.0001718997955322
必备知识:
#### 第一波 #### def foo(): print("foo") foo #表示是函数 foo() #表示执行foo函数 #### 第二波 #### def foo(): print("foo") foo=lambda x: x+1 foo() # 执行下面的lambda表达式,而不再是原来的foo函数,因为函数 foo 被重新定义了 注意:lambda 是一个匿名函数
2.5.1无参装饰器
1 import time 2 def decorator(func): 3 def wrapper(*args,**kwargs): 4 start=time.time() 5 func(*args,**kwargs) 6 stop=time.time() 7 print(‘run time is %s ‘ %(stop-start)) 8 return wrapper 9 10 @decorator 11 def test(list_test): 12 for i in list_test: 13 time.sleep(0.1) 14 print(‘-‘*20,i) 15 16 test(range(10)) 17 18 结果: 19 -------------------- 0 20 -------------------- 1 21 -------------------- 2 22 -------------------- 3 23 -------------------- 4 24 -------------------- 5 25 -------------------- 6 26 -------------------- 7 27 -------------------- 8 28 -------------------- 9 29 run time is 1.0030572414398193
2.5.2有参数的装饰器
1 import time 2 def timer(timeout=0): 3 def decorator(func): 4 def wrapper(*args,**kwargs): 5 start=time.time() 6 func(*args,**kwargs) 7 stop=time.time() 8 print(‘the run time is %s ‘%(stop-start)) 9 print(timeout) 10 return wrapper 11 return decorator 12 13 @timer(2) 14 def test(list_test): 15 for i in list_test: 16 time.sleep(0.1) 17 print( ‘-‘*20,i) 18 test(range(10))
2.6装饰器应用案例详解
单独以f1为例:
def w1(func): def inner(): # 验证1 # 验证2 # 验证3 return func() return inner @w1 def f1(): print(f1)
当写完这段代码后(函数未被执行、未被执行、未被执行),python解释器就会从上到下解释代码,步骤如下:
- def w1(func): ==>将w1函数加载到内存
- @w1
没错,从表面上看解释器仅仅会解释这两句代码,因为函数在没有被调用之前其内部代码不会被执行。
从表面上看解释器着实会执行这两句,但是 @w1 这一句代码里却有大文章,@函数名 是python的一种语法糖。
如上例@w1内部会执行一下操作:
- 执行w1函数,并将 @w1 下面的 函数 作为w1函数的参数,即:@w1 等价于 w1(f1)
所以,内部就会去执行:
def inner:
#验证
return f1() # func是参数,此时 func 等于 f1
return inner # 返回的 inner,inner代表的是函数,非执行函数
其实就是将原来的 f1 函数塞进另外一个函数中 - 将执行完的 w1 函数返回值赋值给@w1下面的函数的函数名
w1函数的返回值是:
def inner:
#验证
return 原来f1() # 此处的 f1 表示原来的f1函数
然后,将此返回值再重新赋值给 f1,即:
新f1 = def inner:
#验证
return 原来f1()
所以,以后业务部门想要执行 f1 函数时,就会执行 新f1 函数,在 新f1 函数内部先执行验证,再执行原来的f1函数,然后将 原来f1 函数的返回值 返回给了业务调用者。
如此一来, 即执行了验证的功能,又执行了原来f1函数的内容,并将原f1函数返回值 返回给业务调用着。
3、Json和pickle序列化
挂机,比如虚拟机的挂机,游戏的挂机?如何解决?
存到数据库中?虚拟机有数据库吗?
解决办法:
把要存的当前状态存到文件中,返回时,读取文件。这时候就需要序列化了!序列化是存入文件用的,反序列化是读取文件用的。
1 import json 2 info = { 3 ‘name‘:‘jun‘, 4 ‘age‘:22, 5 } 6 f = open("test.text","w") 7 print(json.dumps(info))#json序列化 8 f.write(json.dumps( info) ) 9 f.close()
json支持任何语言,但是只能进行简单的数据类型
import json def shiyan(): print("hello ajun!") info = { ‘name‘:‘jun‘, ‘age‘:22, ‘func‘:shiyan#shiyan是内存地址 } f = open("test.text","w") print(json.dumps(info))#json序列化 f.write(json.dumps( info) ) f.close() 结果: TypeError: Object of type ‘function‘ is not JSON serializable
复杂的数据类型应该怎么办?
XML?作为一个标记式的语言,也是处理不同的数据类型交互的。这是以前的不同平台之间的数据类型交互的。
Python引入了,json 和xml功能类似。
同样,Python引入了,pickle。
pickle()可以反序列化所有数据类型,但是只能在Python中用。但是json可以用在任何编程语言中。
1 import pickle 2 def shiyan(): 3 print("hello ajun!") 4 info = { 5 ‘name‘:‘jun‘, 6 ‘age‘:22, 7 ‘func‘:shiyan#shiyan是内存地址 8 } 9 f = open("test.text","wb") 10 print(pickle.dumps(info))#json序列化 11 f.write(pickle.dumps( info) ) 12 f.close() 13 #注意:pickle用的是二进制,所以用wb
1 import pickle 2 3 def sayhi(name): 4 print("hello,",name) 5 6 info = { 7 ‘name‘:‘alex‘, 8 ‘age‘:22, 9 ‘func‘:sayhi 10 } 11 12 f = open("test.text","wb") 13 pickle.dump(info,f)
反序列化:pickle.load()方法。
1 import pickle 2 def sayhi(name): 3 print("hello2,",name) 4 f = open("test.text","rb") 5 data = http://www.mamicode.com/pickle.load(f) #data = http://www.mamicode.com/pickle.loads(f.read()) 6 7 print(data["func"]("ajun"))
多次序列化如何写呢?
1 import json 2 def sayhi(name): 3 print("hello,",name) 4 info = { 5 ‘name‘:‘ajun‘, 6 ‘age‘:22, 7 } 8 f = open("test.text","w") 9 f.write( json.dumps( info) ) 10 info[‘age‘] = 21 11 f.write( json.dumps( info) ) 12 f.close()
多次反序列化,如何写?
1 import json 2 f = open("test.text","r") 3 for line in f: 4 print(json.loads(line))
反序列化,和序列化,都要一次。dump()一次,load()一次。
4、软件目录结构规范
为什么要设计好目录结构?
"设计项目目录结构",就和"代码编码风格"一样,属于个人风格问题。对于这种风格上的规范,一直都存在两种态度:
- 一类同学认为,这种个人风格问题"无关紧要"。理由是能让程序work就好,风格问题根本不是问题。
- 另一类同学认为,规范化能更好的控制程序结构,让程序具有更高的可读性。
我是比较偏向于后者的,因为我是前一类同学思想行为下的直接受害者。我曾经维护过一个非常不好读的项目,其实现的逻辑并不复杂,但是却耗费了我非常长的时间去理解它想表达的意思。从此我个人对于提高项目可读性、可维护性的要求就很高了。"项目目录结构"其实也是属于"可读性和可维护性"的范畴,我们设计一个层次清晰的目录结构,就是为了达到以下两点:
- 可读性高: 不熟悉这个项目的代码的人,一眼就能看懂目录结构,知道程序启动脚本是哪个,测试目录在哪儿,配置文件在哪儿等等。从而非常快速的了解这个项目。
- 可维护性高: 定义好组织规则后,维护者就能很明确地知道,新增的哪个文件和代码应该放在什么目录之下。这个好处是,随着时间的推移,代码/配置的规模增加,项目结构不会混乱,仍然能够组织良好。
所以,我认为,保持一个层次清晰的目录结构是有必要的。更何况组织一个良好的工程目录,其实是一件很简单的事儿。
目录组织方式
关于如何组织一个较好的Python工程目录结构,已经有一些得到了共识的目录结构。在Stackoverflow的这个问题上,能看到大家对Python目录结构的讨论。
这里面说的已经很好了,我也不打算重新造轮子列举各种不同的方式,这里面我说一下我的理解和体会。
假设你的项目名为foo, 我比较建议的最方便快捷目录结构这样就足够了:
Foo/
|-- bin/
| |-- foo
|
|-- foo/
| |-- tests/
| | |-- __init__.py
| | |-- test_main.py
| |
| |-- __init__.py
| |-- main.py
|
|-- docs/
| |-- conf.py
| |-- abc.rst
|
|-- setup.py
|-- requirements.txt
|-- README
简要解释一下:
bin/
: 存放项目的一些可执行文件,当然你可以起名script/
之类的也行。foo/
: 存放项目的所有源代码。(1) 源代码中的所有模块、包都应该放在此目录。不要置于顶层目录。(2) 其子目录tests/
存放单元测试代码; (3) 程序的入口最好命名为main.py
。docs/
: 存放一些文档。setup.py
: 安装、部署、打包的脚本。requirements.txt
: 存放软件依赖的外部Python包列表。README
: 项目说明文件。
除此之外,有一些方案给出了更加多的内容。比如LICENSE.txt
,ChangeLog.txt
文件等,我没有列在这里,因为这些东西主要是项目开源的时候需要用到。如果你想写一个开源软件,目录该如何组织,可以参考这篇文章。
下面,再简单讲一下我对这些目录的理解和个人要求吧。
关于README的内容
这个我觉得是每个项目都应该有的一个文件,目的是能简要描述该项目的信息,让读者快速了解这个项目。
它需要说明以下几个事项:
- 软件定位,软件的基本功能。
- 运行代码的方法: 安装环境、启动命令等。
- 简要的使用说明。
- 代码目录结构说明,更详细点可以说明软件的基本原理。
- 常见问题说明。
我觉得有以上几点是比较好的一个README
。在软件开发初期,由于开发过程中以上内容可能不明确或者发生变化,并不是一定要在一开始就将所有信息都补全。但是在项目完结的时候,是需要撰写这样的一个文档的。
可以参考Redis源码中Readme的写法,这里面简洁但是清晰的描述了Redis功能和源码结构。
关于requirements.txt和setup.py
setup.py
一般来说,用setup.py
来管理代码的打包、安装、部署问题。业界标准的写法是用Python流行的打包工具setuptools来管理这些事情。这种方式普遍应用于开源项目中。不过这里的核心思想不是用标准化的工具来解决这些问题,而是说,一个项目一定要有一个安装部署工具,能快速便捷的在一台新机器上将环境装好、代码部署好和将程序运行起来。
这个我是踩过坑的。
我刚开始接触Python写项目的时候,安装环境、部署代码、运行程序这个过程全是手动完成,遇到过以下问题:
- 安装环境时经常忘了最近又添加了一个新的Python包,结果一到线上运行,程序就出错了。
- Python包的版本依赖问题,有时候我们程序中使用的是一个版本的Python包,但是官方的已经是最新的包了,通过手动安装就可能装错了。
- 如果依赖的包很多的话,一个一个安装这些依赖是很费时的事情。
- 新同学开始写项目的时候,将程序跑起来非常麻烦,因为可能经常忘了要怎么安装各种依赖。
setup.py
可以将这些事情自动化起来,提高效率、减少出错的概率。"复杂的东西自动化,能自动化的东西一定要自动化。"是一个非常好的习惯。
setuptools的文档比较庞大,刚接触的话,可能不太好找到切入点。学习技术的方式就是看他人是怎么用的,可以参考一下Python的一个Web框架,flask是如何写的: setup.py
当然,简单点自己写个安装脚本(deploy.sh
)替代setup.py
也未尝不可。
requirements.txt
这个文件存在的目的是:
- 方便开发者维护软件的包依赖。将开发过程中新增的包添加进这个列表中,避免在
setup.py
安装依赖时漏掉软件包。 - 方便读者明确项目使用了哪些Python包。
这个文件的格式是每一行包含一个包依赖的说明,通常是flask>=0.10
这种格式,要求是这个格式能被pip
识别,这样就可以简单的通过 pip install -r requirements.txt
来把所有Python包依赖都装好了。
关于配置文件的使用方法
注意,在上面的目录结构中,没有将conf.py
放在源码目录下,而是放在docs/
目录下。
很多项目对配置文件的使用做法是:
- 配置文件写在一个或多个python文件中,比如此处的conf.py。
- 项目中哪个模块用到这个配置文件就直接通过
import conf
这种形式来在代码中使用配置。
这种做法我不太赞同:
- 这让单元测试变得困难(因为模块内部依赖了外部配置)
- 另一方面配置文件作为用户控制程序的接口,应当可以由用户自由指定该文件的路径。
- 程序组件可复用性太差,因为这种贯穿所有模块的代码硬编码方式,使得大部分模块都依赖
conf.py
这个文件。
所以,我认为配置的使用,更好的方式是,
- 模块的配置都是可以灵活配置的,不受外部配置文件的影响。
- 程序的配置也是可以灵活控制的。
能够佐证这个思想的是,用过nginx和mysql的同学都知道,nginx、mysql这些程序都可以自由的指定用户配置。
所以,不应当在代码中直接import conf
来使用配置文件。上面目录结构中的conf.py
,是给出的一个配置样例,不是在写死在程序中直接引用的配置文件。可以通过给main.py
启动参数指定配置路径的方式来让程序读取配置内容。当然,这里的conf.py
你可以换个类似的名字,比如settings.py
。或者你也可以使用其他格式的内容来编写配置文件,比如settings.yaml
之类的。
参考文献:http://www.cnblogs.com/alex3714/articles/5765046.html
5.本节作业(alex)
作业需求:
模拟实现一个ATM + 购物商城程序
- 额度 15000或自定义
- 实现购物商城,买东西加入 购物车,调用信用卡接口结账
- 可以提现,手续费5%
- 每月22号出账单,每月10号为还款日,过期未还,按欠款总额 万分之5 每日计息
- 支持多账户登录
- 支持账户间转账
- 记录每月日常消费流水
- 提供还款接口
- ATM记录操作日志
- 提供管理接口,包括添加账户、用户额度,冻结账户等。。。
- 用户认证用装饰器
示例代码 https://github.com/triaquae/py3_training/tree/master/atm
简易流程图:https://www.processon.com/view/link/589eb841e4b0999184934329
---恢复内容结束---
第四周Python--装饰器(迭代器、生成器)