首页 > 代码库 > Python自动化 【第五篇】：Python基础-常用模块
Python自动化 【第五篇】：Python基础-常用模块
目录
- 模块介绍
- time和datetime模块
- random
- os
- sys
- shutil
- json和pickle
- shelve
- xml处理
- yaml处理
- configparser
- hashlib
- re正则表达式
1. 模块介绍
1.1 定义
能够实现某个功能的代码集合（本质是py文件） test.p的模块名是test包的定义：用来从逻辑上组织模块，本质就是一个目录（必须带有一个__init__.py文件）
1.2 导入方法
a) Import module
b) Import module1,module2
c) From module import *
d) From module import m1,m2,m3
e) From module import logger as module_logger
1.3 Import 本质
导入模块的本质就是把python文件解释一遍
导入包的本质就是在执行该包下的__init__.py文件
1.4 导入优化
From module import test as module_test
1.5 模块的分类
a) 标准库
b) 开源模块（第三方模块）
c) 自定义模块
2. time & datetime 模块
time的三种表现方式：
1）时间戳(用秒来表示)
2）格式化的时间字符串
3）元组（struct_time）共九个元素。
2.1 时间戳
1 1 import time 2 3 2 # print(time.clock()) #返回处理器时间,3.3开始已废弃 , 改成了time.process_time()测量处理器运算时间,不包括sleep时间,不稳定,mac上测不出来 4 5 3 # print(time.altzone) #返回与utc时间的时间差,以秒计算\ 6 7 4 # print(time.asctime()) #返回时间格式"Fri Aug 19 11:14:16 2016", 8 9 5 # print(time.localtime()) #返回本地时间 的struct time对象格式10 11 6 # print(time.gmtime(time.time()-800000)) #返回utc时间的struc时间对象格式12 13 714 15 8 # print(time.asctime(time.localtime())) #返回时间格式"Fri Aug 19 11:14:16 2016",16 17 9 #print(time.ctime()) #返回Fri Aug 19 12:38:29 2016 格式, 同上18 19 1020 21 11 # 日期字符串 转成 时间戳22 23 12 # string_2_struct = time.strptime("2016/05/22","%Y/%m/%d") #将 日期字符串 转成 struct时间对象格式24 25 13 # print(string_2_struct)26 27 14 # struct_2_stamp = time.mktime(string_2_struct) #将struct时间对象转成时间戳28 29 15 # print(struct_2_stamp)30 31 16 #将时间戳转为字符串格式32 33 17 # print(time.gmtime(time.time()-86640)) #将utc时间戳转换成struct_time格式34 35 18 # print(time.strftime("%Y-%m-%d %H:%M:%S",time.gmtime()) ) #将utc struct_time格式转成指定的字符串格式36 37 19 #时间加减38 39 20 import datetime40 41 21 # print(datetime.datetime.now()) #返回 2016-08-19 12:47:03.94192542 43 22 #print(datetime.date.fromtimestamp(time.time()) ) # 时间戳直接转成日期格式 2016-08-1944 45 23 # print(datetime.datetime.now() )46 47 24 # print(datetime.datetime.now() + datetime.timedelta(3)) #当前时间+3天48 49 25 # print(datetime.datetime.now() + datetime.timedelta(-3)) #当前时间-3天50 51 26 # print(datetime.datetime.now() + datetime.timedelta(hours=3)) #当前时间+3小时52 53 27 # print(datetime.datetime.now() + datetime.timedelta(minutes=30)) #当前时间+30分54 55 28 # c_time = datetime.datetime.now()56 57 29 # print(c_time.replace(minute=3,hour=2)) #时间替换
2.2 格式化的时间字符串
格式参照:
%a 本地（locale）简化星期名称
%A 本地完整星期名称
%b 本地简化月份名称
%B 本地完整月份名称
%c 本地相应的日期和时间表示
%d 一个月中的第几天（01 - 31）
%H 一天中的第几个小时（24小时制，00 - 23）
%I 第几个小时（12小时制，01 - 12）
%j 一年中的第几天（001 - 366）
%m 月份（01 - 12）
%M 分钟数（00 - 59）
%p 本地am或者pm的相应符 一
%S 秒（01 - 61） 二
%U 一年中的星期数。（00 - 53星期天是一个星期的开始。）第一个星期天之前的所有天数都放在第0周。 三
%w 一个星期中的第几天（0 - 6，0是星期天） 三
%W 和%U基本相同，不同的是%W以星期一为一个星期的开始。
%x 本地相应日期
%X 本地相应时间
%y 去掉世纪的年份（00 - 99）
%Y 完整的年份
%Z 时区的名字（如果不存在为空字符）
%% ‘%’字符
2.3 时间关系转换
3. random模块
3.1 随机数
import randomprint (random.random()) #0.6445010863311293 #random.random()用于生成一个0到1的随机符点数: 0 <= n < 1.0print (random.randint(1,7)) #4#random.randint()的函数原型为：random.randint(a, b)，用于生成一个指定范围内的整数。# 其中参数a是下限，参数b是上限，生成的随机数n: a <= n <= bprint (random.randrange(1,10)) #5#random.randrange的函数原型为：random.randrange([start], stop[, step])，# 从指定范围内，按指定基数递增的集合中 获取一个随机数。如：random.randrange(10, 100, 2)，# 结果相当于从[10, 12, 14, 16, ... 96, 98]序列中获取一个随机数。# random.randrange(10, 100, 2)在结果上与 random.choice(range(10, 100, 2) 等效。print(random.choice(‘liukuni‘)) #i#random.choice从序列中获取一个随机元素。# 其函数原型为：random.choice(sequence)。参数sequence表示一个有序类型。# 这里要说明一下：sequence在python不是一种特定的类型，而是泛指一系列的类型。# list, tuple, 字符串都属于sequence。有关sequence可以查看python手册数据模型这一章。# 下面是使用choice的一些例子：print(random.choice("学习Python"))#学print(random.choice(["JGood","is","a","handsome","boy"])) #Listprint(random.choice(("Tuple","List","Dict"))) #Listprint(random.sample([1,2,3,4,5],3)) #[1, 2, 5]#random.sample的函数原型为：random.sample(sequence, k)，从指定序列中随机获取指定长度的片断。sample函数不会修改原有序列。
3.2 实际应用
#!/usr/bin/env python# encoding: utf-8import randomimport string# 随机整数：print(random.randint(0, 99)) # 70# 随机选取0到100间的偶数：print(random.randrange(0, 101, 2)) # 4# 随机浮点数：print(random.random()) # 0.2746445568079129print(random.uniform(1, 10)) # 9.887001463194844# 随机字符：print(random.choice(‘abcdefg&#%^*f‘)) # f# 多个字符中选取特定数量的字符：print(random.sample(‘abcdefghij‘, 3)) # [‘f‘, ‘h‘, ‘d‘]# 随机选取字符串：print(random.choice([‘apple‘, ‘pear‘, ‘peach‘, ‘orange‘, ‘lemon‘])) # apple# 洗牌#items = [1, 2, 3, 4, 5, 6, 7]print(items) # [1, 2, 3, 4, 5, 6, 7]random.shuffle(items)print(items) # [1, 4, 7, 2, 5, 3, 6]
3.3 生成随机验证码
import randomcheckcode = ‘‘for i in range(4): current = random.randrange(0,4) if current != i: temp = chr(random.randint(65,90)) else: temp = random.randint(0,9) checkcode += str(temp)print checkcode
4. os模块
os.getcwd() 获取当前工作目录，即当前python脚本工作的目录路径
os.chdir("dirname") 改变当前脚本工作目录；相当于shell下cd
os.curdir 返回当前目录: (‘.‘)
os.pardir 获取当前目录的父目录字符串名：(‘..‘)
os.makedirs(‘dirname1/dirname2‘) 可生成多层递归目录
os.removedirs(‘dirname1‘) 若目录为空，则删除，并递归到上一级目录，如若也为空，则删除，依此类推
os.mkdir(‘dirname‘) 生成单级目录；相当于shell中mkdir dirname
os.rmdir(‘dirname‘) 删除单级空目录，若目录不为空则无法删除，报错；相当于shell中rmdir dirname
os.listdir(‘dirname‘) 列出指定目录下的所有文件和子目录，包括隐藏文件，并以列表方式打印
os.remove() 删除一个文件
os.rename("oldname","newname") 重命名文件/目录
os.stat(‘path/filename‘) 获取文件/目录信息
os.sep 输出操作系统特定的路径分隔符，win下为"\\",Linux下为"/"
os.linesep 输出当前平台使用的行终止符，win下为"\r\n",Linux下为"\n"
os.pathsep 输出用于分割文件路径的字符串
os.name 输出字符串指示当前使用平台。win->‘nt‘;Linux->‘posix‘
os.system("bashcommand") 运行shell命令，直接显示
os.environ 获取系统环境变量
os.path.abspath(path) 返回path规范化的绝对路径
os.path.split(path) 将path分割成目录和文件名二元组返回
os.path.dirname(path) 返回path的目录。其实就是os.path.split(path)的第一个元素
os.path.basename(path) 返回path最后的文件名。如何path以／或\结尾，那么就会返回空值。即os.path.split(path)的第二个元素
os.path.exists(path) 如果path存在，返回True；如果path不存在，返回False
os.path.isabs(path) 如果path是绝对路径，返回True
os.path.isfile(path) 如果path是一个存在的文件，返回True。否则返回False
os.path.isdir(path) 如果path是一个存在的目录，则返回True。否则返回False
os.path.join(path1[, path2[, ...]]) 将多个路径组合后返回，第一个绝对路径之前的参数将被忽略
os.path.getatime(path) 返回path所指向的文件或者目录的最后存取时间
os.path.getmtime(path) 返回path所指向的文件或者目录的最后修改时间
5. sys模块
sys.argv 命令行参数List，第一个元素是程序本身路径
sys.exit(n) 退出程序，正常退出时exit(0)
sys.version 获取Python解释程序的版本信息
sys.maxint 最大的Int值
sys.path 返回模块的搜索路径，初始化时使用PYTHONPATH环境变量的值
sys.platform 返回操作系统平台名称
sys.stdout.write(‘please:‘)
val = sys.stdin.readline()[:-1]
6. shutil模块
import shutilf1 = open("file.txt", encoding="utf-8")f2 = open("file2.txt", "w",encoding="utf-8")shutil.copyfileobj(f1,f2)
shutil.copyfile() 输入源文件就copy：
shutil.copyfile("file1", "file2")
shutil.copymode() 仅拷贝权限，内容、组、用户均不变（待实验）
shutil.copystat() 拷贝权限，没有创建新文件
shutil.copy() 拷贝文件
shutil.copy2() 所有都拷贝（文件和状态信息）
shutil.copytree() 递归拷贝文件(将文件和所在目录都拷贝)
shutil.copytree("test1", "test2")
shutil.rmtree() 递归删除文件 比调用shell命令高效
shutil.rmtree("test3")
shutil.move() 递归的移动文件
shutil.make_archive(base_name, format, file)
import shutilshutil.make_archive("shutil_archive_test", "zip", "E:\Pycharm\day5")
zipfile
import zipfilez = zipfile.ZipFile("file1.zip", "w") # 指定压缩后的文件名是file1.txtz.write("test1.py") # 先把test1.py压缩至file1.zipprint("----------") # 可以干些其他事z.write("test2.py") # 然后把test2.py压缩至file1.zipz.close()
7. json和pickle模块
解决了不同语言不同平台的之间的数据交换
参考：http://www.cnblogs.com/ZhPythonAuto/p/5786091.html
8. shelve模块
shelve模块是一个简单的k,v将内存数据通过文件持久化的模块，可以持久化任何pickle可支持的python数据格式。
import shelveimport datetimed = shelve.open(‘shelve_test‘) # 打开一个文件# info = {"age":22,"job":"it"}## name = ["alex", "rain", "test"]# d["name"] = name # 持久化列表# d["info"] = info # 持久化类# d["date"] =datetime.datetime.now()# d.close()print(d.get("name"))print(d.get("info"))print(d.get("date"))
9. xml处理模块
xml的格式如下，就是通过<>节点来区别数据结构的:
<?xml version="1.0"?><data> <country name="Liechtenstein"> <rank updated="yes">2</rank> <year>2008</year> <gdppc>141100</gdppc> <neighbor name="Austria" direction="E"/> <neighbor name="Switzerland" direction="W"/> </country> <country name="Singapore"> <rank updated="yes">5</rank> <year>2011</year> <gdppc>59900</gdppc> <neighbor name="Malaysia" direction="N"/> </country> <country name="Panama"> <rank updated="yes">69</rank> <year>2011</year> <gdppc>13600</gdppc> <neighbor name="Costa Rica" direction="W"/> <neighbor name="Colombia" direction="E"/> </country></data>
xml协议在各个语言里的都是支持的，在python中可以用以下模块操作xml
import xml.etree.ElementTree as ETtree = ET.parse("xmltest.xml")root = tree.getroot()print(root.tag)# 遍历xml文档for child in root: print(child.tag, child.attrib) for i in child: print(i.tag, i.text, i.attrib)# 只遍历year 节点for node in root.iter(‘year‘): print(node.tag, node.text)修改和删除xml文档内import xml.etree.ElementTree as ETtree = ET.parse("xmltest.xml")root = tree.getroot()# 修改for node in root.iter(‘year‘): new_year = int(node.text) + 1 node.text = str(new_year) node.set("updated", "yes")tree.write("xmltest.xml")# 删除nodefor country in root.findall(‘country‘): rank = int(country.find(‘rank‘).text) if rank > 50: root.remove(country)tree.write(‘output.xml‘)
自己创建xml文档
import xml.etree.ElementTree as ETnew_xml = ET.Element("namelist")name = ET.SubElement(new_xml, "name", attrib={"enrolled": "yes"})age = ET.SubElement(name, "age", attrib={"checked": "no"})sex = ET.SubElement(name, "sex")age.text = ‘33‘name2 = ET.SubElement(new_xml, "name", attrib={"enrolled": "no"})age = ET.SubElement(name2, "age")age.text = ‘19‘et = ET.ElementTree(new_xml) # 生成文档对象et.write("test.xml", encoding="utf-8", xml_declaration=True)ET.dump(new_xml) # 打印生成的格式
10. PyYAML模块
yaml语法（用作配置文件）
数据结构可以用类似大纲的缩排方式呈现，结构通过缩进来表示，连续的项目通过减号“-”来表示，map结构里面的key/value对用冒号“:”来分隔。样例如下：
house: family: name: Doe parents: - John - Jane children: - Paul - Mark - Simone address: number: 34 street: Main Street city: Nowheretown zipcode: 12345
11. ComfigParser模块
用于生成和修改常见配置文档，当前模块的名称在 python 3.x 版本中变更为 configparser。
格式如下：
[DEFAULT]ServerAliveInterval = 45Compression = yesCompressionLevel = 9ForwardX11 = yes[bitbucket.org]User = hg[topsecret.server.com]Port = 50022ForwardX11 = no
用python生成一个这样的文档
import configparserconfig = configparser.ConfigParser()config["DEFAULT"] = {‘ServerAliveInterval‘: ‘45‘, ‘Compression‘: ‘yes‘, ‘CompressionLevel‘: ‘9‘}config[‘bitbucket.org‘] = {}config[‘bitbucket.org‘][‘User‘] = ‘hg‘config[‘topsecret.server.com‘] = {}topsecret = config[‘topsecret.server.com‘]topsecret[‘Host Port‘] = ‘50022‘ # mutates the parsertopsecret[‘ForwardX11‘] = ‘no‘ # same hereconfig[‘DEFAULT‘][‘ForwardX11‘] = ‘yes‘with open(‘example.ini‘, ‘w‘) as configfile: config.write(configfile)
写完后还可以读出来：
>>> import configparser>>> config = configparser.ConfigParser()>>> config.sections()[]>>> config.read(‘example.ini‘)[‘example.ini‘]>>> config.sections()[‘bitbucket.org‘, ‘topsecret.server.com‘]>>> ‘bitbucket.org‘ in configTrue>>> ‘bytebong.com‘ in configFalse>>> config[‘bitbucket.org‘][‘User‘]‘hg‘>>> config[‘DEFAULT‘][‘Compression‘]‘yes‘>>> topsecret = config[‘topsecret.server.com‘]>>> topsecret[‘ForwardX11‘]‘no‘>>> topsecret[‘Port‘]‘50022‘>>> for key in config[‘bitbucket.org‘]: print(key)...usercompressionlevelserveraliveintervalcompressionforwardx11>>> config[‘bitbucket.org‘][‘ForwardX11‘]‘yes‘
configparser增删改查语法
[section1]k1 = v1k2:v2[section2]k1 = v1import ConfigParserconfig = ConfigParser.ConfigParser()config.read(‘i.cfg‘)# ########## 读 ########### secs = config.sections()# print secs# options = config.options(‘group2‘)# print options# item_list = config.items(‘group2‘)# print item_list# val = config.get(‘group1‘,‘key‘)# val = config.getint(‘group1‘,‘key‘)# ########## 改写 ########### sec = config.remove_section(‘group1‘)# config.write(open(‘i.cfg‘, "w"))# sec = config.has_section(‘wupeiqi‘)# sec = config.add_section(‘wupeiqi‘)# config.write(open(‘i.cfg‘, "w"))# config.set(‘group2‘,‘k1‘,11111)# config.write(open(‘i.cfg‘, "w"))# config.remove_option(‘group2‘,‘age‘)# config.write(open(‘i.cfg‘, "w"))
12. hashlib模块
用于加密相关的操作，3.x里代替了md5模块和sha模块，主要提供 SHA1, SHA224, SHA256, SHA384, SHA512 ，MD5 算法
import hashlibm = hashlib.md5()m.update(b"Hello")m.update(b"It‘s me")print(m.digest())m.update(b"It‘s been a long time since last time we ...")print(m.digest()) # 2进制格式hashprint(len(m.hexdigest())) # 16进制格式hash‘‘‘def digest(self, *args, **kwargs): # real signature unknown """ Return the digest value as a string of binary data. """ passdef hexdigest(self, *args, **kwargs): # real signature unknown """ Return the digest value as a string of hexadecimal digits. """ pass‘‘‘import hashlib# ######## md5 ########hash = hashlib.md5()hash.update(‘admin‘)print(hash.hexdigest())# ######## sha1 ########hash = hashlib.sha1()hash.update(‘admin‘)print(hash.hexdigest())# ######## sha256 ########hash = hashlib.sha256()hash.update(‘admin‘)print(hash.hexdigest())# ######## sha384 ########hash = hashlib.sha384()hash.update(‘admin‘)print(hash.hexdigest())# ######## sha512 ########hash = hashlib.sha512()hash.update(‘admin‘)print(hash.hexdigest())
python 还有一个 hmac 模块，它内部对我们创建 key 和 内容 再进行处理然后再加密
import hmach = hmac.new(‘wueiqi‘)h.update(‘hellowo‘)print h.hexdigest()
13. re模块
常用正则表达式符号：
‘.‘ 默认匹配除\n之外的任意一个字符，若指定flag DOTALL,则匹配任意字符，包括换行
‘^‘ 匹配字符开头，若指定flags MULTILINE,这种也可以匹配上(r"^a","\nabc\neee",flags=re.MULTILINE)
‘$‘ 匹配字符结尾，或e.search("foo$","bfoo\nsdfsf",flags=re.MULTILINE).group()也可以
‘*‘ 匹配*号前的字符0次或多次，re.findall("ab*","cabb3abcbbac") 结果为[‘abb‘, ‘ab‘, ‘a‘]
‘+‘ 匹配前一个字符1次或多次，re.findall("ab+","ab+cd+abb+bba") 结果[‘ab‘, ‘abb‘]
‘?‘ 匹配前一个字符1次或0次
‘{m}‘ 匹配前一个字符m次
‘{n,m}‘ 匹配前一个字符n到m次，re.findall("ab{1,3}","abb abc abbcbbb") 结果‘abb‘, ‘ab‘, ‘abb‘]
‘|‘ 匹配|左或|右的字符，re.search("abc|ABC","ABCBabcCD").group() 结果‘ABC‘
‘(...)‘ 分组匹配，re.search("(abc){2}a(123|456)c", "abcabca456c").group() 结果 abcabca456c
‘\A‘ 只从字符开头匹配，re.search("\Aabc","alexabc") 是匹配不到的
‘\Z‘ 匹配字符结尾，同$
‘\d‘ 匹配数字0-9
‘\D‘ 匹配非数字
‘\w‘ 匹配[A-Za-z0-9]
‘\W‘ 匹配非[A-Za-z0-9]
‘s‘ 匹配空白字符，\t、\n、\r , re.search("\s+","ab\tc1\n3").group()，结果 ‘\t‘
‘(?P<name>...)‘ 分组匹配，re.search("(?P<province>[0-9]{4})(?P<city>[0-9]{2})(?P<birthday>[0-9]{4})","371481199306143242").groupdict("city")，结果{‘province‘: ‘3714‘, ‘city‘: ‘81‘, ‘birthday‘: ‘1993‘}
最常用的匹配语法
re.match 从头开始匹配
re.search 匹配包含
re.findall 把所有匹配到的字符放到以列表中的元素返回
re.splitall 以匹配到的字符当做列表分隔符
re.sub 匹配字符并替换
几个匹配模式
re.I(re.IGNORECASE): 忽略大小写（括号内是完整写法，下同）
M(MULTILINE): 多行模式，改变‘^‘和‘$‘的行为
S(DOTALL): 点任意匹配模式，改变‘.‘的行为
Python自动化 【第五篇】：Python基础-常用模块