首页 > 代码库 > python进程、线程、协程、IO多路复用
python进程、线程、协程、IO多路复用
线程进程介绍
- 工作最小单元是线程
- 应用程序 -> 至少有一个进程 -> 至少有一个线程
- 应用场景：
IO密集型：线程
计算密集型：进程
4. GIL，全局解释器锁。
保证同一个进程中只有一个线程同时被调度
线程
1. 基本使用
def task(arg): time.sleep(arg) print(arg) for i in range(5): t = threading.Thread(target=task,args=[i,]) # t.setDaemon(True) # 主线程终止，不等待子线程 # t.setDaemon(False) t.start() # t.join() # 一直等 # t.join(1) # 等待最大时间
2. 锁
import threading import time v = 10 # 1. 只能有一个人使用锁 lock = threading.Lock() # 只能开一把 lock = threading.RLock()# 可以开多把 def task(arg): time.sleep(2) # 申请使用锁，其他人等 lock.acquire() lock.acquire() global v v -= 1 print(v) # 释放 lock.release() lock.release() for i in range(10): t = threading.Thread(target=task,args=(i,)) t.start()
1. 只能有一个人使用锁
# lock = threading.Lock() # 只能开一把
# lock = threading.RLock()# 可以开多把
2. 多个人同时使用锁
# lock = threading.BoundedSemaphore(3)
3. 所有的解脱锁的限制
#lock = threading.Event()
4. 肆意妄为
#lock = threading.Condition()
线程池
在什么情况下使用线程池？
1.单个任务处理的时间比较短
2.将需处理的任务的数量大
使用线程池的好处:
1.减少在创建和销毁线程上所花的时间以及系统资源的开销
2.如不使用线程池，有可能造成系统创建大量线程而导致消耗完系统内存以及”过度切换”。
模式一：直接处理
def task(url): """ 任务执行两个操作：下载；保存本地 """ # response中封装了Http请求响应的所有数据 # - response.url 请求的URL # - response.status_code 响应状态码 # - response.text 响应内容（字符串格式） # - response.content 响应内容（字节格式） # 下载 response = requests.get(url) # 下载内容保存至本地 f = open(‘a.log‘,‘wb‘) f.write(response.content) f.close() pool = ThreadPoolExecutor(2) url_list = [ ‘http://www.oldboyedu.com‘, ‘http://www.autohome.com.cn‘, ‘http://www.baidu.com‘, ] for url in url_list: print(‘开始请求‘,url) # 去连接池中获取链接 pool.submit(task,url)
模式二：分步处理
def save(future): """ 只做保存 # future中包含response """ response = future.result() # 下载内容保存至本地 f = open(‘a.log‘,‘wb‘) f.write(response.content) f.close() def task(url): """ 只做下载 requests """ # response中封装了Http请求响应的所有数据 # - response.url 请求的URL # - response.status_code 响应状态码 # - response.text 响应内容（字符串格式） # - response.content 响应内容（字节格式） # 下载 response = requests.get(url) return response pool = ThreadPoolExecutor(2) url_list = [ ‘http://www.oldboyedu.com‘, ‘http://www.autohome.com.cn‘, ‘http://www.baidu.com‘, ] for url in url_list: print(‘开始请求‘,url) # 去连接池中获取链接 # future中包含response future = pool.submit(task,url) # 下载成功后，自动调用save方法 future.add_done_callback(save)
进程
1. 基本使用
from multiprocessing import Process import time def task(arg): time.sleep(arg) print(arg) if __name__ == ‘__main__‘: for i in range(10): p = Process(target=task,args=(i,)) p.daemon = True # p.daemon = False p.start() # p.join(1) print(‘主进程最后...‘)
2. 进程之间的数据共享
特殊的东西
- Array(‘类型’,长度)
- Manager().list() / Manager().dict()
3. 进程池
跟线程池一样
协程
线程和进程的操作是由程序触发系统接口，最后的执行者是系统；协程的操作则是程序员。
协程存在的意义：对于多线程应用，CPU通过切片的方式来切换线程间的执行，线程切换时需要耗时（保存状态，下次继续）。协程，则只使用一个线程，在一个线程中规定某个代码块执行顺序。
协程的适用场景：当程序中存在大量不需要CPU的操作时（IO），适用于协程；
# 协程 # from greenlet import greenlet # # def test1(): # print(12) # gr2.switch() # print(34) # gr2.switch() # # def test2(): # print(56) # gr1.switch() # print(78) # # gr1 = greenlet(test1) # gr2 = greenlet(test2) # gr1.switch() # 根据协程二次开发：协程+IO from gevent import monkey; monkey.patch_all() import gevent import requests def f(url): response = requests.get(url) print(response.url,response.status_code) gevent.joinall([ gevent.spawn(f, ‘http://www.oldboyedu.com/‘), gevent.spawn(f, ‘http://www.baidu.com/‘), gevent.spawn(f, ‘http://github.com/‘), ])
IO多路复用
python进程、线程、协程、IO多路复用
声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉： 投诉/举报 工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。