首页 > 代码库 > python多进程-----multiprocessing包
python多进程-----multiprocessing包
multiprocessing并非是python的一个模块,而是python中多进程管理的一个包,在学习的时候可以与threading这个模块作类比,正如我们在上一篇转载的文章中所提,python的多线程并不能做到真正的并行处理,只能完成相对的并发处理,那么我们需要的就是python的多进程来完成并行处理,把所有的cpu资源都利用起来。multiprocessing的很大一部分与threading使用同一套API,只不过换到了多进程的环境。这里面要注意,对于多进程来说,win32平台和unix平台差别很大,我们最好在linux上完成实现。
使用这些共享API时,我们应该注意以下问题(目前这是我能想到的,以后遇到再扩充):
1、对join的处理
根据Unix环境高级编程中对进程控制一章的描述,当某个进程fork一个子进程后,该进程必须要调用wait等待子进程结束发送的sigchld信号,对子进程进行资源回收等相关工作,否则,子进程会成为僵死进程,被init收养。所以,在multiprocessing.Process实例化一个对象之后,该对象有必要调用join方法,因为在join方法中完成了对底层wait的处理,源码如下:
def join(self, timeout=None): ‘‘‘ Wait until child process terminates ‘‘‘ assert self._parent_pid == os.getpid(), ‘can only join a child process‘ assert self._popen is not None, ‘can only join a started process‘ res = self._popen.wait(timeout) if res is not None: _current_process._children.discard(self)
不过,调用该方法,要注意join的位置(threading模块有提到),是在每个子进程中阻塞还是在父进程中阻塞,如果在子进程中阻塞可能达不到并行处理的目的,所以要根据具体需求。而对于多线程来说,由于只有一个进程,所有子线程共享同一片内存,所以不是必须要进行join调用。例子如下:
#!/usr/bin/env python __author__ = ‘webber‘ import os,time import multiprocessing # worker function def worker(sign, lock): lock.acquire() print sign, ‘pid:‘,os.getpid() lock.release() time.sleep(1) # Main print ‘Main:‘,os.getpid() plist = [] lock = multiprocessing.Lock() for j in range(5): p = multiprocessing.Process(target=worker,args=(‘process‘,lock)) p.start() plist.append(p) p.join() #for process in record: # process.join()
此外,还有一点关于GIL锁的说明,在python多进程中,同样需要全局解释器锁,因为每个子进程都有一把GIL,那么当它们向stdout输出时,可以同时争抢stdout资源,导致在每个子进程输出时会把不同子进程的输出字符混合在一起,无法阅读,影响代码的标志位判断,所以上例子中使用了Lock同步,在一个子进程输出完成之后再允许另一个子进程得到stdout的权限,这样避免了多个任务同时向终端输出。
2、对IPC的处理
multiprocessing包与threading模块的另一个差异特性体现在IPC上,python的multiprocessing包自带了对Pipe和Queue的管理,效率上更高,而threading模块需要与Queue模块或os.popen()、subprocess.Popen()等配合使用。
根据Unix环境高级编程的第15章进程间通信的描述,经典的IPC包括管道、FIFO、消息队列、信号量、以及共享存储。不过应用最多的还是管道。书中指出我们应该把管道看成是半双工的,并且只能在具有公共祖先的两个进程之间使用。
下面我们用一下Pipe()和Queue()方法:
a、关于Pipe()
对照书中给出的底层pipe接口函数,我们看到Pipe方法在Unix平台上实现源码如下:
def Pipe(duplex=True): ‘‘‘ Returns pair of connection objects at either end of a pipe ‘‘‘ if duplex: s1, s2 = socket.socketpair() s1.setblocking(True) s2.setblocking(True) c1 = _multiprocessing.Connection(os.dup(s1.fileno())) c2 = _multiprocessing.Connection(os.dup(s2.fileno())) s1.close() s2.close() else: fd1, fd2 = os.pipe() c1 = _multiprocessing.Connection(fd1, writable=False) c2 = _multiprocessing.Connection(fd2, readable=False) return c1, c2
首先,Pipe可以是单向(half-duplex),也可以是双向的(duplex),默认为双向的。我们可以通过multiprocessing.Pipe(duplex=False)创建单向的管道。该方法返回一个元祖,包含两个文件描述符,如果为单向的,则为(read-only connection,write-only connection);如果为双向的,则为(read-write Connection, read-write Connection)。一个进程从Pipe一端输入对象(fd[1]),然后被Pipe另一端的进程接收(fd[0]),两个进程要有同一个父进程或者其中一个是父进程。单向管道只允许管道一端的进程输入,而双向管道则允许从两端输入。这里的双向管道类似于书中提到的“协同进程”的概念。
例如:
#!/usr/bin/env python import multiprocessing as mul def proc1(pipe): # pipe.send(‘hello‘) print ‘proc1 rec:‘,pipe.recv() def proc2(pipe): # print ‘proc2 rec:‘,pipe.recv() pipe.send(‘hello too‘) pipe = mul.Pipe(duplex=False) #pipe = mul.Pipe() p1 = mul.Process(target=proc1,args=(pipe[0],)) # 读管道 p2 = mul.Process(target=proc2,args=(pipe[1],)) # 写管道 # 由于管道是单向的,对象pipe[0]只有读的权限(recv),而pipe[1]只有写的权限(send)。 #print pipe p1.start() p2.start() p1.join() p2.join()
b、关于Queue()
Queue与Pipe相类似,都是先进先出的结构,但Queue允许多个进程放入,多个进程从队列取出对象。这里可以与Queue模块相类比学习。Queue方法其实是Unix环境高级编程IPC中FIFO命名管道的实现方法。FIFO可用于有以下两种情况:
---shell命令使用FIFO将数据从一条管道传送到另一条时,无需创建中间临时文件。
---客户进程-服务器进程应用程序中,FIFO用作汇聚点,在客户进程和服务器进程二者之间传递数据。
以下就FIFO的第二种情况写一个python例子:
#!/usr/bin/env python # -*- coding:utf-8 -*- import multiprocessing import time import os # 客户进程,向众所周知的FIFO服务器进程发送请求 def client_proc(queue,msg): request = ‘I am client ‘ + str(msg) + ‘ pid: ‘+ str(os.getpid()) + ‘ time:‘ + str(time.time()) # 注意信息的格式,都统一为字符串类型 queue.put(request) def server_proc(queue,lock): msg = queue.get() lock.acquire() print msg + ‘--------------->I am server ‘ + ‘pid: ‘ + str(os.getpid()) lock.release() plist_cli = [] plist_ser = [] lock = multiprocessing.Lock() queue = multiprocessing.Queue() # 参数为空,默认为队列可无限长 for i in range(10): p1 = multiprocessing.Process(target=client_proc,args=(queue,i)) p2 = multiprocessing.Process(target=server_proc,args=(queue,lock)) p1.start() p2.start() plist_cli.append(p1) plist_ser.append(p2) for proc in plist_cli: proc.join() for proc in plist_ser: proc.join() queue.close()
输出如下:
I am client 2 pid: 9867 time:1482489226.77--------------->I am server pid: 9879
I am client 0 pid: 9865 time:1482489226.77--------------->I am server pid: 9881
I am client 4 pid: 9869 time:1482489226.77--------------->I am server pid: 9884
I am client 1 pid: 9866 time:1482489226.77--------------->I am server pid: 9886
I am client 3 pid: 9868 time:1482489226.78--------------->I am server pid: 9888
I am client 7 pid: 9872 time:1482489226.78--------------->I am server pid: 9889
I am client 5 pid: 9870 time:1482489226.78--------------->I am server pid: 9892
I am client 6 pid: 9871 time:1482489226.78--------------->I am server pid: 9891
I am client 9 pid: 9878 time:1482489226.78--------------->I am server pid: 9893
I am client 8 pid: 9875 time:1482489226.78--------------->I am server pid: 9894
从输出可以看出,10个客户端进程把生产信息放入队列,10个服务端进程从队列取出信息并且打印,从打印时间和msg的子进程编号来看,10个服务端进程争夺stdout,通过Lock使它们有序输出,不至于输出信息混乱,msg编号没有从0排至9正是因为它们被分配给了不同的cpu资源,不同cpu资源在处理速度上不会完全一样,所以争夺stdout的能力也不同。
3、共享内存和Manager管理
众所周知,在处理多进程时,每个进程都有自己独立的内存空间,所以在多进程环境中我们应该尽量避免共享资源,否则要依赖与IPC。python的多进程除了上面提到的常用的依赖于管道和FIFO之外,还可以通过共享内存和Manager的方法来共享资源。这个不常用,由于共享内存涉及同步的问题,会降低程序的效率而不推荐使用。以后涉及到再扩展。
4、进程池
参考博客:http://www.cnblogs.com/kaituorensheng/p/4465768.html
当我们在编写网络服务端时,Unix网络编程一书中提到服务端需要fork子进程,用子进程来处理监听到的连接请求,建立连接套接字,并在子进程中关闭监听套接字,父进程中关闭连接套接字。那么,当连接的并发不是很大时,我们可以利用进程池的方式来处理到来的连接。multiprocessing.Pool可以提供指定数量的进程供用户调用,当有新的请求提交到pool中时,如果进程池还没有满,那么就会创建一个新的进程用来执行该请求;如果池中的进程数已经达到最大值,那么该请求将会阻塞等待,直到池中有进程结束,才会创建新的进程来处理该请求。
Pool方法默认的初始值如下:
def __init__(self, processes=None, initializer=None, initargs=(),maxtasksperchild=None)
通常,我们应该指定进程池的大小,如果不指定,默认为cpu的个数,即processes=cpu_count(),我们可以用该模块自带的方法查看本机的cpu个数,
print multiprocessing.cpu_count()。下面看个进程池的例子:
#!/usr/bin/env python # -*- coding:utf-8 -*- import multiprocessing import time def func(msg): print ‘msg:‘,msg time.sleep(3) print ‘end‘ pool = multiprocessing.Pool(processes=3) for i in xrange(4): msg = ‘hello %d‘ % (i) pool.apply_async(func,(msg,)) #非阻塞 # pool.apply(func,(msg,)) #阻塞,apply()源自内建函数,用于间接的调用函数,并且按位置把元祖或字典作为参数传入。 # pool.imap(func,[msg,]) #非阻塞, 注意与apply传的参数的区别 # pool.map(func,[msg,]) #阻塞 print ‘Mark~~~~~~~~~~~~~~~‘ pool.close() pool.join() # 调用join之前,先调用close函数,否则会出错。执行完close后不会有新的进程加入到pool,join函数等待所有子进程结束 print ‘sub-process done‘
注意apply_async和apply的差别,此外,进程池请求函数处理还可以用map,imap,注意传递参数的区别。
#!/usr/bin/env python # -*- coding:utf-8 -*- import multiprocessing import time def func(msg): print ‘msg:‘,msg time.sleep(3) print ‘end‘ pool = multiprocessing.Pool(50) msg = range(50) #pool.imap(func,msg) #非阻塞, 注意与apply传的参数的区别 pool.map(func,msg) #阻塞 print ‘Mark~~~~~~~~~~~~~~~‘ pool.close() pool.join() print ‘sub-process done‘
此外,如果子进程的处理函数中包含返回值,我们可以在父进程中对子进程调用get方法,将返回值取出,这里注意,要调用get方法的时候,进程池必须采用apply_async调用函数。例如:
if __name__ == "__main__": pool = multiprocessing.Pool(processes=4) result = [] for i in xrange(3): msg = "hello %d" %(i) result.append(pool.apply_async(func, (msg, ))) pool.close() pool.join() for res in result: print ":::", res.get() print "Sub-process(es) done."
最后,调用close()之后,进程池不再创建新的进程;
调用join()之后,wait进程池中的全部进程。必须对Pool先调用close()方法才能join。
参考博客:http://www.lxway.com/4488626156.htm
python多进程-----multiprocessing包