首页 > 代码库 > Python多进程相关的坑

Python多进程相关的坑

Python的multiprocessing模块实现了多进程功能,但官方文档上只有一些比较简单的用法,主要是使用函数作为process的target,而如何在class中使用多进程并没有多讲解。google出两篇比较详细的文章,建议从它们入门:

https://pymotw.com/2/multiprocessing/basics.html

https://pymotw.com/2/multiprocessing/communication.html

 

下面记录一下自己这周在python多进程上碰到的坑:

创建进程时,参数必须能够被pickle,所以有些自定义的类对象实例是不能被作为参数的

和threading不同,multiprocessing Process参数必须能够被pickle进行序列化

技术分享

Python 2.7,Can’t pickle <type ‘instancemethod’>

python 2.7 的 python 3.5版本中,multiprocessing的行为是不同的,有些代码可以在3.5中运行,在2.7中却运行出错

例如上,在3.5中可以运行,这是因为在3.5版本中,pick可以序列化更多的类型。

尽量避免类实例中包含multiprocess.Manager实例,否则会有

TypeError: Pickling an AuthenticationString object is disallowed for security reasons

或者:

_pickle.PicklingError: Can‘t pickle <class ‘weakref‘>: attribute lookup weakref on builtins failed

进程间共享的对象,使用Manager进行管理

Manager会生成一个进程,所以不同进程间访问统一变量,是通过IPC进行的,会有性能上的开销。

 

关于主进程所在的文件代码

    使用multiprocessing时,主模块会被import到各进程中,所以创建子进程的部分,必须使用

    if __name__ == ‘__main__:

    进行保护,否则会有runtime error,或者递归创建子进程

Python多进程相关的坑