如何通过Python进程池高效管理多个进程？

本文共计1205个文字，预计阅读时间需要5分钟。

使用线程池来管理多线程类，当程序中设置多进程编程时，Python 提供了更有效的多进程管理方式，即使用进程池。进程池可以提供指定数量的进程给用户使用，当有新的任务到来时，进程池会自动分配一个空闲的进程来执行任务。

和选用线程池来关系多线程类似，当程序中设置到多进程编程时，Python 提供了更好的管理多个进程的方式，就是使用进程池。

进程池可以提供指定数量的进程给用户使用，即当有新的请求提交到进程池中时，如果池未满，则会创建一个新的进程用来执行该请求；反之，如果池中的进程数已经达到规定最大值，那么该请求就会等待，只要池中有进程空闲下来，该请求就能得到执行。

Python multiprocessing 模块提供了 Pool() 函数，专门用来创建一个进程池，该函数的语法格式如下：

multiprocessing.Pool( processes )

其中，processes 参数用于指定该进程池中包含的进程数。如果进程是 None，则默认使用 os.cpu_count() 返回的数字（根据本地的 cpu 个数决定，processes 小于等于本地的 cpu 个数）。

注意，Pool() 函数只是用来创建进程池，而 multiprocessing 模块中表示进程池的类是 multiprocessing.pool.Pool 类。该类中提供了一些和操作进程池相关的方法，如表 1 所示。

表 1 multiprocessing 模块 Pool 类常用方法 方法名 功能 apply( func[, args[, kwds]] ) 将 func 函数提交给进程池处理。