如何使用pandas的apply函数实现多线程处理数据？

本文共计1144个文字，预计阅读时间需要5分钟。

一、多线程与并行化选择：multithread 和 multiprocess。

Multithread（多线程）：多线程在同一进程内，共享内存空间，通过操作系统调度，可以开启多个线程执行计算任务。每个线程代表一个CPU核心，可以并行执行计算。

这样多线程可以有效地利用单核CPU的并行能力，提高程序执行效率。

一、多线程化选择

并行化一个代码有两大选择：multithread 和 multiprocess。

Multithread，多线程，同一个进程（process）可以开启多个线程执行计算。每个线程代表了一个 CPU 核心，这么多线程可以访问同样的内存地址（所谓共享内存），实现了线程之间的通讯，算是最简单的并行模型。

Multiprocess，多进程，则相当于同时开启多个 Python 解释器，每个解释器有自己独有的数据，自然不会有数据冲突。

二、并行化思想

并行化的基本思路是把 dataframe 用 np.array_split 方法切割成多个子 dataframe。再调用 Pool.map 函数并行地执行。注意到顺序执行的 pandas.DataFrame.apply 是如何转化成 Pool.map 然后并行执行的。