如何高效利用Pandarallel加速Python数据处理？

本文共计1141个文字，预计阅读时间需要5分钟。

目录

1.准备

2.使用 Pandarallel

3.注意事项：众周知，由于 GIL 的存在，Python 单进程中所有操作都是在单个 CPU 核心上进行的。因此，为了提高运行速度，我们通常会采用多进程的方式。而 Pandarallel 正是利用这一原理，通过并行计算来加速数据处理。

目录

• 1.准备
• 2.使用 Pandarallel
• 3.注意事项

众所周知，由于 GIL 的存在，Python 单进程中的所有操作都是在一个CPU核上进行的，所以为了提高运行速度，我们一般会采用多进程的方式。而多进程无非就是以下几种方案：

• multiprocessing
• concurrent.futures.ProcessPoolExecutor()
• joblib
• ppserver
• celery

这些方案对于普通 python 玩家来说都不是特别友好，怎样才能算作一个友好的并行处理方案？

那就是原来的逻辑我基本不用变，仅修改需要计算的那行就能完成我们目标的方案，而 pandarallel 就是一个这样友好的工具。

可以看到，在 pandarallel 的世界里，你只需要替换原有的 pandas 处理语句就能实现多CPU并行计算。非常方便、非常nice.

在4核CPU的性能测试上，它比原始语句快了接近4倍。