Pandas如何通过多进程实现高效数据并行处理？

本文共计973个文字，预计阅读时间需要4分钟。

Python 的 multiprocessing 模块可用于实现并行计算，但在 Pandas 处理数据时，直接使用 multiprocessing 可能效果不佳。很多人听说后兴奋尝试，但实际运行效果不佳，只看到风起云涌，未见运行完成。为了提高数据清洗速度，建议寻找更合适的方法。

python 有自己的多进包 ​​multiprocessing​​ 去实现并行计算，但在Pandas处理数据中，使用 multiprocessing 并不好使，只听见风扇转啊转，就不见运行完毕。

为了提高一点数据清洗的速度，找到一个Pandas多进程的方法，​​pandarallel​​ 库，做了一下测试。喜欢本文记得收藏、关注、点赞。

文末提供技术交流方式

小数据集（先试过了1w）可能多进程还没单进程快，因为进程开启关闭也要一点时间。