Python中如何高效结合多进程与协程进行数据写入操作？

本文共计895个文字，预计阅读时间需要4分钟。

1. 需求分析：需将一批key已写入3个txt文件中，每个txt文件有300万行记录。现在需要读取这些txt文件，判断key是否存在于数据仓库中（Redis或MySQL）。

2.空记录处理：对于空记录，需写入到日志文件中。

一、需求分析

有一批key已经写入到3个txt文件中，每一个txt文件有30万行记录。
现在需要读取这些txt文件，判断key是否在数据仓库中。(redis或者mysql)

为空的记录，需要写入到日志文件中！

任务分工

1. 使用多进程技术，每一个进程读取一个txt文件

2. 使用协程技术，批量读取txt文件记录。