Python进程池如何同时开启多个进程操作同一列表?
- 内容介绍
- 文章标签
- 相关推荐
本文共计789个文字,预计阅读时间需要4分钟。
为什么使用多进程?目标网站数据量多,想尽量多获取点东西?数据库大批量数据需要操作?单纯的想节省时间,早点下班?肯定有人会说多线程。Python的多进程
为什么要使用多进程
目标网站数据量多,想赶时间多获取点东西?
数据库大批量的数据需要操作?
单纯的想要节省时间,早早下班?
............
肯定会有人说。Python的多线程为了数据安全设置了GIL全局解释器锁,而Python的多线程是靠并发的方式实现的,即Python只会在一个进程里永远执行一个线程。
这就导致Python多线程的多线程效率低下。举个例子,这就相当于一个人在左右横跳的吃两包薯片。只不过这个人啊,他速度很快,只要左右横跳的速度足够快,他的残影就像两个人再吃薯片一样。
所以说你干脆再拉个人跟你一起吃薯片得了。
怎么使用多进程
这里重点说的时线程池Pool,Process按下不表,因为Process时动态生成进程,Pool显然比Process强大得多。
实现多进程的方法就是使用Python中的multiprocessing的包。
import multiprocessing as mp
这里就简写一下吧,包名也太长了。
本文共计789个文字,预计阅读时间需要4分钟。
为什么使用多进程?目标网站数据量多,想尽量多获取点东西?数据库大批量数据需要操作?单纯的想节省时间,早点下班?肯定有人会说多线程。Python的多进程
为什么要使用多进程
目标网站数据量多,想赶时间多获取点东西?
数据库大批量的数据需要操作?
单纯的想要节省时间,早早下班?
............
肯定会有人说。Python的多线程为了数据安全设置了GIL全局解释器锁,而Python的多线程是靠并发的方式实现的,即Python只会在一个进程里永远执行一个线程。
这就导致Python多线程的多线程效率低下。举个例子,这就相当于一个人在左右横跳的吃两包薯片。只不过这个人啊,他速度很快,只要左右横跳的速度足够快,他的残影就像两个人再吃薯片一样。
所以说你干脆再拉个人跟你一起吃薯片得了。
怎么使用多进程
这里重点说的时线程池Pool,Process按下不表,因为Process时动态生成进程,Pool显然比Process强大得多。
实现多进程的方法就是使用Python中的multiprocessing的包。
import multiprocessing as mp
这里就简写一下吧,包名也太长了。

