Python爬虫加速选异步、协程还是多进程？新手必看高效技巧！

本文共计1130个文字，预计阅读时间需要5分钟。

最近有读者询问：Python爬虫如何加速？这个问题涉及到一个爬虫，乃至整个Python编程中都非常重要的问题：如何高效地处理大量数据的下载。例如，如果同时下载1万张图片，如何有效地加速程序运行，缩短下载时间？

最近遇到读者提问：Python爬虫如何加速？

这个问题涉及到一个爬虫里，甚至是整个Python编程里都非常重要的问题：

如果同时下载1w张图片，如何有效地加速程序运行，缩短下载时间？

今天我们一起来看一下常用的解决方案。

1、为什么慢？

首先我们先看一下，原来的代码里，是什么原因导致程序慢的？下面是代码和运行结果：

import office for i in range(1, 18): url = 'www.python-office.com/api/img-cdn/test/spider/{}.jpg'.format(str(i)) office.image.down4img(url, output_name=str(i))

顺序执行看起来很完美，但是完美的背后是不是有陷阱呢？

为了更好的理解这个代码，我们先举一个例子：你面前有10台洗衣机编号是从1到10，里面转满了衣服需要你清洗，有的脏可能要强力洗洗的久，有的干净只需要速洗洗的快。

清洗以后，需要你记录下他们的清理顺序，有下列2种方案供你选择：

一个挨一个的洗完。先启动洗衣机1号，等1号洗完了，再启动2号，依次类推。这样你记录的结果和上图一样，是完美的按顺序完成。

先同时打开所有的洗衣机，哪一个洗完了就记录哪一个。因为有的洗得快，有的洗得慢，这样你记录的结果是混乱的。