Python多进程爬虫基础教程有哪些？

本文共计2108个文字，预计阅读时间需要9分钟。

要让Python程序实现多进程（multiprocessing），我们首先需要了解操作系统相关知识。Unix/Linux操作系统提供了`fork()`系统调用，这是一个非常特殊的调用。

通常的函数调用，调用一次，返回一次。但`fork()`调用一次，会返回两次。在父进程中，`fork()`返回子进程的进程ID；在子进程中，`fork()`返回0。

要让Python程序实现多进程（multiprocessing），我们先了解操作系统的相关知识。

Unix/Linux操作系统提供了一个​​fork()​​​系统调用，它非常特殊。普通的函数调用，调用一次，返回一次，但是​​fork()​​调用一次，返回两次，因为操作系统自动把当前进程（称为父进程）复制了一份（称为子进程），然后，分别在父进程和子进程内返回。

子进程永远返回​​0​​​，而父进程返回子进程的ID。这样做的理由是，一个父进程可以fork出很多子进程，所以，父进程要记下每个子进程的ID，而子进程只需要调用​​getppid()​​就可以拿到父进程的ID。