如何将Python多进程技术巧妙应用于长尾任务处理？

本文共计3519个文字，预计阅读时间需要15分钟。

并行与串行计算，思考一下。你面临一个巨大的问题要解决，而你独自一人。你需要计算八个不同数字的平方根。你是做什么的？你没有太多选择。从第一个数字开始，依次计算，然后得出结果。

并行和串行计算

想象一下，你有一个巨大的问题要解决，而你独自一人。你需要计算八个不同数字的平方根。你是做什么的？你没有太多选择。从第一个数字开始，然后计算结果。然后，你继续和其他人。

如果你有三个擅长数学的朋友愿意帮助你呢？他们每个人都会计算两个数字的平方根，你的工作会更容易，因为工作量在你的朋友之间平均分配。这意味着你的问题将更快地得到解决。

好了，一切都清楚了吗？在这些示例中，每个朋友代表CPU的核心。在第一个示例中，整个任务由你依次解决。这称为串行计算。在第二个示例中，由于你总共使用了四个内核，因此你使用的是并行计算。并行计算涉及使用并行进程或在处理器的多个核之间划分的进程。

并行编程模型

我们已经确定了什么是并行编程，但我们如何使用它？我们之前说过，并行计算涉及在处理器的多个核心之间执行多个任务，这意味着这些任务是同时执行的。在进行并行化之前，你应该考虑几个问题。例如，是否有其他优化可以加快我们的计算速度？

现在，让我们理所当然地认为并行化是最适合的解决方案。并行计算主要有三种模式：

• 完全平行。任务可以独立运行，不需要相互通信。

• 共享内存并行。进程（或线程）需要通信，因此它们共享一个全局地址空间。