Pytorch分布式训练的原理是什么？

本文共计1008个文字，预计阅读时间需要5分钟。

1.+ 引言+分布式训练就是将模型放置在多台机器上，并在每台机器的多个GPU上进行训练。之所以使用分布式训练的原因一般有两点：一是模型在一块GPU上放不下，二是使用多块GPU进行训练以提高效率。

1. 引言

分布式训练就是指将模型放置在很多台机器并且在每台机器上的多个GPU上进行训练，之所以使用分布式训练的原因一般来说有两种：其一是模型在一块GPU上放不下，其二使用多块GPU进行并行计算能够加速训练。但是需要注意的是随着使用的GPU数量增加，各个设备之间的通信会变得复杂，导致训练速度下降。
一般来说，分布式训练主要分为两种类型：数据并行化 (Data Parallel) 以及模型平行化（Model Parallel）。

2. 数据并行化

当训练的数据量非常大时，假设模型的结构能够放置在单个GPU上时，就可以采用数据平行化的方式来进行分工合作。
常用的做法是依照一些规则将数据分配到不同的GPU上，并且每个GPU都有相同的模型构架，也就是会在每个GPU上复制一份相同的模型，各自进行训练后，将计算结果合并，再进行参数更新。如下所示：

此时的参数更新的方式又分为同步及异步两种：

• 同步方式：所有的GPU在训练时会等待其他GPU计算完毕后，才会进行一次参数更新，因此训练速度上会比使用异步的方式来得慢。但因为在更新参数时会合并其他计算结果，相当于增加了batch size的大小，对于训练结果有一定的提升。