如何通过学习PyTorch的并行计算技巧，轻松实现模型训练速度的飞跃式提升呢？

如何技巧，比较容易做到模型训练速度的飞跃式提高呢？

痛点来了：模型训练速度飞慢，资源浪费严重？别慌，PyTorch的并行计算工具来帮忙！

DataParallel容易上手，但存在GPU负载不均衡和速度瓶颈问题。而DistributedDataParallel则技巧，比较容易做到模型训练速度的飞跃式提高呢？" src="/img02/3658174899,4215900772&fm=253&app=138&f=jpg"/>

Pytorch分布式训练主要方案解析

致命伤：单卡训练百年树成千秋？FSDP全分片技术秒杀显存限制！

DataParallel会自动帮我们将数据切分 load到相应 GPU,将模型复制到相应 GPU。进行正向传播计算梯度并汇总：mod... 使用 ZeRO数据并行技术 -零冗余调整器 阶段 1:跨数据并行进程 / GPU对调整器状态... 为了完成第二个,初始方案在进行本地反向传播之后、更新本地参数之前插入了一个梯度同步环节。 幸运的是,PyTorch 的 autograd 引擎能够接受定制的 backward 钩子。DDP 可以注册 autograd 钩子来触发每次反向传播之后的计算。