PyTorch模型中如何利用AMP Tensor Cores有效减少内存消耗？

本文共计1344个文字，预计阅读时间需要6分钟。

目录 + 导读 + 什么是Tensor Cores？ + 那么我们如何使用Tensor Cores？ + 使用PyTorch进行混合精度训练： + 基准测试 + 导读 + 只需添加几行代码，即可获得更快、更省显存的PyTorch模型。 + 你知道吗？

目录

• 导读
• 什么是Tensor Cores?
• 那么，我们如何使用Tensor Cores？
• 使用PyTorch进行混合精度训练：
• 基准测试

导读

只需要添加几行代码，就可以得到更快速，更省显存的PyTorch模型。

你知道吗，在1986年Geoffrey Hinton就在Nature论文中给出了反向传播算法？

此外，卷积网络最早是由Yann le cun在1998年提出的，用于数字分类，他使用了一个卷积层。但是直到2012年晚些时候，Alexnet才通过使用多个卷积层来实现最先进的imagenet。

那么，是什么让他们现在如此出名，而不是之前呢？

只有在我们拥有大量计算资源的情况下，我们才能够在最近的过去试验和充分利用深度学习的潜力。

但是，我们是否已经足够好地使用了我们的计算资源呢？我们能做得更好吗？

这篇文章的主要内容是关于如何利用Tensor Cores和自动混合精度更快地训练深度学习网络。