PyTorch中model.zero_grad()与optimizer.zero_grad()有何区别与用法？

本文共计699个文字，预计阅读时间需要3分钟。

在深度学习代码中，`model.zero_grad()` 和 `optimizer.zero_grad()` 的作用相同，都是将模型中参数的梯度设置为0。当使用 `optimizer=optim.Optimizer(net.parameters())` 初始化优化器时，这两种方式效果相当。其中，Optimizer 可以是 Adam 等多种优化算法。