Pytorch20天day6，自动微分机制如何高效卷小伙伴？

本文共计1277个文字，预计阅读时间需要6分钟。

系统教程20天学会Pytorch+最近和中商、会商进行一个小打卡活动，20天Pytorch，这是第6天。欢迎一键三连。+文章目录++一、利用backward方法求导数+1、标的反向传播

系统教程20天拿下Pytorch​ 最近和中哥、会哥进行一个小打卡活动，20天pytorch，这是第6天。欢迎一键三连。

文章目录

• ​​一、利用backward方法求导数​​

• ​​1, 标量的反向传播​​
• ​​2, 非标量的反向传播​​
• ​​3, 非标量的反向传播可以用标量的反向传播实现​​

• ​​二、利用autograd.grad函数求导数​​
• ​​三、利用自动微分和优化器求最小值​​
• ​​总结​​

神经网络通常依赖反向传播求梯度来更新网络参数，求梯度过程通常是一件非常复杂而容易出错的事情。

而深度学习框架可以帮助我们自动地完成这种求梯度运算。

Pytorch一般通过反向传播 backward 方法 实现这种求梯度计算。该方法求得的梯度将存在对应自变量张量的grad属性下。

除此之外，也能够调用torch.autograd.grad 函数来实现求梯度计算。

这就是Pytorch的自动微分机制。

一、利用backward方法求导数

backward 方法通常在一个标量张量上调用，该方法求得的梯度将存在对应自变量张量的grad属性下。

如果调用的张量非标量，则要传入一个和它同形状 的gradient参数张量。