神经网络前向传播与梯度下降推导过程是怎样的？

本文共计2359个文字，预计阅读时间需要10分钟。

家庭好！本文介绍了前向传播、梯度下降和后向传播算法，总结了神经网络在训练和推理阶段的执行步骤。

大家好~本文介绍了前向传播、梯度下降和后向传播算法，总结了神经网络在训练和推理阶段执行的步骤

大家好~本文介绍了前向传播、梯度下降算法，总结了神经网络在训练和推理阶段执行的步骤。

在后面的文章中，我们会从最简单的神经网络开始，不断地增加不同种类的层（如全连接层等），推导每种层的前向传播、后向传播、梯度计算、权重和偏移更新的数学公式

神经网络前向和后向传播推导（一）：前向传播和梯度下降
神经网络前向和后向传播推导（二）：全连接层

目录

• 神经元
• 神经网络
• 前向传播
• 梯度下降
• 总结
• 参考资料

神经元

如上图所示，一个神经元具有一个偏移值b和多个权重值w，接受多个输入值x，返回一个输出值y

计算公式为：

\[y=f(\vec{w}^T\cdot\vec{x}+b) \]

其中：

\[\vec{w} = [w_1, w_2] \]

\[\vec{x} = \begin{bmatrix} x_1\\ x_2\\ \end{bmatrix} \]

\[f为激活函数 \]

我们可以将\(b\)表示为\(w_b\)，合并到\(\vec{w}\)中；并且把\(y\)表示为向量。