gradient

如何有效应对梯度爆炸问题：采用clip gradient技术？

本文共计526个文字，预计阅读时间需要3分钟。1. 梯度爆炸的影响：在一个仅有一个隐藏节点的网络中，损失函数和权重w的配置构成error surface，其中有一个壁垒。例如，损失函数每次迭代都是一小步，但当遇到壁垒时，会停滞不前。1. 梯