《优化深度神经网络》精炼笔记（2）中，有哪些优化算法的详细解析？

本文共计4237个文字，预计阅读时间需要17分钟。

AI有道+不可错过的AI技术公众号+关注+重要通知+本公众号原名红色石头的机器学习之路已更名为AI有道，请大家留意并继续关注本公众号！谢谢！+上一节课我们主要介绍了如何

AI有道

不可错过的AI技术公众号

关注

重要通知

本公众号原名“红色石头的机器学习之路”已经改名为“AI有道”，请大家留意并继续关注本公众号！谢谢！

上节课我们主要介绍了如何建立一个实用的深度学习神经网络。包括Train/Dev/Test sets的比例选择，Bias和Variance的概念和区别：Bias对应欠拟合，Variance对应过拟合。接着，我们介绍了防止过拟合的两种方法：L2 regularization和Dropout。然后，介绍了如何进行规范化输入，以加快梯度下降速度和精度。然后，我们介绍了梯度消失和梯度爆炸的概念和危害，并提出了如何使用梯度初始化来降低这种风险。最后，我们介绍了梯度检查，来验证梯度下降算法是否正确。

本节课，我们将继续讨论深度神经网络中的一些优化算法，通过使用这些技巧和方法来提高神经网络的训练速度和精度。