《优化深度神经网络》中，有哪些实用层面的深度学习技巧？

本文共计6694个文字，预计阅读时间需要27分钟。

AI有道+不可错过的AI技术公众号+关注的吴恩达的深度学习专项课程的经典课程《神经网络与深度学习》的所有精华笔记我已经整理完成。欢迎各位小伙伴见文末推荐阅读：在下方阅读原文链接中继续探索。

AI有道

不可错过的AI技术公众号

关注

吴恩达的深度学习专项课程的第一门课《神经网络与深度学习》的所有精炼笔记我已经整理完毕。迷路的小伙伴请见文章末尾的推荐阅读：

在接下来的几次笔记中，我们将对第二门课《优化深度神经网络》进行笔记总结和整理。我们在第一门课中已经学习了如何建立一个神经网络，或者浅层的，或者深度的。而这第二门课，我们将着重讨论和研究如何优化神经网络模型，例如调整超参数，提高算法运行速度等等。开始吧~

——前言

1

Train/Dev/Test sets

选择最佳的训练集（Training sets）、验证集（Development sets）、测试集（Test sets）对神经网络的性能影响非常重要。除此之外，在构建一个神经网络的时候，我们需要设置许多参数，例如神经网络的层数、每个隐藏层包含的神经元个数、学习因子（学习速率）、激活函数的选择等等。