如何通过超参数调试、正则化及优化手段全面提升深层神经网络性能？

本文共计2789个文字，预计阅读时间需要12分钟。

优化深层神经网络：超参数调优、正则化及改进策略

改善深层神经网络超参数调试、正则化以及优化ImprovingDeepNeuralNetworksHyperparametertuning,Regularizati

改善深层神经网络超参数调试、正则化以及优化

Improving Deep Neural Networks Hyperparameter tuning, Regularization and Optimization 本章设计超参数调优如何构建数据以及如何确保优化算法的快速运行。

神经网路机器学习的问题然后是随机神经网路

在配置训练验证和测试数据集的过程中做出正确决策。

数据的分配通常是验证集、测试集和训练集。 一般的话要保证验证集和测试集来此同一地方也就是适用范围较小

偏差和方差

偏差较高 称为 欠拟合 方差过大 成为 过拟合 差不多 称为 适度拟合 理解偏差跟方差的关键在于 训练集误差和验证集误差

通过训练集和验证集的误差来判断偏差和方差。 可以在机器学习的过程中通过这些基本方法来优化算法。

• 先判断偏差高不高如果偏差较高尝试评估训练集或者训练数据的性能。如果的确很高那就要尝试拟合一个新网络。或者增加隐藏网络的层数反正就是不断尝试迭代直到拟合。
• 高偏差对于增加训练集是没有用的所以如果不够拟合要判断是高偏差还是高方差的原因。

正则化

解决高方差最常见的方法可能是 ①正则化。