如何通过调整PyTorch中的Weight Decay参数来有效抑制过拟合？

本文共计814个文字，预计阅读时间需要4分钟。

Weight Decay并非让权重变小，而是向损失函数显式添加一个正则化项（L2正则化）：

它抑制过拟合的核心机制是限制模型复杂度——高次项或极端权重组合会显著抬高L2惩罚项，训练过程自然倾向更平滑、泛化更强的解。

如何正确配置optimizer中的weight_decay参数

常见错误是把weight_decay设得过大（如1e-2）导致欠拟合，或设为0却误以为“没开正则”。真实项目中典型取值范围是：

• CNN图像任务：1e-4 到 5e-4
• Transformer类模型：0.01（如AdamW常用）或0.001
• 小数据集/浅层网络：可尝试1e-3，但必须配合验证集监控

关键点：

立即学习“Python免费学习笔记（深入）”；

• weight_decay只对可学习参数（即requires_grad=True）生效，bias、LayerNorm.weight等通常应排除
• PyTorch默认对所有参数统一应用，若需分组（比如只对weight加decay），要用optimizer.param_groups手动构造参数列表
• 使用torch.optim.AdamW比Adam更规范，因为它的weight_decay实现严格对应论文定义；而Adam的weight_decay是近似实现（带动量耦合）

为什么有时加了weight_decay却没效果

现象包括：训练loss下降快但验证acc卡住、val loss不降反升、权重分布直方图无明显收缩。

可能原因：

• 学习率lr远大于weight_decay，例如lr=1e-3配weight_decay=1e-6，正则项贡献微乎其微
• Batch Normalization层的running_mean/running_var不受weight_decay影响，但BN本身就有一定正则效果，容易掩盖weight decay的作用
• 数据增强（如RandomCrop、ColorJitter）强度太高，成为主要正则源，掩盖了weight decay的边际改善
• 模型已严重欠拟合（训练集acc < 80%），此时首要问题是提升容量或调参，而非加正则

验证是否生效的最快方式：打印某层conv.weight的norm，训练10个epoch后对比——有decay时L2 norm应稳定缓慢下降。

weight_decay与Dropout、Label Smoothing怎么协同

三者不是“叠加越多越好”，而是分工不同：

• Dropout：随机屏蔽神经元，主要对抗特征共线性与过度依赖局部路径
• Label Smoothing：软化ground truth标签，缓解模型对训练标签噪声的过敏感
• weight_decay：约束权重空间，偏好低复杂度解

实操建议：

• 先固定weight_decay=1e-4，调好基础收敛性
• 再开启Dropout(p=0.1~0.3)（CNN常用0.1，NLP常用0.1–0.5）
• 最后引入LabelSmoothing=0.1（仅分类任务）
• 每加一项，都回退到验证集指标不再提升为止——很多情况下，weight_decay + 弱Dropout就足够，强行加满反而降低最终精度

weight_decay的数值敏感性远高于Dropout概率，调它必须看验证曲线拐点，不能凭感觉拍。