如何通过调整PyTorch中的Weight Decay参数来有效抑制过拟合？

本文共计814个文字，预计阅读时间需要4分钟。

Weight Decay并非让权重变小，而是向损失函数显式添加一个正则化项（L2正则化）：

它抑制过拟合的核心机制是限制模型复杂度——高次项或极端权重组合会显著抬高L2惩罚项，训练过程自然倾向更平滑、泛化更强的解。

如何正确配置optimizer中的weight_decay参数

常见错误是把weight_decay设得过大（如1e-2）导致欠拟合，或设为0却误以为“没开正则”。