TensorFlow中如何用Python设置Dropout层及其随机失活参数？

本文共计1100个文字，预计阅读时间需要5分钟。

直接说明结论：

常见错误现象：model.predict() 输出值明显偏小、方差异常大；训练 loss 下降但 val accuracy 卡住；模型在 model.evaluate() 时表现远差于 model.train_on_batch()。

• Dropout 只在训练时启用（training=True），Keras 默认在 model.fit() 中自动处理，但手动前向传播时必须显式传参
• 不要在自定义训练循环中漏掉 training=True，否则 Dropout 层退化为恒等变换
• 权重不参与 dropout，失活的是激活值（activation），所以它必须接在 Dense / Conv2D 等之后，不能单独存在

Dropout(rate=0.5) 的 rate 参数到底控制什么

rate 是**每个元素被置为 0 的概率**，不是保留比例。也就是说 rate=0.5 表示一半神经元输出被清零，另一半保持原值并乘以 1/(1-rate)（即 2）做反向缩放（inverted dropout）。这是为了保证训练和推理时的期望输出一致。

典型误用：Dropout(0.8) 后接 BatchNormalization，会导致 BN 统计量被严重干扰；或者在输入层直接加高 rate Dropout，破坏原始特征分布。