Pytorch eval模式为何导致结果与train模式相差甚远？

本文共计782个文字，预计阅读时间需要4分钟。

首先，eval模式与train模式得到不同结果是正常的。在我的模型中，eval模式和train模式的不同之处主要在于Batch Normalization和Dropout的使用。

Dropout相对简单，在train时，会随机丢弃一部分连接，而在eval时则不会。

首先，eval模式和train模式得到不同的结果是正常的。我的模型中，eval模式和train模式不同之处在于Batch Normalization和Dropout。Dropout比较简单，在train时会丢弃一部分连接，在eval时则不会。Batch Normalization，在train时不仅使用了当前batch的均值和方差，也使用了历史batch统计上的均值和方差，并做一个加权平均（momentum参数）。在test时，由于此时batchsize不一定一致，因此不再使用当前batch的均值和方差，仅使用历史训练时的统计值。

我出bug的现象是，train模式下可以收敛，但一旦在测试中切换到了eval模式，结果就很差。如果在测试中仍沿用train模式，反而可以得到不错的结果。为了确保是程序bug而不是算法本身就不适合于预测，我在测试时再次使用了训练集，正常情况下此时应发生过拟合，正确率一定会很高，然而eval模式下正确率仍然很低。参照网上的一些说法（Performance highly degraded when eval() is activated in the test phase
），我调大了batchsize，降低了BN层的momentum，检查了是否存在不同层使用相同BN层的bug，均不见效。有一种方法说应在BN层设置track_running_stats为False，它虽然带来了好的效果，但实际上它只不过是不用eval模式，切回train模式罢了，所以也不对。