如何注意PyTorch中BN层的使用细节？

本文共计692个文字，预计阅读时间需要3分钟。

最近修改代码时，使用网络进行推理时，发现每次更新测试集的batch size大小，都会导致推理结果不同，甚至产生错误。后来发现，在网络中已经定义了BN层，BN层在训练过程中确实影响了结果。

最近修改一个代码的时候，当使用网络进行推理的时候，发现每次更改测试集的batch size大小竟然会导致推理结果不同，甚至产生错误结果，后来发现在网络中定义了BN层，BN层在训练过程中，会将一个Batch的中的数据转变成正太分布，在推理过程中使用训练过程中的参数对数据进行处理，然而网络并不知道你是在训练还是测试阶段，因此，需要手动的加上，需要在测试和训练阶段使用如下函数。

model.train() or model.eval()

BN类的定义见pytorch中文参考文档

补充知识：关于pytorch中BN层（具体实现）的一些小细节

最近在做目标检测，需要把训好的模型放到嵌入式设备上跑前向，因此得把各种层的实现都用C手撸一遍，，，此为背景。

其他层没什么好说的，但是BN层这有个小坑。pytorch在打印网络参数的时候，只打出weight和bias这两个参数。咦，说好的BN层有四个参数running_mean、running_var 、gamma 、beta的呢？一开始我以为是pytorch把BN层的计算简化成weight * X + bias，但马上反应过来应该没这么简单，因为pytorch中只有可学习的参数才称为parameter。