如何使用PyTorch实现批量归一化（BN）功能？

本文共计2743个文字，预计阅读时间需要11分钟。

PyTorch中添加BN层、批标准化+模型训练不易，特别是复杂模型，难以获得理想结果。因此，对数据进行预处理，同时使用批标准化，可显著提升效果。

pytorch之添加BN层

批标准化

模型训练并不容易，特别是一些非常复杂的模型，并不能非常好的训练得到收敛的结果，所以对数据增加一些预处理，同时使用批标准化能够得到非常好的收敛结果，这也是卷积网络能够训练到非常深的层的一个重要原因。

数据预处理

目前数据预处理最常见的方法就是中心化和标准化，中心化相当于修正数据的中心位置，实现方法非常简单，就是在每个特征维度上减去对应的均值，最后得到 0 均值的特征。标准化也非常简单，在数据变成 0 均值之后，为了使得不同的特征维度有着相同的规模，可以除以标准差近似为一个标准正态分布，也可以依据最大值和最小值将其转化为 -1 ~ 1之间，这两种方法非常的常见，如果你还记得，前面我们在神经网络的部分就已经使用了这个方法实现了数据标准化，至于另外一些方法，比如 PCA 或者 白噪声已经用得非常少了。

Batch Normalization

前面在数据预处理的时候，尽量输入特征不相关且满足一个标准的正态分布，

这样模型的表现一般也较好。