常用损失函数如何改写为长尾词？

本文共计1474个文字，预计阅读时间需要6分钟。

L1损失计算方法：计算输出与目标之间的绝对值差，并使用torch.nn.L1Loss函数计算平均值。

L1范数损失 L1Loss
计算 output 和 target 之差的绝对值。

torch.nn.L1Loss(reduction='mean')
#reduction-三个值，none: 不使用约简；mean:返回loss和的平均值；sum:返回loss的和。默认：mean。

均方误差损失 MSELoss
计算 output 和 target 之差的均方差。

torch.nn.MSELoss(reduction='mean')
#reduction-三个值，none: 不使用约简；mean:返回loss和的平均值；sum:返回loss的和。默认：mean。

交叉熵损失 CrossEntropyLoss

当训练有 C 个类别的分类问题时很有效. 可选参数 weight 必须是一个1维 Tensor, 权重将被分配给各个类别. 对于不平衡的训练集非常有效。

在多分类任务中，经常采用 softmax 激活函数+交叉熵损失函数，因为交叉熵描述了两个概率分布的差异，然而神经网络输出的是向量，并不是概率分布的形式。所以需要 softmax激活函数将一个向量进行“归一化”成概率分布的形式，再采用交叉熵损失函数计算 loss。