如何应对机器学习中的样本不平衡问题？

本文共计3763个文字，预计阅读时间需要16分钟。

在银行，需判断新客户是否会违约，通常不违约的人VS违约的人比例是99:1，真正违约的人其实相当少。在这种分类状态下，即使便利模型什么也不做，也将所有的人都当作违约者。

在银行要判断一个"新客户是否会违约"，通常不违约的人VS违约的人会是​​99:1​​的比例，真正违约的人 其实是非常少的。这种分类状况下，即便模型什么也不做，全把所有人都当成不会违约的人，正确率也能有99%， 这使得模型评估指标变得毫无意义，根本无法达到我们的"要识别出会违约的人"的建模目的。

像这样样本不均衡等例子在生活中随处可见。通常出现在异常检测、客户流失、罕见时间分析、发生低频率事件等场景，具体如垃圾邮件等识别，信用卡征信问题、欺诈交易检测、工厂中不良品检测等。在处理诸如此类的样本不均衡的任务中，使用常规方法并不能达到实际业务需求，正确且尽可能多捕获少数类样本。因为样本不均衡会使得分类模型存在很严重的偏向性。

本文中，介绍了在机器学习中样本不平衡处理策略及常用方法和工具。​喜欢本文记得收藏、关注、点赞。​

​文末提供技术交流群​

​

样本不平衡分类

数据集中各个类别的样本数量极不均衡，从数据规模上可分为：

• 大数据分布不均衡。整体数据规模大，小样本类的占比较少，但小样本也覆盖了大部分或全部特征。

• 小数据分布不均衡。整体数据规模小，少数样本比例的分类数量也少，导致特征分布严重不均衡。

样本分布不均衡在于不同类别间的样本比例差异，导致很难从样本中提取规律。一般超过10倍就需要引起注意，20倍就一定要处理了。