如何总结机器学习中的特征选择最佳实践？

本文共计5008个文字，预计阅读时间需要21分钟。

一、背景介绍在处理结构化数据时，特征工程中的特征选择是至关重要的环节。特征选择不仅影响着模型的性能，还直接关系到训练数据的大小和模型训练速度。

二、内容特征选择是特征工程中的一个关键环节，它关乎模型对重要特征的捕捉。以下是特征选择的两个优点：

1. 减少训练数据大小，加快模型训练速度。

2.选择对模型重要的特征，提高模型性能。

一、背景介绍

在处理结构型数据时，特征工程中的特征选择是很重要的一个环节，特征选择是选择对模型重要的特征。它的好处[2]在于:

● 减少训练数据大小，加快模型训练速度。

● 减少模型复杂度，避免过拟合。

● 特征数少，有利于解释模型。

● 如果选择对的特征子集，模型准确率可能会提升。

我曾在文章CCF大赛项目: 大数据时代Serverless工作负载预测，提到过一个困境，就是当时我在滑动窗口式组织数据 + 多阶统计特征生成后，我的模型就过拟合了，然后我看到某选手开源的代码，他只用了LGBM模型认为重要的TOP几百个特征就能达到跟我用全量特征的效果。所以我就反思到：特征真的越多越好吗？把特征交给模型，模型自己能很好学习到哪些特征有用或者没用吗？当时，我抱着疑问，做了特征选择工作，发现效果居然有提升，可能原因是：

● 去除冗余无用特征，减低模型学习难度，减少数据噪声。

● 去除标注性强的特征，例如某些特征在训练集和测试集分布严重不一致，去除他们有利于避免过拟合。

● 选用不同特征子集去预测不同的目标，比如用不同状态下的作业数特征去预测"提交中的作业数"，而用不同资源使用率的特征去预测“CPU使用率”。

当时，我是直接一股脑把特征丢进去训练模型，后面比赛完跟其它选手交流才了解到特征选择的重要性。