Lasso 回归如何实现复杂模型中的特征筛选与优化？

本文共计1989个文字，预计阅读时间需要8分钟。

在机器学习领域，简单线性回归模型是入门级模型，但实际应用中，Lasso回归也相当重要，它是机器学习模型中的常青树，工业界应用广泛。在众多项目中，Lasso回归尤其适用于处理特征选择问题。

大家入门机器学习第一个接触的模型应该是简单线性回归，但是在学Lasso时往往一带而过。其实 Lasso 回归也是机器学习模型中的常青树，在工业界应用十分广泛。在很多项目，尤其是特征选择中都会见到他的影子。

Lasso 给简单线性回归加了 L1 正则化，可以将不重要变量的系数收缩到 0 ，从而实现了特征选择。本文重点也是在讲解其原理后演示如何用其进行特征选择，希望大家能收获一点新知识。

lasso 原理

Lasso就是在简单线性回归的目标函数后面加了一个1-范数

回忆一下：在线性回归中如果参数θ过大、特征过多就会很容易造成过拟合，如下如所示：

李宏毅老师的这张图更有视觉冲击力

为了防止过拟合(θ过大)，在目标函数$J(\theta)$后添加复杂度惩罚因子，即正则项来防止过拟合，增强模型泛化能力。正则项可以使用L1-norm(Lasso)、L2-norm(Ridge)，或结合L1-norm、L2-norm(Elastic Net)。