L1正则化与L2正则化有何区别？

本文共计1534个文字，预计阅读时间需要7分钟。

介绍L1正则化和L2正则化的作用。L1正则化通过限制模型系数的绝对值来减少模型复杂度，L2正则化通过限制系数的平方和来达到相同目的。1. 1-范数：范数定义：\(\|x_1\| + \|x_2\| + ... + \|x_n\|=|x_1| + |x_2| + ... + |x_n|\)。2. 2-范数：范数定义：\(\left(\sum_{i=1}^{n} |x_i|^2\right)^{\frac{1}{2}}=\sqrt{|x_1|^2 + |x_2|^2 + ... + |x_n|^2}\)，其中2-范数即通常意义下的距离。

介绍L1 正则化和L2正则化的作用 L1 正则化与 L2 正则化 1. 1-范数、2-范数

• 1-范数： \(||X||_1=|x_1|+|x_2|+...+|x_n|\)
• 2-范数： \(||X||_2=(|x_1|^2+|x|^2+...+|x_n|^2)^\frac 12\), 其实2-范数就是通常意义下的距离

2. L1 和 L2 正则化

我们所说的正则化，就是在原来的loss function的基础上，加上了一些正则化项或者称为模型复杂度惩罚项。现在我们还是以最熟悉的线性回归为例子。

• 优化目标：

\[min \frac 1N \sum_{i=1}^N(y_i-w^Tx_i)^2 \]

• 加上 L1 正则项

\[min \frac 1N\sum_{i=1}^N(y_i-w^Tx_i)^2+C||w||_1 \]

• 加上 L2 正则项

\[min\frac 1N \sum_{i=1}^N (y_i-w^T x_i)^2+C||w||_2^2 \]

​ 我们的目标是使损失越小越好。