如何详细解析最小二乘法及其在Python中的具体实现？

本文共计1712个文字，预计阅读时间需要7分钟。

最小二乘法（Least Square Method）是作为分类回归算法的基础，拥有悠久的历史（由马里·勒让德于1806年提出）。它通过最小化误差平方和来寻找数据的最佳函数拟合。利用最小二乘法，可以简便地找到与数据最匹配的函数。

最小二乘法Least Square Method，做为分类回归算法的基础，有着悠久的历史（由马里·勒让德于1806年提出）。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

那什么是最小二乘法呢？别着急，我们先从几个简单的概念说起。

假设我们现在有一系列的数据点 ，那么由我们给出的拟合函数h(x)得到的估计量就是 ，那么怎么评估我们给出的拟合函数与实际待求解的函数的拟合程度比较高呢？这里我们先定义一个概念：残差 ， 我们估计拟合程度都是在残差的基础上进行的。下面再介绍三种范数：

• ∞-范数：残差绝对值的最大值 ，即所有数据点中残差距离的最大值

• 1-范数：绝对残差和 ，即所有数据点残差距离之和

• 2-范数：残差平方和

前两种范数是最容易想到，最自然的，但是不利于进行微分运算，在数据量很大的情况下计算量太大，不具有可操作性。因此一般使用的是2-范数。

说了这么多，那范数和拟合有什么关系呢？拟合程度，用通俗的话来讲，就是我们的拟合函数h(x)与待求解的函数y之间的相似性。那么2-范数越小，自然相似性就比较高了。