如何用Python实现长尾词的最小二乘法算法？

本文共计1622个文字，预计阅读时间需要7分钟。

所谓线性最小二乘法，可以理解为解方程的连续过程，区别在于，当未知量远小于方程数目时，将遇到一个无法解决的问题。最小二乘法的实质，是确保在误差最小的情况下，对未知数进行赋值。

所谓线性最小二乘法，可以理解为是解方程的延续，区别在于，当未知量远小于方程数的时候，将得到一个无解的问题。最小二乘法的实质，是保证误差最小的情况下对未知数进行赋值。

最小二乘法是非常经典的算法，而且这个名字我们在高中的时候就已经接触了，属于极其常用的算法。此前曾经写过线性最小二乘法的原理，并用Python实现：最小二乘法及其Python实现；以及scipy中非线性最小二乘法的调用方式：非线性最小二乘法（文末补充内容）；还有稀疏矩阵的最小二乘法：稀疏矩阵最小二乘法。

下面讲对numpy和scipy中实现的线性最小二乘法进行说明，并比较二者的速度。

numpy实现

numpy中便实现了最小二乘法，即lstsq(a,b)用于求解类似于a@x=b中的x，其中，a为M×N的矩阵；则当b为M行的向量时，刚好相当于求解线性方程组。对于Ax=b这样的方程组，如果A是满秩仿真，那么可以表示为x=A^−1b，否则可以表示为x=(A^TA)^−1A^Tb。

当b为M×K的矩阵时，则对每一列，都会计算一组x。

其返回值共有4个，分别是拟合得到的x、拟合误差、矩阵a的秩、以及矩阵a的单值形式。