Python实现最小二乘法与梯度下降法运行效果有何差异？

本文共计2248个文字，预计阅读时间需要9分钟。

上周在实验室里，师傅提出了一个问题：对于线性回归问题，最小二乘法和梯度下降法所求得的权重值是否一致。对此，我持有不同观点。若要比较这两种解决线性回归问题的方法的等价性，需进一步探讨。

上周在实验室里师姐说了这么一个问题，对于线性回归问题，最小二乘法和梯度下降方法所求得的权重值是一致的，对此我颇有不同观点。如果说这两个解决问题的方法的等价性的确可以根据数学公式来证明，但是很明显的这个说法是否真正的成立其实很有其它的一些考虑因素在里面，以下给出我个人的一些观点：

1. 首先，在讨论最小二乘法和梯度下降对某数据集进行线性拟合的结果是否相同的问题之前，我们应该需要确保该数据集合的确符合线性模型，如果不符合那么得出的结果将会是非常有意思的，

该种情况在之前的博客中已有介绍，下面给出网址：

2. 再者， 在讨论二者结果是否相同的问题之前如果对梯度下降法做过实际编码的人员一定知道这么一个东西，那就是步长，即每次对权重进行修正时的权重配比。