Python中，共轭梯度法与最速下降法有何显著差异？

本文共计2109个文字，预计阅读时间需要9分钟。

在一般问题优化中，快速下降法和共轭梯度法都是非常有用的经典方法。但快速下降法往往以较慢的速度收敛，难以快速达到最优值；而共轭梯度法则优于快速下降法，更适合快速下降。

在一般问题的优化中，最速下降法和共轭梯度法都是非常有用的经典方法，但最速下降法往往以”之”字形下降，速度较慢，不能很快的达到最优值，共轭梯度法则优于最速下降法，在前面的某个文章中，我们给出了牛顿法和最速下降法的比较，牛顿法需要初值点在最优点附近，条件较为苛刻。

算法来源：《数值最优化方法》高立，P111

我们选用了64维的二次函数来作为验证函数，具体参见上书111页。