数值优化：如何比较经典二阶确定性算法与对偶方法的效果？
- 内容介绍
- 文章标签
- 相关推荐
本文共计3607个文字，预计阅读时间需要15分钟。
在上一篇文章中，我们主要介绍了单机数值优化中一些经典的确定性算法。本文将重点介绍二级确定性算法和随机方法。牛顿法的核心思想是将目标函数在当前迭代点进行二阶泰勒展开，并利用二阶导数来预测函数的局部变化趋势。
我们在上一篇博客中主要介绍了单机数值优化中一些经典的一阶确定性算法，本篇文章我们将会介绍二阶确定性算法和对偶方法。牛顿法的基本思想是将目标函数在当前迭代点处进行二阶泰勒展开，然后最小化这个近似目标函数。如果该海森矩阵是正定的，则问题的最优值在特定处取到，牛顿法将其做为下一时刻的状态。我们在上一篇博客《数值优化：经典一阶确定性算法及其收敛性分析》中主要介绍了单机数值优化中一些经典的一阶确定性算法，本篇文章我们将会介绍二阶确定性算法和对偶方法。
1 牛顿法 1.1 算法描述牛顿法[1]的基本思想是将目标函数在当前迭代点处进行二阶泰勒展开，然后最小化这个近似目标函数，即
\[\underset{w\in \mathcal{W}}{\text{min}} f(w) \approx \underset{w \in W}{\text{min}} f(w^t) + \nabla f(w^t)^T(w - w^t) + \frac{1}{2}(w - w^t)^T\nabla^2f(w^t)(w-w^t) \]此处\(\nabla^2f(w^t)\)是目标函数在当前迭代点\(w^t\)处的海森矩阵。
本文共计3607个文字，预计阅读时间需要15分钟。
在上一篇文章中，我们主要介绍了单机数值优化中一些经典的确定性算法。本文将重点介绍二级确定性算法和随机方法。牛顿法的核心思想是将目标函数在当前迭代点进行二阶泰勒展开，并利用二阶导数来预测函数的局部变化趋势。
我们在上一篇博客中主要介绍了单机数值优化中一些经典的一阶确定性算法，本篇文章我们将会介绍二阶确定性算法和对偶方法。牛顿法的基本思想是将目标函数在当前迭代点处进行二阶泰勒展开，然后最小化这个近似目标函数。如果该海森矩阵是正定的，则问题的最优值在特定处取到，牛顿法将其做为下一时刻的状态。我们在上一篇博客《数值优化：经典一阶确定性算法及其收敛性分析》中主要介绍了单机数值优化中一些经典的一阶确定性算法，本篇文章我们将会介绍二阶确定性算法和对偶方法。
1 牛顿法 1.1 算法描述牛顿法[1]的基本思想是将目标函数在当前迭代点处进行二阶泰勒展开，然后最小化这个近似目标函数，即
\[\underset{w\in \mathcal{W}}{\text{min}} f(w) \approx \underset{w \in W}{\text{min}} f(w^t) + \nabla f(w^t)^T(w - w^t) + \frac{1}{2}(w - w^t)^T\nabla^2f(w^t)(w-w^t) \]此处\(\nabla^2f(w^t)\)是目标函数在当前迭代点\(w^t\)处的海森矩阵。