Matlab中各种最优化算法的原理和深度分析，能否全面解析并对比？

本文共计4572个文字，预计阅读时间需要19分钟。

目录+前言+1. 梯度下降法+1.1 批量梯度下降法（Batch Gradient Descent，BGD）+1.2 随机梯度下降法（Stochastic Gradient Descent，SGD）+1.3 小结+2. 牛顿法和拟牛顿法+2.1 牛顿法（Newton's method）+2.2 拟牛顿法（拟牛顿法）

目录

• 前言
• 1. 梯度下降法
• 1.1 批量梯度下降法（Batch Gradient Descent，BGD）
• 1.2 随机梯度下降（Stochastic Gradient Descent，SGD）
• 1.3 小结
• 2.牛顿法和拟牛顿法
• 2.1 牛顿法（Newton’s method）
• 2.2拟牛顿法（Quasi-Newton Methods）
• 3.共轭梯度法（Conjugate Gradient）
• 最速下降法
• 共轭梯度法
• 4.启发式优化方法

前言

生活或者工作中遇到各种各样的最优化问题，比如每个企业和个人都要 考虑的一个问题“在一定成本下，如何使利润最大化”等。最优化方法是一种数学方法，它是研究在给定约束之下如何寻求某些因素(的量)，以使某一(或某些)指标达到最优的一些学科的总称。