cs231n中损失函数和梯度下降优化原理是什么？

本文共计3032个文字，预计阅读时间需要13分钟。

本专栏文章是关于我学习斯坦福大学CS231n课程的笔记和解读，同时欢迎各界人士访问我的个人博客，查看本篇内容、目录、损失函数、支持向量机、正则化、常用的正则化函数及多项逻辑斯蒂回归。

本专栏的文章是我学习斯坦福cs231n课程的笔记和理解, 同时也欢迎大家可以访问我的个人博客，查看本篇文章

目录

• 损失函数
  • 支持向量机SVM
  • 正则化
    • 常用的正则化函数
  • 多项逻辑斯蒂回归（softmax）
• 优化
  • 梯度下降
  • 计算梯度
    • 数值梯度
    • 解析梯度
  • 梯度下降过程
  • 小批量随机下降
• 参考资料

损失函数

如何确定W，如何利用训练数据得到好的W。

损失函数：定义一个函数，输入W，然后定量计算W的好坏。

支持向量机SVM

给定一个样本\((x_i,y_i)\)，其中\(x_i\)是图片，\(y_i\)是图片真实对应的标签，就是第几类，i代表是训练集第i个样本。用支持向量机表示为：$$L_i = \sum_{j\neq y_i}max(0,s_j-s_{y_i}+1)$$，S为这张图片通过分类器计算出来的各个类的得分。

这个式子也表示了如果真实的类的分数比其他类的分数大于1以上，那么这一项的损失就为0。