Deep Learning在哪些场景下能发挥长尾效应的优势？

本文共计4777个文字，预计阅读时间需要20分钟。

深度学习入门，随机梯度下降。在前期学习过程中，对损失函数的最重要的参数的梯度更新是基于数据集中所有数据的，每个数据都会在计算过程中被考虑。

深度学习入门 1、随机梯度下降

　　在之前的学习过程当中，对于损失函数的最为重要的参数的梯度的更新是基于数据集中的所有数据，每一个数据都会进行到计算过程当中去，在本案例中，因为波士顿房价预测这个案例所涉及的数据并没有很多，还能够适用于这样的基于所有数据的计算。然而在实际的应用当中，很多时候都是需要很大量的数据集的，因此，这里就提出了随机梯度下降的这样一个概念。即在整个的样本中抽取一小部分的数据进行梯度的更新，这样做的好处在于虽然没有特别精确，但是能够大大的优化整个计算的性能。

　　其核心概念有三个：①mini-batch，即每次迭代时从样本中抽取出来的一批数据，就称为一个mini-batch。②batch-size，即一个mini-batch中所包含的样本数目。③epoch，即当程序迭代的时候，按mini-batch逐渐抽取出样本，当把整个数据集都遍历到了的时候，则完成了一轮训练，也叫一个epoch。启动训练时，可以将训练的轮数num_epochs和batch_size作为参数传入。