首页 > 代码库 > 深度学习的杂碎

深度学习的杂碎

步长:最优化问题中的叫法;

学习速率:神经网络中的叫法;

梯度更新的方式:

技术分享

技术分享为步长(学习率)。

其中有必要说一点的是技术分享表示的是当前实际的输出,y表示的是其类标。

当输入为x时,目标函数表示为一个线性函数的形式为:技术分享。其中每一个x1,x2,...表示的是维度。

1. 梯度下降:对于技术分享的更新是所有样本都参与的,那么得到的梯度是一个比较标准的值,一次更新的幅度也会比较大,但是样本多的时候,并且样本的维度也是很大的,会降低运算的速度。此外,对电脑内存等也是一个巨大的考验。现在在实际中很少使用。当然,当样本比较少的时候,是可以用的。

2. 随机梯度下降:对技术分享是随机的选取一个样本,通过这个小的的梯度来更新整体的,当然是不太准确的,但是重在速度快,当训练的迭代次数比较多的时候,也会去的很好的效果。不过,注意陷入局部最优解。

3. 小批量梯度下降:对技术分享是随机的选取一个小的batch,这个方法在深度学习中使用的比较多。

深度学习的杂碎