首页 > 代码库 > 稀疏自动编码之梯度检验
稀疏自动编码之梯度检验
众所周知,反向传播算法很难调试和得到正确结果,特别是在执行过程中存在许多细小难以察觉的错误。这里介绍一种方法来确定代码中导数的计算是否正确。使用这里所述求导检验方法,可以帮助提升写正确代码的信心。
假设我们想最小化关于 的函数 . 对于这个例子,假设 ,所以 . 在一维空间,梯度下降的一次迭代公式如下:
假设我们已经实现了某个函数 去计算 ,那么梯度下降时参数更新就可以这样:. 该如何检验我们编写的函数 是正确的呢?
回忆导数的定义:
对于任意的 ,可以用如下公式来从数值上近似导数值:
在实践中,将 EPSILON 设定为一个极小的常数,如 .(虽然EPSILON可以取得极其小的值,如,但这样会导致数值舍入误差),通常就足够了。
现在,给定假设中计算 的函数 ,我们可以通过如下方式检验该函数的正确如否:
到底这两个值接近到什么样的一个程度才算正确呢?要取决于 的具体形似。但是假定 , 通常我们会发现上述式子左右两边的值至少有4位有效数字是一样的(甚至更多)。
现在,考虑 ,即参数是一个向量而不是一个实数(所以需要学习出 个参数),且. 在我们的神经网络例子中使用符号, 所以我们可以想象把这许多参数 全部装进一个很长的向量 . 现在,就把导数检验过程泛化到 是向量的情况。
假设我们编写了一个函数 计算导数 ,我们想要检验 是否正确地计算出了导数值. 令,其中:
是第 个基向量(维数与 一样,只有第 个元素为1,其他位置元素全部为0).所以对于 ,除了第 个元素比的第 个元素多加了EPSILON,其他元素完全一样。类似地有:.然后就可以通过检查下面式子的正确与否来检验 的正确性:
当用反向传播去训练神经网络时, 正确执行的算法可以得到:
这展示在
稀疏自动编码之反向传播算法(BP)
的梯度下降伪代码中.通常用上面的方法计算出 的导数值,通过它检验我们程序中 和 是否确实计算出了我们想要的到数值。
学习来源:http://deeplearning.stanford.edu/wiki/index.php/Gradient_checking_and_advanced_optimization
稀疏自动编码之梯度检验