机器学习之反向传播算法

首页 > 代码库 > 机器学习之反向传播算法

机器学习之反向传播算法

2024-09-23 10:11:39 218人阅读

这一章可能是Andrew Ng讲得最不清楚的一章，为什么这么说呢？这一章主要讲后向传播(Backpropagration, BP)算法，Ng花了一大半的时间在讲如何计算误差项

简单神经网络的后向传播（Backpropagration, BP）算法

1. 回顾之前的前向传播(ForwardPropagration, FP)算法

FP算法还是很简单的，说白了就是根据前一层神经元的值，先加权然后取sigmoid函数得到后一层神经元的值，写成数学的形式就是:

a^{(1)} = X

z^{(2)} = Θ^{(1)} a^{(1)}

a^{(2)} = g (z^{(2)})

z^{(3)} = Θ^{(2)} a^{(2)}

a^{(3)} = g (z^{(3)})

z^{(4)} = Θ^{(3)} a^{(3)}

a^{(4)} = g (z^{(4)})

2. 回顾神经网络的代价函数(不含regularization项)

3. 一个简单神经网络的BP推导过程

BP算法解决了什么问题？我们已经有了代价函数

下面我们从一个简单的例子入手考虑如何从数学上计算代价函数的梯度，考虑如下简单的神经网络（为方便起见，途中已经给出了前向传播（FP）的计算过程），该神经网络有三层神经元，对应的有两个权重矩阵

技术分享

首先我们先计算第2个权重矩阵的偏导数，即

按照求导的链式法则，我们可以先求

\frac{\partial}{\partial Θ^{(2)}} J (Θ) = \frac{\partial}{\partial z^{(3)}} J (Θ) \times \frac{\partial z^{(3)}}{\partial Θ^{(2)}}

由

\frac{\partial}{\partial Θ^{(2)}} J (Θ) = δ^{(3)} (a^{(2)})^{T}

接下来仅需要计算

\begin{aligned} δ^{(3)} & = \frac{\partial J (Θ)}{z^{(3)}} \\ = (- y) \frac{1}{g (z^{(3)})} g^{^{'}} (z^{(3)}) - (1 - y) \frac{1}{1 - g (z^{(3)})} [1 - g (z^{(3)})]^{'} \\ = - y (1 - g (z^{(3)})) + (1 - y) g (z^{(3)}) \\ = - y + g (z^{(3)}) \\ = - y + a^{(3)} \end{aligned}

至此我们已经得到

\frac{\partial J (Θ)}{\partial Θ^{(2)}} = (a^{(2)})^{T} δ^{(3)}

δ^{(3)} = a^{(3)} - y

接下来我们需要求

根据链式求导法则有

\begin{aligned} \frac{\partial J (Θ)}{\partial Θ^{(1)}} & = \frac{\partial J (Θ)}{\partial z^{(3)}} \frac{\partial z^{(3)}}{\partial a^{(2)}} \frac{\partial a^{(2)}}{\partial Θ^{(1)}} \end{aligned}

我们分别计算等式右边的三项可得:

\frac{\partial J (Θ)}{\partial z^{(3)}} = δ^{(3)}

\frac{\partial z^{(3)}}{\partial a^{(2)}} = (Θ^{(2)})^{T}

\frac{\partial a^{(2)}}{\partial Θ^{(1)}} = \frac{\partial a^{(2)}}{\partial z^{(2)}} \frac{\partial z^{(2)}}{\partial Θ^{(1)}} = g^{'} (z^{(2)}) a^{(1)}

带入后得

\frac{\partial J (Θ)}{\partial Θ^{(1)}} = (a^{(1)})^{T} δ^{(3)} (Θ^{(2)})^{T} g^{'} (z^{(2)})

令

\frac{\partial J (Θ)}{\partial Θ^{(1)}} = (a^{(1)})^{T} δ^{(2)}

δ^{(2)} = δ^{(3)} (Θ^{(2)})^{T} g^{'} (z^{(2)})

把上面的结果放在一起，我们得到

δ^{(3)} = a^{(3)} - y

\frac{\partial J (Θ)}{\partial Θ^{(2)}} = (a^{(2)})^{T} δ^{(3)}

δ^{(2)} = δ^{(3)} (Θ^{(2)})^{T} g^{'} (z^{(2)})

\frac{\partial J (Θ)}{\partial Θ^{(1)}} = (a^{(1)})^{T} δ^{(2)}

观察上面的四个等式，我们发现

偏导数可以由当前层神经元向量
当前层的误差向量

所以可以从后往前逐层计算误差向量（这就是后向传播的来源），然后通过简单的乘法运算得到代价函数对每一层权重矩阵的偏导数。到这里算是终于明白为什么要计算误差向量，以及为什么误差向量之间有递归关系了。尽管这里的神经网络十分简单，推导过程也不是十分严谨，但是通过这个简单的例子，基本能够理解后向传播算法的工作原理了。

严谨的后向传播算法（计算梯度）

假设我们有

初始化：设置

For i = 1 : m

设置
通过前向传播算法（FP）计算对各层的预测值
计算最后一层的误差向量
更新

end // for

计算梯度:

D_{i j}^{(l)} = \frac{1}{m} Δ_{i j}^{(l)}, j = 0

D_{i j}^{(l)} = \frac{1}{m} Δ_{i j}^{(l)} + \frac{λ}{m} Θ_{i j}^{(l)}, j \neq 0

\frac{\partial J (Θ)}{\partial Θ^{(l)}} = D^{(l)}

BP实际运用中的技巧

1. 将参数展开成向量

对于四层三个权重矩阵参数

1	`thetaVec = [Theta1(:); Theta2(:); Theta3(:)];`

2. 梯度检查

为了保证梯度计算的正确性，可以用数值解进行检查，根据导数的定义

\frac{d J (θ)}{d θ} \approx \frac{J (θ + ϵ) - J (θ - ϵ)}{2 ϵ}

Matlab Code 如下

for i = 1 : n

thetaPlus = theta;

thetaPlus(i) = thetaPlus(i) + EPS;

thetaMinus = theta;

thetaMinus(i) = thetaMinus(i) - EPS;

gradApprox(i) = (J(thetaPlus) - J(thetaMinus)) / (2 * EPS);

end

最后检查 gradApprox 是否约等于之前计算的梯度值即可。需要注意的是：因为近似的梯度计算代价很大，在梯度检查后记得关闭梯度检查的代码。

3. 随机初始化

初始权重矩阵的初始化应该打破对称性 (symmetry breaking)，避免使用全零矩阵进行初始化。可以采用随机数进行初始化，即

如何训练一个神经网络

随机初始化权重矩阵
利用前向传播算法（FP）计算模型预测值
计算代价函数
利用后向传播算法（BP）计算代价函数的梯度
利用数值算法进行梯度检查(gradient checking)，确保正确后关闭梯度检查
利用梯度下降（或者其他优化算法）求得最优参数

附:一个简短的后向传播教学视频

参考文献

[1] Andrew Ng Coursera 公开课第五周

[2] Derivation of Backpropagation. http://web.cs.swarthmore.edu/~meeden/cs81/s10/BackPropDeriv.pdf

[3] Wikipedia: Backpropagation. https://en.wikipedia.org/wiki/Backpropagation

[4] How the backpropagation algorithm works. http://neuralnetworksanddeeplearning.com/chap2.html

[5] 神经网络和反向传播算法推导. http://www.mamicode.com/info-detail-671452.html

机器学习之反向传播算法

声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉：投诉/举报工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。

联系
我们

首页 > 代码库 > 机器学习之反向传播算法