背景

反向传播(Backpropagation)是训练神经网络最通用的方法之中的一个，网上有很多文章尝试解释反向传播是如何工作的，可是非常少有包括真实数字的样例，这篇博文尝试通过离散的数据解释它是如何工作的。

Python实现的反向传播

你能使用Python来实现反向传播，我以前在this Github repo上实现了反向传播算法。

反向传播的可视化

显示神经网络学习时相互作用的可视化，检查我的Neural Network visualization。

另外的资源

假设你发现这个教程对你实用而且想继续学习神经网络以及它的应用。我强烈建议你看Adrian Rosebrock优秀的教程 Getting Started with Deep Learning and Python。

概述

对于这个教程。我们将使用2个输入神经元、2个隐含层神经元以及2个输出层神经元组成一个神经网络，另外，隐含层和输出层神经元各包括一个偏差。

这是基本结构：

目的让神经网络工作，我们对权重、偏差和训练的输入/输出设置一个初始值：

反向传播的目的是优化权重。以便于让神经网络学习如何正确的把随意的输入映射到输出中。

这篇教程的剩余部分我们将要和单一的训练集工作：输入0.05和0.10，我们想要神经网络输出0.01和0.99。

前向反馈

为了開始，当前给定权重和偏差以及输入值0.05和0.10，神经网络预測结果是什么，我们须要把输入值向前传给网络。

我们知道所有的输入值传到每一个隐含层神经元中。使用激活函数挤压所有的输入值(在这里。我们使用logistic函数)，对输出层神经元反复这一过程。

计算h1<script type="math/tex" id="MathJax-Element-167">h_1</script>的输入：

然后我们利用logistic函数把neth1<script type="math/tex" id="MathJax-Element-168">net_{h1}</script>挤压到h1<script type="math/tex" id="MathJax-Element-169">h_1</script>的输出：

对h2<script type="math/tex" id="MathJax-Element-170">h_2</script>进行同样的操作：
outh2=0.596884378<script type="math/tex" id="MathJax-Element-171">out_{h2} = 0.596884378</script>

对输出层神经元反复操作，使用隐含层神经元的输出作为输出层神经元的输入。

这是o1<script type="math/tex" id="MathJax-Element-172">o_1</script>的输出：

对o2<script type="math/tex" id="MathJax-Element-173">o_2</script>进行同样操作：
outo2=0.772928465<script type="math/tex" id="MathJax-Element-174">out_{o2} = 0.772928465</script>

计算总体误差

利用平方和误差，我们能计算每一个输出层神经元的误差：

比如，目标输出o1<script type="math/tex" id="MathJax-Element-9">o_1</script>是0.01，可是神经网络输出是0.75136507，因此误差是：

对o2<script type="math/tex" id="MathJax-Element-10">o_2</script>反复这个过程：
Eo2=0.023560026<script type="math/tex" id="MathJax-Element-11">E_{o2} = 0.023560026</script>

神经网络总体误差：

反向传播

反向传播的目的是更新网络中每一个权重。以便他们真实的输出值是接近目标输出，从而最小化输出层神经元的误差。

输出层

考虑w5<script type="math/tex" id="MathJax-Element-12">w_5</script>。我们想要知道w5<script type="math/tex" id="MathJax-Element-13">w_5</script>如何影响总体误差，即αEtotalαw5<script type="math/tex" id="MathJax-Element-14">\dfrac{{\alpha}E_{total} {}}{\alpha{w_5}}</script>

应用链式规则：

可视化我们正在做的：

我们须要理解这个公式的每一步。

首先，output如何改变总体误差？

下一步。net input如何改变o1<script type="math/tex" id="MathJax-Element-15">o_1</script>输出？
logistic函数的偏导数是输出乘以1减输出：

最后，w5<script type="math/tex" id="MathJax-Element-16">w_5</script>如何改变o1<script type="math/tex" id="MathJax-Element-17">o_1</script>的net input？

把它们结合起来：

你经常能看到delta rule的结合形式：

我们利用αEtotalαouto1<script type="math/tex" id="MathJax-Element-18">\dfrac{{\alpha}E_{total} {}}{\alpha{out_{o1}}}</script>和αouto1αneto1<script type="math/tex" id="MathJax-Element-19">\dfrac{{\alpha}out_{o1} {}}{\alpha{net_{o1}}}</script>来重写αEtotalαneto1<script type="math/tex" id="MathJax-Element-20">\dfrac{{\alpha}E_{total} {}}{\alpha{net_{o1}}}</script>，我们使用这个又一次上面的表达式：

因此：

为了降低误差，我们从当前权重减去这个值(乘以一个学习率，设置成0.5)：

我们能反复这个过程得到新的权重w6<script type="math/tex" id="MathJax-Element-21">w_6</script>，w7<script type="math/tex" id="MathJax-Element-22">w_7</script>和w8<script type="math/tex" id="MathJax-Element-23">w_8</script>：

当我们继续以下的反向传输算法时，我们使用初始权重，而不是更新过的权重。

隐含层

下一步，我们将继续向后计算w1<script type="math/tex" id="MathJax-Element-82">w_1</script>。w2<script type="math/tex" id="MathJax-Element-83">w_2</script>，w3<script type="math/tex" id="MathJax-Element-84">w_3</script>和w4<script type="math/tex" id="MathJax-Element-85">w_4</script>新值，这是我们须要理解的：

可视化：

我们将要对隐含层神经元使用类似的过程。可是略微不同的是。每一个隐含层神经元的输出贡献到多个输出层神经元中。我们知道outh1<script type="math/tex" id="MathJax-Element-86">out_{h1}</script>影响outo1<script type="math/tex" id="MathJax-Element-87">out_{o1}</script>和outo2<script type="math/tex" id="MathJax-Element-88">out_{o2}</script>，因此αEtotalαouth1<script type="math/tex" id="MathJax-Element-89">\dfrac{{\alpha}E_{total} {}}{\alpha{out_{h1}}}</script>须要考虑两个输出层神经元的影响：

αEtotalαouth1=αEo1αouth1+αEo2αouth1<script type="math/tex" id="MathJax-Element-90">\dfrac{{\alpha}E_{total} {}}{\alpha{out_{h1}}} = \dfrac{{\alpha}E_{o1} {}}{\alpha{out_{h1}}} + \dfrac{{\alpha}E_{o2} {}}{\alpha{out_{h1}}}</script>

先计算αEo1αouth1<script type="math/tex" id="MathJax-Element-91">\dfrac{{\alpha}E_{o1} {}}{\alpha{out_{h1}}}</script>:

αEo1αouth1=αEo1αneto1?αneto1αouth1<script type="math/tex" id="MathJax-Element-92">\dfrac{{\alpha}E_{o1} {}}{\alpha{out_{h1}}} = \dfrac{{\alpha}E_{o1} {}}{\alpha{net_{o1}}} * \dfrac{{\alpha}net_{o1} {}}{\alpha{out_{h1}}}</script>

使用稍早前计算的值来计算αEo1αneto1<script type="math/tex" id="MathJax-Element-93">\dfrac{{\alpha}E_{o1} {}}{\alpha{net_{o1}}}</script>：

αEo1αneto1=αEo1αouto1?αouto1αneto1=0.74136507?0.186815602<script type="math/tex" id="MathJax-Element-94">\dfrac{{\alpha}E_{o1} {}}{\alpha{net_{o1}}} = \dfrac{{\alpha}E_{o1} {}}{\alpha{out_{o1}}} * \dfrac{{\alpha}out_{o1} {}}{\alpha{net_{o1}}} = 0.74136507 * 0.186815602</script>

αneto1αouth1<script type="math/tex" id="MathJax-Element-95">\dfrac{{\alpha}net_{o1} {}}{\alpha{out_{h1}}}</script>等于w5<script type="math/tex" id="MathJax-Element-96">w_5</script>:

neto1=w5?outh1+w6?outh2+b2?1<script type="math/tex" id="MathJax-Element-97">net_{o1} = w_5*out_{h1} + w_6 * out_{h2} + b_2 * 1</script>

αneto1αouth1=w5=0.40<script type="math/tex" id="MathJax-Element-98">\dfrac{{\alpha}net_{o1} {}}{\alpha{out_{h1}}} = w_5 = 0.40</script>

合在一起：
αEo1αouth1=αEo1αneto1?αneto1αouth1=0.138498562?0.40=0.055399425<script type="math/tex" id="MathJax-Element-99">\dfrac{{\alpha}E_{o1} {}}{\alpha{out_{h1}}} = \dfrac{{\alpha}E_{o1} {}}{\alpha{net_{o1}}} * \dfrac{{\alpha}net_{o1} {}}{\alpha{out_{h1}}} = 0.138498562 * 0.40 = 0.055399425</script>

对αEo2αouto1<script type="math/tex" id="MathJax-Element-100">\dfrac{{\alpha}E_{o2} {}}{\alpha{out_{o1}}}</script>做同样的处理：

αEo2αouth1=?0.019049119<script type="math/tex" id="MathJax-Element-101">\dfrac{{\alpha}E_{o2} {}}{\alpha{out_{h1}}} = -0.019049119</script>

因此：

如今我们有αEtotalαouth1<script type="math/tex" id="MathJax-Element-102">\dfrac{{\alpha}E_{total} {}}{\alpha{out_{h1}}}</script>，我们还须要计算αouth1αneth1<script type="math/tex" id="MathJax-Element-103">\dfrac{{\alpha}out_{h1} {}}{\alpha{net_{h1}}}</script>，然后对每一个权重计算αneth1αw<script type="math/tex" id="MathJax-Element-104">\dfrac{{\alpha}net_{h1} {}}{\alpha{w}}</script>：

我们计算h1<script type="math/tex" id="MathJax-Element-105">h_1</script>对w1<script type="math/tex" id="MathJax-Element-106">w_1</script>的偏导数：

把它们结合起来：

你也能够例如以下写：

如今我们能更新w1<script type="math/tex" id="MathJax-Element-107">w_1</script>：

对w2<script type="math/tex" id="MathJax-Element-108">w_2</script>。w3<script type="math/tex" id="MathJax-Element-109">w_3</script>和w4<script type="math/tex" id="MathJax-Element-110">w_4</script>反复上面过程：

最后，我们更新所有权重。当我们把输入0.05和0.1向前反馈。神经网络的误差为0.298371109，在一次反向传播后，总体误差降到0.291027924，它看似不多。可是反复10000次之后，误差大幅下降到0.000035085，在这之后，我们把输入0.05和0.1向前反馈，那么输出的2个神经元生成0.015912196(vs 目标0.01)和0.984065734(vs 目标0.99)。

原文链接：A Step by Step Backpropagation Example