前馈神经网络-反向传播(Back Propagation)公式推导走读

2024-09-15 00:52:57 233人阅读

构造：输入神经元个数等于输入向量维度，输出神经元个数等于输出向量维度。（x1=(1,2,3),则需要三个输入神经元）

一前向后传播

隐层：

输出层：

一般化

，向量表示

二反向传播

1计算梯度delta：均方误差，利用了sigmoid函数导数的有趣性。

输出层梯度： 技术分享

--> eg.

隐层梯度：

--> eg.

2更新权重：

eg输出层：

eg隐层：

备注反向传播的公式推导

0目标函数：

1梯度下降法优化目标函数技术分享

，怎么计算出误差对于每个权重的偏导数呢？

2netj是第j个神经元的加权输入作为传导，链式求导法则：技术分享

,。

区分输出层和隐藏层两种情况：

3.1 输出层：借用yj作为传导，netj和Ed都是与yj有关的函数，链式求导法则：技术分享

第一项：

第二项：

带入

，所以输出层梯度： 技术分享

3.2隐层：借用节点的所有直接下游节点的集合Downstream(j)，链式法则：aj

带入求得梯度

备注：

激活函数： sigmoid函数是一个非线性函数，导数有趣，可用自身表示。

参考

https://www.zybuluo.com/hanbingtao/note/476663

前馈神经网络-反向传播(Back Propagation)公式推导走读

声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉：投诉/举报工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。

联系
我们