首页 > 代码库 > 漫谈机器学习经典算法—人工神经网络

漫谈机器学习经典算法—人工神经网络

更新:文章迁移到了这里。http://lanbing510.info/2014/11/07/Neural-Network.html,有对应的PPT链接。

注:整理自向世明老师的PPT

看不到图片的同学能够直接打开链接:https://app.yinxiang.com/shard/s31/sh/61392246-7de4-40da-b2fb-ccfd4f087242/259205da4220fae3


内容提要

1 发展历史
2 前馈网络(单层感知器,多层感知器。径向基函数网络RBF)
3 反馈网络(Hopfield网络。联想存储网络,SOM。Boltzman及受限的玻尔兹曼机RBM,DBN,CNN)


发展历史

技术分享





单层感知器

1 基本模型
技术分享
技术分享

content=#" style="">

content=#" style="">


2 假设激励函数是线性的话。可用最小二乘直接计算
技术分享

content=#" style="">

3 假设激励函数是sifmoid function,可迭代更新(一次性或者逐样本更新)
技术分享

content=#" style="">

上式仅仅做了简单的求导展开。非常easy推导

技术分享




多层感知器

1 基本模型
技术分享

技术分享

2 举例(含有一个隐含层的多层感知器MLP)

模型:
技术分享

content=#" style="">


y=h(v)=h(h(u))

求解:
技术分享

content=#" style="">

这里怎么转换到6k(xi)的?


然后分别对两个层的权值求导:
技术分享

content=#" style="">


然后更新就可以,反向传播(BP)
技术分享


技术分享


3 经验
技术分享

content=#" style="">

4 优缺点
技术分享
技术分享

content=#" style="">




RBF神经网络

1 模型
技术分享

content=#" style="">

2 求解
技术分享

3 长处和视角
技术分享

content=#" style="">

技术分享

content=#" style="">

content=#" style="">






深度学习简单介绍

1 前向神经网络
技术分享

content=#" style="">


2 发展历程
技术分享

content=#" style="">

content=#" style="">

3 总体一览
技术分享

4 一些值得关注
学术
技术分享
工业
技术分享

content=#" style="">








Belief Network & Hopfield Network & Boltzman机 & RBM 结构一瞥

1 Belief Network
技术分享

content=#" style="">

2 Hopfield Network
技术分享
3 Boltzman机
技术分享
4 RBM 受限的玻尔兹曼机
技术分享





RBM

1 模型
技术分享

content=#" style="">


技术分享

content=#" style="">

content=#" style="">


技术分享

技术分享

content=#" style="">

content=#" style="">

利用上图中公式。能够得到
技术分享

content=#" style="">



2 求解 CD算法
技术分享

content=#" style="">


技术分享
技术分享

content=#" style="">


技术分享
技术分享

技术分享

content=#" style="">

技术分享

content=#" style="">

技术分享

技术分享





DBN

1 模型
技术分享

content=#" style="">

content=#" style="">

2 训练
面向特征提取
技术分享

content=#" style="">

content=#" style="">

面向分类
技术分享

content=#" style="">

content=#" style="">







DBM

模型
技术分享



CNN

1 模型
技术分享

2 训练
技术分享

技术分享
技术分享



參考文献

技术分享

content=#" style="">

技术分享

content=#" style="">


漫谈机器学习经典算法—人工神经网络