首页 > 代码库 > 【转载】深度学习&神经网络 科普及八卦 学习笔记
【转载】深度学习&神经网络 科普及八卦 学习笔记
上一篇文章提到了数据挖掘、机器学习、深度学习的区别：http://www.cnblogs.com/charlesblc/p/6159355.html
深度学习具体的内容可以看这里：
参考了这篇文章：https://zhuanlan.zhihu.com/p/20582907?refer=wangchuan 《王川: 深度学习有多深, 学了究竟有几分? (一)》
笔记：神经网络的研究，因为人工智能的一位大牛Marvin Minsky的不看好，并且出书说明其局限性，而出现二十年的长期低潮。
第二篇：https://zhuanlan.zhihu.com/p/20592962?refer=wangchuan
笔记： 分布式表征 (Distributed Representation), 是神经网络研究的一个核心思想.
它的意思是,当你表达一个概念的时候,不是用单个神经元,一对一地存储定义; 概念和神经元是多对多的关系: 一个概念可以用多个神经元共同定义表达, 同时一个神经元也可以参与多个不同概念的表达.
举个最简单的例子, 一辆 "大白卡车",如果分布式地表达,一个神经元代表大小,一个神经元代表颜色,第三个神经元代表车的类别. 三个神经元同时激活时,就可以准确描述我们要表达的物体.
分布式表征,和传统的 局部表征 (localized representation) 相比,存储效率高很多. 线性增加的神经元数目,可以表达指数级增加的大量不同概念.
分布式表征的另一个优点是,即使局部出现硬件故障,信息的表达不会受到根本性的破坏.
这个理念让 Geoffrey Hinton 顿悟, 使他四十多年来, 一直在神经网络研究的领域里坚持下来没有退缩.
神经网络的一代鼻祖是多伦多大学的Geoffrey Hinton。 Geoffrey Hinton和吴恩达一起在Google搞深度学习 (Google Brain Project).来一张图吧，来自https://www.zhihu.com/question/27177122：
从左至右：
Yann LeCun ：卷积神经网络，参考http://www.leiphone.com/news/201406/deep-learning-yann-lecun-facebook.html
Geoffrey Hinton ：深度学习鼻祖
Yoshua Bengio ：也是深度学习
Andrew Ng ：Hinton的合作伙伴
都是深度学习相关的，也可以看这篇文章：Link《Yann LeCun、Geoffrey Hinton或Yoshua Bengio能得图灵奖吗？》
这几个人还有错综复杂的关系：
在系列里面，能找到全部文章： https://zhuanlan.zhihu.com/wangchuan
他的公众号的文章也挺好的，可以看：Link
【转载】深度学习&神经网络 科普及八卦 学习笔记
声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉： 投诉/举报 工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。