首页 > 代码库 > 深度学习的应用前提（个人见解）
深度学习的应用前提（个人见解）
仅仅是本人个人理解，可以转载，不供参考。。。
————————————————————————
Hinton大神在Science上发的文章《Reducing the Dimensionality ofData with Neural Networks》已经明确说明了——深度学习的本质是一种降维！
可以从降维的角度来探讨深度学习的应用前提：稀疏性！倘若信号或图像完全由噪声组成（或者信噪比很低，如EEG经常被噪声所掩盖），无论用什么方法降维都必定丢失一部分信息（特别是在低信噪比信号中，经常是丢了西瓜拣芝麻，无标签学习只学到噪声，到bp阶段才提取出一部分有用信号）。No free lunch！DL也不是万能的。
再从稀疏性出发，发现数据平滑性很大程度决定了稀疏性。数据在时间、空间的平滑性说明存在冗余信息，这意味着通过某种映射可以得到数据的稀疏性表示（如正弦波经过傅里叶变换映射到频域，固定频率的正弦波只需要一个频率和相位即可表示出原始信号）。总之，使用DL是有代价的（一定存在一部分信息丢失），稀疏性的强弱决定DL压缩数据的大小。
总的概括可以发现，应用深度学习方法的过程如下：
深度学习<==>降维<==稀疏性<==平滑性
其中平滑性到稀疏性的映射是最为关键的步骤，。。。这样就从DL这个打坑掉进另一个大坑中。。。核函数什么的不懂了、小波也学的很渣。
常常发现对同一个问题用同一个方法，大神能做到99%，我只能做90%多一点。究其原因就是方法和问题的结合，结合的好坏一般是在preprocessing上！！！
由平滑性到稀疏性转换就是一个preprocessing。对于空间平滑的数据，如手写数据图像（空间是平滑的，只有边缘突变），简单二值化处理再拉成一个一维向量就发现它是稀疏的；对于时间平滑的信号，常常可以映射到频域中去，将较小的幅值取零，稀疏了。Done！套公式把DL方法挨个试一遍，调得一手好参数！Paper在呼唤！
来自为知笔记(Wiz)
声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉： 投诉/举报 工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。