首页 > 代码库 > 深度学习的应用前提(个人见解)

深度学习的应用前提(个人见解)

       仅仅是本人个人理解,可以转载,不供参考。。。
————————————————————————

       Hinton大神在Science上发的文章《Reducing the Dimensionality ofData with Neural Networks》已经明确说明了——深度学习的本质是一种降维!
         可以从降维的角度来探讨深度学习的应用前提:稀疏性!倘若信号或图像完全由噪声组成(或者信噪比很低,如EEG经常被噪声所掩盖),无论用什么方法降维都必定丢失一部分信息(特别是在低信噪比信号中,经常是丢了西瓜拣芝麻,无标签学习只学到噪声,到bp阶段才提取出一部分有用信号)。No free lunch!DL也不是万能的。
         再从稀疏性出发,发现数据平滑性很大程度决定了稀疏性。数据在时间、空间的平滑性说明存在冗余信息,这意味着通过某种映射可以得到数据的稀疏性表示(如正弦波经过傅里叶变换映射到频域,固定频率的正弦波只需要一个频率和相位即可表示出原始信号)。总之,使用DL是有代价的(一定存在一部分信息丢失),稀疏性的强弱决定DL压缩数据的大小。

        总的概括可以发现,应用深度学习方法的过程如下:
             深度学习<==>降维<==稀疏性<==平滑性
 其中平滑性到稀疏性的映射是最为关键的步骤,。。。这样就从DL这个打坑掉进另一个大坑中。。。核函数什么的不懂了、小波也学的很渣。
        常常发现对同一个问题用同一个方法,大神能做到99%,我只能做90%多一点。究其原因就是方法和问题的结合,结合的好坏一般是在preprocessing上!!!
         由平滑性到稀疏性转换就是一个preprocessing。对于空间平滑的数据,如手写数据图像(空间是平滑的,只有边缘突变),简单二值化处理再拉成一个一维向量就发现它是稀疏的;对于时间平滑的信号,常常可以映射到频域中去,将较小的幅值取零,稀疏了。Done!套公式把DL方法挨个试一遍,调得一手好参数!Paper在呼唤!


来自为知笔记(Wiz)