首页 > 代码库 > 多层感知机,非权值共享型卷积神经网络,权值共享型卷积神经网络之间的关系

多层感知机,非权值共享型卷积神经网络,权值共享型卷积神经网络之间的关系

前言:最近学习深度学习,有感写一点总结。


我们常常所说的神经网络,一般是指原始的多层感知机,简称MLP,它是在原始感知机堆叠多层而成的,MLP完全由全连接层组成(当然也有激活函数),即Caffe里的IP层。MLP的最大的缺点在于参数众多,比如说我们的网络层为1000--1000--500--20,那么它的总的参数为:1000*1000+1000*500+500*20. 参数过多不好训练,容易产生过拟合现象。


卷积神经网络,即CNN,它大大减少的网络参数的数目,通过1. 权值共享 2. 局部连接 来完成,为了增强网络性能,也需要增加全连接层(跟MLP一样)。CNN的大部分参数为卷积核参数以及后面的全链接层参数。当然,这里CNN也要通过下采样来减少参数和提取不同尺度的特征。权值共享型卷积神经网络适合用来做分类。


非权值共享卷积神经网络,跟CNN最大的区别在于它在每个位置上的卷积核都是不一样的,相对与CNN来说,参数的数目也就大大的增加了,但是相对于MLP来说,它的参数还是减少了不少。非权值共享型卷积神经网络的参数更多的是卷积核参数,因为它的卷积核数量大大增加了。



以上就是我总结的三者之间的关系。有错误的地方还请指正。



多层感知机,非权值共享型卷积神经网络,权值共享型卷积神经网络之间的关系