首页 > 代码库 > [转]LeNet-5结构分析及caffe实现————卷积部分

[转]LeNet-5结构分析及caffe实现————卷积部分

1、lenet-5的结构以及部分原理

2、caffe对于lenet-5的代码结构

 

 技术分享

图一

    图一是整个LeNet-5的结构图,要点有:convolutions、subsampling、full connection、gaussian connection。

要点拆分:

    1、convolution 是卷积操作,对应的概念有卷积核、特征图、权值共享。

 技术分享

图二

    图二表示CNN中卷积操作。对卷积的要点解释:1、红色框内为2*2卷积核。2、蓝色框内为3*4的输入图像。3、绿色框为3*3的特征图。注意:绿框中未包含偏置项。如加入偏置项则每个输出多加上同一个偏置B,此时类似如:aw+bx+ey+fz+B  bw+cx+fy+gz+B等。所谓的权值共享是每个卷积运算使用同一个卷积核,在上图中使用的是同一个卷积核,即共享权值。

   卷积的优势:1、sparse interactions 2、parameter sharing 3、equivariant respections

    sparse interactions————》》图三是效果图。蓝色框中是全连接神经网络,红色框是卷积网络。

 技术分享

图三

卷积相对于全连接是稀疏的。优势:1、参数更少 2、计算量降低。那么效果比较呢?

 技术分享

图四

图四是多层结构的联系图,可知通过增加网络层数,保留全局的特征。

parameter sharing————》》在图二部分已经分析完毕。优势:同样是减少了参数量。

equivariant respections——————》》当输入图像通过平移后,卷积的结果也会平移。

                                  技术分享技术分享

如上所示:数字7从右向左平移,对应红色框里的layer-1也进行了平移。同时注意:单就卷积操作而言,这种等变换在缩放、旋转上是不成立的。

对比:整个CNN操作(包括卷积层以及后面的层),主要用来识别位移、缩放及其他形式扭曲不变性的二维图形。

 

参考:

《Deep Learning》Ian Goodfellow,Yoshua Bengio,AND Aaron Courville
《Gradient-Based Learning Applied to Document Recognition》YANN LECUN, MEMBER, IEEE, LEON BOTTOU, YOSHUA BENGIO, AND PATRICK HAFFNER
http://yann.lecun.com/exdb/lenet/index.html

 
分类: DL

[转]LeNet-5结构分析及caffe实现————卷积部分