1968年，hubel对猫的视觉皮层细胞研究， 提出receptive filed概念，视觉细胞可以分为简单细胞和复杂细胞，分别对感受野的范围不同，在生物学基础上，研究出针对二维图像的卷积神经网络。

传统图像分类：特征提取+特征表达+分类CNN将这些方法集合在一起、

一、卷积神经网络特征

1.局部接受域

感受野宽度，视网膜，m层。m+1层，感受野范围外是没有响应的，

2.权值共享

权值相同的进行共享，进行平移。

二、卷积神经网络结构

典型结构

1.卷积层（Convolution）

图像是一个二维的离散信号，对于图像来说，卷积是一个滤波过程，，卷积函数中的卷积权重不同，对与图像处理的效果也不同，，采用水平梯度卷积核的结果在水平方向上响应最大，。

隐含层由多个特征图构成，隐含层的权重可以表示为目标特征图，元特征图，目标像素水平位置，与目标像素竖直位置的4D张量，

卷积核有BP算法得得，每一个网络层中有多个卷积核。通过卷积操作，神经网络提取不同的输入特征，底层卷积核得到图像中边、线、角、特征，而高层卷积核得到更加复杂的特征。

卷积结束后，还不能分类，卷积的数量巨大，例如128X128像素的图像，卷积核大小是8X8。那么有（128-8+1）^2个卷积核，所以下一层是pool层。

pool层主要累积不同位置的特征统计，例如可以计算图像中某个区域的特征值或者最大值，这样的统计维度远远低于原始特征图像。

2.激活层

激活函数是非线性函数，，非线性激活函数是亿万细胞存在得到可能。

3.分类层

CNN分类中，常见的分类函数就是多项多项逻辑斯蒂回归模型，Softmax回归模型。它是基于概率的分类模型，利用最小化负对数似然函数来优化。

DL学习笔记-CNN 相关知识