首先我们从宏观的角度理解一下这篇论文做了什么。这篇论文引入了一个“Dense Block”，该模块的的组成如下图所示（要点就是，Input输入到后续的每一层，每一层都输入到后续层）

 在实际应用的时候，如果我们将“Dense Block”作为一个building block，那么可以按照如下的方式构建深度网络结构（是不是一下子就理解了这篇文章做了什么？）。

 下面我们来分析一下这个“Dense Block”的一些特点

• “Dense Block”内（包括“Dense Block”的输入）每一层输出feature map的数量是不是有限制呢？

为此，作者引入了一个参数k（growth rate），它表示“Dense Block”内每一层输出feature map的个数。如果“Dense Block”的层数较多、k值较大，那么“Dense Block”最后一层的输入个数是很大的，因此k取值不应该太大。

• 为什么要将Figure 2中“Dense Block”间隔开呢？

在深度网络结构的设计中，pooling layer是一个很重要的因素，作者想用pooling layer。在“Dense Block”内，第L层来自它前面所有层的输入是以“concatenate”的形式组成一个single tensor的，这样就要求它前面所有层具有相同的feature map sizes。这和pooling layer改变feature map sizes的特点相矛盾。作者做了一个折中，以pooling layer为界分割“Dense Blcok”，如Figure 2所示，这样就能够满足上述两个需求了。“Dense Block”之间的层在论文中一个专门的名字“transition layer”。

• “transition layer”的设计

这一层的设计比较常规，“We use 1x1 convolution followed by 2x2 average pooling as transition layers between two contiguous dense blocks”.

• “Dense Block”的设计

该Block输出个数为k，但是输入个数很多，作者采取bottleneck layers的方式减少特定层输入的个数，具体就是BN-Relu-Conv（1x1）-BN-Relu-Conv(3x3)，1x1的卷积核将输入的个数限制在4k个feature maps上。

由Figure 1可以看出，“transition layer”的输入个数是最多的。假如“Dense Block”一共有m个feature maps，那么我们将transition layer输出feature maps的个数限制在θm，θ属于(0,1]，在实验中作者用的是0.5。

原则上，在上述解释的基础上，去搭建一个网络结构应该不难了。下面给出作者在Imagenet上的网络结构。

 最后，我们来分析一下“Dense Block”的优点

• feature reuse

这个很好理解，第L层将它前面所有层的feature maps都利用到了，没有“浪费宝贵的feature maps”。

• 能够缓解梯度消失问题

以输入Input为例，Input通过一个或者几个“transition layer”连接到了loss函数，等效为“在Input与Loss进行了bypass”有利于Loss函数对低层的监督。仔细分析就会发现类似于上述的通路是存在很多的，它们的区别就是“有的通路距离Loss近，有的远”。这样会导致受Loss函数监督程度的差异。

• 更好的参数利用率

就是用更少的参数达到同类模型的准确率，或者同样多参数达到更高的准确率。之所以会出现这种现象，是因为作者引入的“growth rate”这一个概念，以及对“Dense Block”结构巧妙的设计。

总结：

• 这篇paper充分利用了“bypass”以及“feature maps reuse”。
• 如果直接应用上述概念，会出现了一些问题，作者采取巧妙的方式进行了处理（如引入“transition layer”、“growth rate”）。

论文笔记 Densely Connected Convolutional Networks