深度在神经网络中有及其重要的作用，但越深的网络越难训练。

随着深度的增加，从训练一开始，梯度消失或梯度爆炸就会阻止收敛，normalized initialization和intermediate normalization能够解决这个问题。但依旧会出现degradation problem：随着深度的增加，准确率会达到饱和，再持续增加深度则会导致准确率下降。这个问题不是由于过拟合造成的，因为训练误差也会随着深度增加而增大。

假定输入是x，期望输出是H（x），如果我们直接把输入x传到输出作为初始结果，那么我们需要学习的目标就是F（X）=H（x）-x。Resnet相当于将学习目标改变了，不再是学习一个完整的输出H（x），而是H（x）-x，即残差。

Shortcut connections：跳过一层或更多层。在论文中，short connection执行identity mapping，把之前层的outputs加到这些stacked layers的outputs，这既不会增加额外的参数也不会增加计算的复杂度。

论文中将plain network和residual network做比较，residual只是比plain多了一个shortcut connection。residual network解决了degradation。

Deep Residual Learning for Image Recognition(残差网络)