最大亮点:采用残差连接解决梯度消失和网络退化问题
卷积神经网络依靠堆叠更深的层数能够有很大的性能提升,但是当深度超过一定范围后,会出现梯度消失的问题,网络的性能会迅速恶化。
残差连接结构: 设输入为X,原恒等变换输出为H(X)。当采用残差连接时,X经过堆叠的非线性转换层(可以堆叠多层)后,得到残差F(X),然后将F(X)+X代替原H(X)作为输出。总体来说,残差层没有增加新的参数,不会导致计算量的增大。同时,依然能够采用反向传播的方法求梯度。注:F(X)与X的维度一致才能相加,故而提出两种方法增加维度(1)填充0增加维度(2)1*1Conv增加维度。