residual learning（残差学习）

残差学习由He等人于2015年提出，核心是残差块：输出为F(x)+x，其中F(x)是残差映射，x是恒等映射。传统深层网络随深度增加会出现退化，即训练误差上升。残差学习使网络只需学习残差，恒等映射通过跳跃连接直接传递，缓解梯度消失，使训练数百甚至上千层网络成为可能。ResNet在ImageNet上取得冠军，成为计算机视觉基础架构，并推广到NLP等领域。