残差网络（ResNet）百科全书让深度学习真正“深“起来

一、开篇：一行代码改变深度学习

2015 年 12 月 10 日。

ImageNet 大规模视觉识别挑战赛（ILSVRC）的结果在 CVPR 上公布。微软亚洲研究院（MSRA）的He Kaiming、Zhang Xiangyu、Ren Shaoqing、Sun Jian团队提交的模型让全场震惊：

ResNet-152
ImageNet top-5 错误率：3.57%
上一年冠军 GoogLeNet 是 6.7%——直接腰斩
而人类水平约为 5.1%——ResNet 第一次超越人类

更令人震惊的是这个模型的深度：152 层。要知道：

• 1989 LeNet：5 层
• 2012 AlexNet（深度学习革命起点）：8 层
• 2014 VGG-19：19 层
• 2015 ResNet-152：152 层——比 VGG深 8 倍

但 ResNet 真正的贡献不是"达到了 152 层"——而是让任意