[深度学习网络从入门到入土] 拓展 - Inception

[深度学习网络从入门到入土] 拓展 - Inception

个人导航

知乎：https://www.zhihu.com/people/byzh_rc

CSDN：https://blog.csdn.net/qq_54636039

注：本文仅对所述内容做了框架性引导，具体细节可查询其余相关资料or源码

参考文章：各方资料

Inception v1

论文: Going Deeper with Convolutions.

Inception v1源于GoogLeNet
同一层里“多尺度”并行提特征，而不是只靠堆深/堆宽

1. 结构

经典 4 路并行：

• 1×1（线性组合/提非线性）
• 1×1 → 3×3
• 1×1 → 5×5
• 3×3 maxpool → 1×1

最后Concat(通道拼接)

关键：大核(3×3/5×5)前先用 1×1降维，否则计算炸

Inception v2

论文: Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift.

Inception v2把 BN 系统性引入 Inception 的版本，常被叫BN-Inception

1. 核心改动 A：BatchNorm 全面使用

BN 带来：

• 更高学习率、更快收敛，同时有一定正则化效果
• 甚至在一些设置下可减弱对 Dropout 的依赖

2. 核心改动 B：更“便宜”的大卷积（5×5 → 3×3 + 3×3）

降计算同时保持感受野

在后续 v3 被系统化成“卷积分解/因式分解”的设计哲学

Inception v3

论文: Rethinking the Inception Architecture for Computer Vision.

把“省算力”做成一套系统规则，而不是局部小修小补

1. 因式分解卷积（Factorized Convolutions）

(a) 5×5 → 3×3 + 3×3（省算力+更多非线性）

(b) n×n → 1×n + n×1（非对称卷积）

例如3×3 → 1×3 + 3×1，或更大的7×7 → 1×7 + 7×1
这通常能显著减少计算，同时保持等效感受野

© 大 7×7 的进一步处理

论文明确提到“factorized 7×7”等变体设置

2. “Grid Size Reduction” 变得更讲究

v3 里下采样（特征图尺寸变小）不再只是粗暴 pooling/stride，

而是设计专门的 reduction block，避免信息瓶颈（同时控制计算量）

3. 正则与训练技巧更“配方化”

v3 论文讨论了多种训练设定/技巧（比如 label smoothing、BN-auxiliary）

Inception v4 & Inception-ResNet

论文: Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning.

1. Inception-v4：把 v3 的思想“模块标准化”

用更统一的Stem / Inception-A / Inception-B / Inception-C / Reduction-A / Reduction-B这套积木来搭

目标：更清晰、更可复现、更好调参

2. Inception-ResNet：把 Inception 模块放进残差框架

残差连接能明显加速 Inception 网络训练，并且在相近计算量下有时还能带来小幅收益

后续

到了 v4 后, Inception 已经发展到极限复杂度

且 ResNet 出现后，主流发展方向变成：

• 更深（50/101/152层）
• 更简单
• 更容易扩展

而 Inception：(工程上不如 ResNet 好扩展)

• 结构复杂
• 分支多
• 手工设计感强

AutoML 时代来了 -> 让算法自己搜索结构

Inception 属于人类精心设计的多分支结构