深度学习CNN(二)—— 三大设计哲学 + 池化(三十九)
1. 定位导航
第 38 篇讲了"卷积是什么"——本篇讲"为什么卷积是这样设计"。
CNN 之所以能成功,源于三个深刻的归纳偏置:
- 稀疏交互(Sparse Interactions)—— 每个输出只看局部
- 参数共享(Parameter Sharing)—— 同一组参数处理全图
- 等变表示(Equivariant Representations)—— 平移等变性
加上 CNN 的"另一半":池化——这是本篇要讲透的内容。
2. 哲学一:稀疏交互
2.1 概念
稀疏交互(Sparse Interactions):每个输出只受输入的一小部分影响。
- 全连接:每个输出 = 所有输入的加权和
- 卷积:每个输出 =k 个邻近输入的加权和
2.2 数学定义
设输入
