从CNN到Transformer：LeViT和LocalViT是如何把‘局部感知’这个CNN绝活‘偷’过来的？

从CNN到Transformer：LeViT和LocalViT如何实现局部感知的跨架构融合

视觉Transformer（ViT）的崛起彻底改变了计算机视觉领域的格局，但纯Transformer架构在图像处理中面临着一个根本性挑战——缺乏CNN与生俱来的局部感知能力。本文将深入解析LeViT和LocalViT两大创新模型如何通过不同技术路径，成功将CNN的"局部性"这一核心优势融入Transformer框架。

1. 为什么Transformer需要局部感知？

当ViT首次将纯Transformer架构引入计算机视觉领域时，研究者们很快发现了一个关键问题：与经过数十年优化的CNN相比，ViT在中小规模数据集上的表现往往不尽如人意。这背后的核心原因在于归纳偏置（Inductive Bias）的差异。

CNN的固有特性包括：

• 局部连接性：每个神经元只与感受野内的像素连接
• 平移等变性：滤波器权重在空间上共享
• 层级特征提取：浅层捕捉边缘/纹理，深层识别语义概念

相比之下，Transformer的self-attention机制具有：

• 全局连接性：每个token可以与所有其他token交互
• 动态权重分配：注意力权重根据内容动态计算
• 位置无关性：需要显式的位置编码

关键洞察：CNN的局部性不是缺陷而是优势，它为视觉任务提供了关键的先验知识，使模型更容易从有限数据中学习有效的特征表示。

下表对比了三种架构的特性差异：

LeViT和LocalViT的突破性在于，它们不是简单地将CNN和Transformer模块堆叠，而是从架构设计层面实现了两种范式的有机融合。

2. LeViT：CNN与Transformer的深度杂交

LeViT（Leaked Vision Transformer）代表了一种大胆的架构创新，其核心思想是将CNN的特征提取机制"泄露"到Transformer流程中。这种混合不是简单的模块拼接，而是从底层重新设计了视觉处理流水线。

2.1 火箭结构：高效的特征金字塔

LeViT最显著的特点是它的"火箭"形状架构，通过四个关键设计实现高效特征提取：

1. Sharp Patch Embedding：

   # 典型的LeViT嵌入层配置 stem = nn.Sequential( nn.Conv2d(3, 32, 3, stride=2, padding=1), # 112x112 nn.BatchNorm2d(32), nn.Hardswish(), nn.Conv2d(32, 64, 3, stride=2, padding=1), # 56x56 nn.BatchNorm2d(64), nn.Hardswish(), nn.Conv2d(64, 128, 3, stride=2, padding=1), # 28x28 nn.BatchNorm2d(128), nn.Hardswish(), nn.Conv2d(128, 256, 3, stride=2, padding=1) # 14x14 )

   仅用4层卷积就将224×224输入下采样到14×14，比ResNet-18的10层更高效。

2. 多分辨率注意力块：

   • 特征图从14×14 → 7×7 → 4×4逐步缩小
   • 每个阶段使用不同配置的注意力头
   • 采用BN而非LN，实现硬件友好的推理优化

3. 注意力偏置：

   # LeViT中的注意力计算加入可学习的位置偏置 attention_scores = (q @ k.transpose(-2, -1)) * self.scale + self.bias

   这种设计比传统位置编码更灵活，能捕捉相对位置关系。

4. Key维度缩减：

   • 将Key的维度缩减为Value的1/4
   • 显著降低QK^T矩阵乘法的计算量

2.2 实际性能优势

LeViT-256的实测性能表现：

特别值得注意的是，LeViT在保持与DeiT相当精度的同时，CPU推理速度提升37%，这主要得益于：

• CNN风格的快速特征提取
• BN带来的推理时计算融合
• 渐进式下采样降低注意力计算成本

3. LocalViT：前馈网络中的局部性革命

与LeViT的全栈式改造不同，LocalViT选择了一个精妙的切入点——改造Transformer的前馈网络(FFN)。这种看似微小的调整却带来了显著的性能提升。

3.1 深度卷积：FFN的隐藏力量

传统Transformer的FFN由两个全连接层组成：

输入 → FC(扩展4倍) → GELU → FC(压缩回原维度)

LocalViT的创新在于在FFN中引入深度可分离卷积：

输入 → FC(扩展) → 深度卷积 → GELU → FC(压缩)

这种设计的理论基础在于：

• 反向残差块：MobileNetV2证明深度卷积在扩展特征空间后效果更佳
• 局部上下文聚合：3×3卷积能有效捕捉邻域像素关系
• 参数效率：深度卷积仅增加少量参数(约3%)

3.2 实现细节与变体

LocalViT提供了多种局部性增强方案：

1. 标准版：

   class LocalFeedForward(nn.Module): def __init__(self, dim, expansion=4): super().__init__() hidden_dim = dim * expansion self.net = nn.Sequential( nn.Conv2d(dim, hidden_dim, 1), nn.Conv2d(hidden_dim, hidden_dim, 3, padding=1, groups=hidden_dim), nn.GELU(), nn.Conv2d(hidden_dim, dim, 1) ) def forward(self, x): B, L, C = x.shape H = W = int(L**0.5) x = x.transpose(1, 2).view(B, C, H, W) x = self.net(x) x = x.flatten(2).transpose(1, 2) return x

2. 扩展比选择：

   • 实验表明扩展比为3时性价比最高
   • 过大扩展比会导致收益递减

3. 激活函数对比：

   激活函数	Top-1准确率	训练稳定性
   GELU	79.2%	高
   ReLU	78.8%	中
   Swish	79.1%	高

3.3 跨架构适用性

LocalViT的惊人之处在于其广泛的适用性。在多个ViT变体上的改进效果：

这种一致的性能提升证实了局部性机制是ViT系列模型的通用需求，而非特定架构的优化。

4. 局部性机制的未来演进

LeViT和LocalViT的成功启发了一系列后续研究，局部性增强已成为ViT改进的重要方向。当前主要有三条技术路径：

1. 显式局部注意力：

   • Swin Transformer的窗口注意力
   • Twins模型的局部-全局交替注意力

2. 隐式局部建模：

   • ConvNext中的深度卷积
   • MobileViT的混合式块设计

3. 动态局部适应：

   • DynamicViT的可变注意力范围
   • Focal Transformer的多粒度聚焦

在实际项目中选择方案时，需要考虑：

def select_architecture(requirements): if requirements['latency'] < 50ms: # 极低延迟场景 return "LeViT" elif requirements['accuracy'] > 83%: # 高精度需求 return "LocalViT+Swin" elif requirements['params'] < 10M: # 小模型需求 return "MobileViT" else: # 平衡型需求 return "ConvNext"

从工程角度看，成功的局部性融合需要平衡：

• 计算效率：保持O(n)或O(n log n)复杂度
• 硬件友好性：优化内存访问模式
• 训练稳定性：确保深度网络收敛
• 部署灵活性：支持多种推理后端

在图像分类之外的视觉任务中，局部性机制同样展现出巨大价值。例如在目标检测中，LocalViT改进的PVT作为Backbone可使RetinaNet在COCO上的AP提高2.3；在语义分割中，引入局部性的Swin Transformer在ADE20K上达到54.3 mIoU，超越纯CNN方案3.5个点。