《CVPR2025-DEIM创新改进项目实战：从原理到部署的深度学习优化全攻略》016、DEIM在图像分类任务上的改进——ResNet-DEIM与ViT-DEIM

CVPR2025-DEIM创新改进项目实战：016 DEIM在图像分类任务上的改进——ResNet-DEIM与ViT-DEIM

一、从一次诡异的梯度爆炸说起

去年秋天调一个ViT-B/16在ImageNet-1K上的分类任务，loss曲线在第12个epoch突然像吃了兴奋剂一样冲上云霄。检查了学习率调度、数据增强、权重初始化，甚至怀疑是DDP通信出了问题。最后用torch.autograd.set_detect_anomaly(True)定位到——某个Transformer Block的LayerNorm输出在DEIM模块插入后，数值范围从[-1,1]变成了[-50,50]。

这个坑让我意识到：DEIM（Dynamic Efficient Inference Module）虽然能在推理时动态跳过冗余计算，但直接往ResNet或ViT里硬塞，轻则精度掉点，重则训练崩溃。今天这篇笔记，就记录我踩过的这些坑和最终落地的方案。

二、DEIM的核心机制回顾（只讲关键点）

DEIM本质上是一个轻量级决策网络，输入当前层的特征图，输出一个0/1门控信号，决定是否跳过后续计算。但这里有个容易被忽略的细节：门控信号是离散的，而训练需要梯度。

我最初的做法是直接用Gumbel-Softmax做松弛，结果发现训练时门控几乎全开（全1），推理时又全关（全0）。后来改用Straight-Through Estimator（STE）配合温度退火，才让门控学会根据特征复杂度动态调整。