Universally Slimmable Networks and Improved Training Techniques 解读

一、论文基本信息

论文题目：Universally Slimmable Networks and Improved Training Techniques

作者：Jiahui Yu、Thomas Huang

发表会议：ICCV 2019

方法简称：US-Net，Universally Slimmable Network

论文链接：CVF Open Access / arXiv

官方代码：JiahuiYu/slimmable_networks

这篇论文的核心目标是训练一个“宽度可任意调节的单一网络”。普通模型训练完成后宽度固定，静态剪枝后也只能得到一个固定小模型；而 US-Net 希望一个模型在运行时可以根据资源预算选择不同宽度。论文明确提出，US-Net 将原来的 slimmable network 从“只能在预定义宽度集合中切换”扩展到arbitrary width，并提出sandwich rule和inplace distillation来提升训练效果。(arXiv)

这篇论文不是传统意义上的通道剪枝方法。它不会训练完后永久删除某些通道，而是训练一个共享权重的超网络，运行时根据宽度比例截取前若干通道来形成不同子网络。官方代码与模型也由作者开源在JiahuiYu/slimmable_networks。(arXiv)

二、论文要解决的问题

深度模型部署时经常会遇到一个现实问题：不同设备的计算能力差别很大，同一个模型可能要部署到服务器、高端手机、低端移动端、摄像头、嵌入式设备等环境中。如果每一种计算预算都单独训练一个模型，训练、调参、存储和维护成本都会很高。

传统压缩方法通常有两种思路。

一种是静态压缩，例如通道剪枝、filter pruning、低秩分解、量化等。这类方法会得到一个固定模型。问题是：一个固定模型只能对应一个固定计算预算。

另一种是动态推理，例如根据输入样本动态跳过 block 或通道。这类方法可以根据样本难度改变计算量，但通常涉及 gate、policy network、强化学习或动态稀疏卷积，实现复杂度较高。

US-Net 关注的是另一个问题：

能不能只训练一个模型，让它在运行时根据资源预算自由切换宽度？

早期 Slimmable Neural Networks 已经证明，一个网络可以在几个离散宽度之间切换。但它的问题是宽度集合是预先固定的，不能任意选择中间宽度。Slimmable Neural Networks 的核心是训练一个可在多个宽度下运行的共享模型，并使用 switchable batch normalization 解决不同宽度的 BN 统计差异。(arXiv)

US-Net 进一步提出：

不应该只支持几个固定宽度，而应该支持一个范围内的任意宽度。

例如设备预算刚好适合，那么模型就应该可以直接以宽度运行，而不必重新训练一个模型。

三、核心思想

US-Net 的核心思想可以概括为一句话：

把一个宽网络看成由多个窄网络嵌套组成的共享权重模型，运行时只使用前 (k) 个通道，就得到一个对应宽度的子网络。

假设某一层完整宽度有 (n) 个通道，如果运行宽度比例为 (r)，那么实际使用通道数大致为：

当 r=1.0 时，使用完整网络。

当 r=0.5 时，只使用前一半通道。

当 r=0.25时，只使用前四分之一通道。

这种设计的关键在于：所有宽度共享同一套权重。

也就是说，子网络、子网络和子网络不是三个独立模型，而是同一个模型中不同宽度的子结构。小宽度网络使用前面的通道，大宽度网络在小宽度基础上继续增加后面的通道。

论文用部分通道聚合来解释这种嵌套关系。完整输出可以写成：

如果只使用前 (k) 个通道，则输出为：

随着 (k) 增大，会逐渐接近完整输出。因此，更宽的子网络可以看作在更窄子网络的基础上继续补充表达能力。这个视角解释了为什么一个共享权重网络有可能支持连续宽度运行。

这里最需要强调的是：

US-Net 的目标不是得到一个最小模型，而是得到一个可以覆盖多个计算预算的模型族。

四、US-Net 与普通剪枝的区别

US-Net 很容易被误解为一种通道剪枝方法，但它和传统剪枝有明显区别。

传统通道剪枝通常会永久删除一部分通道，得到一个固定结构的小网络。剪枝完成后，所有输入都使用同一个小模型。

US-Net 不永久删除通道，而是保留完整模型。运行时根据宽度比例选择前多少通道参与计算。

所以，传统剪枝更像是：

训练一个模型，然后剪成一个固定小模型。

US-Net 更像是：

训练一个共享权重的大模型，同时让它内部所有宽度的子网络都可用。

这带来一个非常重要的优势：

一个 US-Net 可以提供连续的 accuracy–efficiency trade-off。

部署时不必为不同设备保存多个模型，只需要选择合适宽度即可。

五、关键问题一：任意宽度下的 BatchNorm

US-Net 最大的技术难点之一是 BatchNorm。

在普通网络中，BN 在训练阶段使用 mini-batch 统计量，在推理阶段使用训练期间累积的 running mean 和 running variance。问题是，不同宽度的子网络激活分布不同，因此 BN 的均值和方差也不同。

如果只支持几个固定宽度，可以为每个宽度保存一套 BN 统计量。这就是早期 Slimmable Network 中的Switchable Batch Normalization。

但 US-Net 支持任意宽度，如果每个宽度都保存一套 BN，数量会非常大，几乎不可行。

论文给出的解决方案是BN post-statistics。

核心做法是：

训练阶段不为每个宽度单独维护 BN 统计量；训练完成后，固定网络权重，再为目标宽度重新统计 BN 均值和方差。

具体过程是：选择一个目标宽度，用少量训练样本前向传播，重新计算该宽度下 BN 的 mean 和 variance，然后用于推理。

这一步很关键，因为它让 US-Net 不需要在训练时存储无数套 BN 参数。论文实验也表明，重新统计 BN 并不需要完整训练集，少量图像就能得到接近完整统计的效果。

因此，US-Net 支持任意宽度的第一个基础是：

用训练后 BN 重新统计，替代训练时保存所有宽度的 BN。

六、关键问题二：如何高效训练所有宽度

如果一个网络支持很多宽度，那么训练时不可能每个 iteration 都遍历所有宽度。比如从 (0.25\times) 到 (1.0\times)，中间可能有大量可选宽度。如果全部训练，成本会非常高。

所以 US-Net 必须解决一个问题：

每次训练只采样少数几个宽度，如何让整个宽度范围都学好？

论文提出了一个非常简单但有效的训练规则：Sandwich Rule。

它的做法是，每个 mini-batch 不随机采样所有宽度，而是固定包含三类宽度：

最大宽度。

最小宽度。

若干随机中间宽度。

例如每次训练 4 个宽度，那么可以包含、，再随机采样两个中间宽度。

为什么这样有效？

因为最大宽度通常代表模型能力上界，最小宽度代表模型能力下界。只要最大和最小宽度都被稳定优化，中间宽度通常也能被更好地约束。

所以 Sandwich Rule 的本质是：

用最小宽度和最大宽度夹住整个宽度空间，再用随机中间宽度覆盖细节。

这个策略简单，但非常重要。它避免了完全随机采样导致最小宽度训练不足，也保证最大宽度始终保持较强表达能力。

七、关键问题三：小宽度子网络怎么学得好

US-Net 中所有宽度共享权重，但不同宽度的容量差别很大。

最大宽度子网络参数最多，表达能力最强；最小宽度子网络通道少，容量小，如果只用普通 hard label 训练，很容易性能不足。

为了解决这个问题，论文提出Inplace Distillation，原位蒸馏。

它的核心做法是：

在同一个 mini-batch 中，先运行最大宽度网络，用真实标签训练最大宽度；然后把最大宽度网络的输出作为软标签，去监督其他较小宽度子网络。

也就是说，最大宽度子网络同时扮演 teacher，小宽度子网络扮演 student。

这个设计很巧妙，因为它不需要额外训练一个 teacher 模型，也不需要额外蒸馏阶段。teacher 和 student 都来自同一个 US-Net。

传统蒸馏是：

先训练 teacher，再训练 student。

US-Net 的 inplace distillation 是：

同一个网络内部，最大宽度实时指导小宽度。

这对小宽度模型尤其重要。论文实验显示，inplace distillation 对小宽度子网络有明显提升，而对最大宽度影响很小。

因此，US-Net 的第三个核心技巧是：

用最大宽度网络作为内部 teacher，提升所有小宽度子网络的性能。

八、完整训练流程

US-Net 的训练过程可以概括为以下步骤。

第一，确定宽度范围，例如 ([0.25,1.0])。

第二，每个 iteration 根据 Sandwich Rule 选择若干宽度，包括最小宽度、最大宽度和随机中间宽度。

第三，先运行最大宽度网络，用真实标签计算损失。

第四，把最大宽度网络的输出固定下来，作为其他宽度的蒸馏目标。

第五，运行最小宽度和随机中间宽度，用最大宽度输出作为软标签计算蒸馏损失。

第六，累积多个宽度的损失，更新共享权重。

第七，训练完成后，对需要使用的目标宽度重新计算 BN post-statistics。

第八，部署时根据设备预算选择对应宽度运行。

这个流程的核心逻辑是：

最大宽度保证上限，小宽度保证下限，中间宽度通过采样覆盖；最大宽度同时作为 teacher，帮助小宽度训练。

九、实验设置

论文主要在三个任务上验证 US-Net。

第一个任务是ImageNet 图像分类，主要使用 MobileNet v1 和 MobileNet v2。MobileNet v1 是较典型的轻量 CNN，MobileNet v2 包含 inverted residual 结构，因此可以验证 US-Net 在不同移动端架构上的效果。论文结果显示，US-Net 在 MobileNet v1 和 MobileNet v2 上都优于单独训练模型和 4-switch slimmable baselines 的平均表现。(arXiv)

第二个任务是DIV2K 图像超分辨率，使用 WDSR 网络。这个实验说明 US-Net 的思想不只适用于分类网络，也可以扩展到低层视觉任务。(arXiv)

第三个任务是Atari Breakout 强化学习，用来验证 US-Net 在强化学习场景中的可行性。论文摘要也提到，除了 ImageNet 分类，US-Net 还在图像超分辨率和深度强化学习任务上做了实验。(arXiv)

这说明作者并不是只想证明一个 ImageNet 技巧，而是希望说明：

宽度可伸缩训练是一种更通用的网络训练范式。

十、实验结果解读

10.1 ImageNet 上，US-Net 优于单独训练和固定宽度 Slimmable Network

在 MobileNet v1 和 MobileNet v2 上，US-Net 的平均表现优于 individually trained networks 和 4-switch slimmable networks。论文摘要和 CVF 页面都明确提到，US-Net 在 ImageNet 分类任务中相较于单独训练模型和 4-switch slimmable baseline 有更好的表现。(arXiv)

这个结果很重要，因为它说明：

共享权重并不一定会削弱子网络性能。

直觉上，人们可能认为每个宽度单独训练应该更好，因为它没有权重共享冲突。但 US-Net 通过 Sandwich Rule 和 Inplace Distillation，使小宽度子网络能够从大宽度网络中获得更强监督，因此某些宽度甚至可以超过单独训练的小模型。

这说明 US-Net 的优势不仅是节省训练成本，也可能带来更好的小模型性能。

10.2 任意宽度带来连续 FLOPs–Accuracy 曲线

US-Net 的一个重要价值是：训练一次后，可以直接评估大量宽度下的 accuracy–FLOPs 曲线。

传统模型压缩通常是一个预算训练一个模型。如果想知道 150M、200M、250M、300M FLOPs 下的精度，就需要训练或剪枝多个模型。

US-Net 不一样。它训练完成后，可以直接选择不同宽度，重新统计 BN，然后测试精度。

所以它能提供一条连续的精度–计算量曲线。

这对部署非常重要，因为真实设备预算往往不是整齐的 (0.25\times)、(0.5\times) 这种离散点，而可能是任意延迟或功耗约束。

这里的核心意义是：

US-Net 让模型部署从“选择一个固定模型”，变成“在同一个模型内选择合适宽度”。

10.3 Sandwich Rule 稳定了整个宽度区间

论文的消融实验显示，单纯随机采样宽度不如 Sandwich Rule 稳定。原因很直观：随机采样可能导致最小宽度训练不足，而最小宽度往往是最难训练的子网络。

Sandwich Rule 每次都训练最小和最大宽度，使得两个端点都被充分优化。中间宽度处在这两个端点之间，因此也更容易获得稳定性能。

可以这样理解：

最大宽度负责保证模型能力上界。

最小宽度负责保证压缩极限下的性能。

随机中间宽度负责覆盖连续范围。

这个设计虽然简单，但对 US-Net 训练非常关键。

10.4 Inplace Distillation 明显提升小宽度网络

小宽度子网络容量有限，如果直接使用真实标签训练，监督信号比较硬，容易学得不够好。Inplace Distillation 让小宽度网络学习最大宽度网络的 soft prediction，其中包含类别之间的相似关系，比 one-hot label 信息更丰富。

例如图像中某个类别虽然真实标签是 “cat”，但最大宽度网络可能同时给 “tiger”“dog”“fox” 一些非零概率。这种软分布可以帮助小模型学习更细致的类别关系。

所以，Inplace Distillation 的作用不是简单提高训练技巧，而是：

让小宽度子网络继承最大宽度子网络的知识。

这也是 US-Net 能让小宽度表现较好的关键原因。

10.5 BN post-statistics 让任意宽度真正可用

没有 BN post-statistics，US-Net 很难真正支持任意宽度。

因为不同宽度下，BN 的均值和方差不同。如果使用错误 BN 统计量，即使权重本身训练好了，推理精度也会明显下降。

BN post-statistics 的意义在于：

宽度切换后，只需要用少量样本重新校准 BN，而不需要重新训练权重。

这使 US-Net 的任意宽度运行变得实际可行。

十一、方法优点

11.1 一个模型适配多个资源预算

US-Net 最大的优点是：

只训练和保存一个模型，就可以覆盖多个计算预算。

这在实际部署中非常有价值。不同设备可以选择不同宽度，不需要为每个设备单独训练、保存和维护一个模型。

11.2 支持任意宽度，而不是固定几个宽度

早期 slimmable network 只能在预定义宽度之间切换。

US-Net 支持一个范围内的大量宽度选择。

这使模型可以更精细地适配延迟、功耗、内存或 FLOPs 约束。

11.3 不需要额外 teacher

Inplace Distillation 直接使用最大宽度子网络作为 teacher。

这比传统知识蒸馏更方便，因为不需要额外训练 teacher，也不需要保存额外模型。

11.4 训练技巧简单有效

Sandwich Rule 和 Inplace Distillation 都很简单，容易实现，但对训练效果影响明显。

这也是这篇论文的重要价值：它不是依赖复杂结构，而是通过训练策略提升共享权重子网络的性能。

11.5 为后续弹性网络和一次训练多模型提供基础

US-Net 的思想后来影响了很多 elastic network、once-for-all network 和 one-shot NAS 方法。比如 AutoSlim 就利用 slimmable network 来快速评估不同通道配置，并进一步搜索每层通道数。AutoSlim 论文也明确将 slimmable model 用作一次性评估不同 channel configurations 的基础。(arXiv)

因此，US-Net 的意义不仅在于一个具体模型，而在于提出了一种：

共享权重、多宽度、一次训练、多预算部署的训练范式。

十二、方法局限

12.1 它不是固定小模型

US-Net 本身不会输出一个固定压缩模型，而是保留完整网络，并根据宽度选择子网络运行。

如果部署目标是得到一个完全固定、无需宽度切换、无需 BN 校准的小模型，那么 US-Net 不是最直接的方案。

12.2 通道选择是前缀式的

US-Net 通常使用前 (k) 个通道构成窄网络。

这意味着通道存在隐式顺序：前面的通道会被所有宽度共享，后面的通道只在大宽度下使用。

这种方式简单高效，但也有限制：

它不能为每个宽度自由选择任意通道组合。

例如某个宽度真正最优的通道集合可能不是前 (k) 个通道，但 US-Net 默认只能采用前缀子网络。

12.3 需要重新统计 BN

虽然 BN post-statistics 成本不高，但它仍然是额外步骤。

如果部署时频繁切换到很多从未校准过的新宽度，就需要提前准备这些宽度的 BN 统计量，或者在部署端进行校准。

这在某些严格部署环境中可能不方便。

12.4 共享权重存在优化冲突

所有宽度共享一套权重，这会带来不同子网络之间的训练冲突。

大宽度希望后面通道充分发挥作用，小宽度则希望前面少数通道足够强。不同宽度对同一组权重的梯度方向可能并不完全一致。

Sandwich Rule 和 Inplace Distillation 可以缓解这个问题，但不能完全消除共享权重带来的限制。

12.5 主要是统一宽度倍率

US-Net 主要讨论的是所有层使用同一个 width multiplier。

但实际网络中，不同层的冗余程度并不相同。有些层可以剪得更多，有些层对精度更敏感。统一宽度虽然简单，但不一定是最优结构。

后续一些工作会进一步研究每层独立通道数搜索，这也是 US-Net 思想继续发展的方向。

十三、整体评价

这篇论文的核心价值在于，它把模型压缩从“为每个预算训练一个模型”，推进到“一个模型覆盖多个预算”。

US-Net 不直接删除通道，也不根据每张输入动态选择路径，而是根据部署预算选择宽度。它更关注的是budget-adaptive inference，也就是给定一个资源预算后，模型可以立刻切换到合适宽度。

它的三个关键技术分别解决了三个核心问题：

BN post-statistics 解决任意宽度下 BN 统计不一致的问题。

Sandwich Rule 解决不能训练所有宽度的问题。

Inplace Distillation 解决小宽度子网络性能不足的问题。

这三个技巧组合起来，使一个共享权重网络可以在很宽的宽度范围内稳定运行。

十四、一句话总结

《Universally Slimmable Networks and Improved Training Techniques》提出 US-Net，使一个神经网络能够在给定范围内以任意宽度运行；它通过 BN post-statistics 解决不同宽度的 BN 统计问题，通过 Sandwich Rule 高效训练最小、最大和随机中间宽度，并通过 Inplace Distillation 让最大宽度子网络指导小宽度子网络，从而实现一次训练、多宽度部署，为后续弹性网络、AutoSlim 和 Once-for-All 类方法奠定了重要基础。