构建可伸缩CNN：混合粒度剪枝与运行时切换技术实践

1. 项目概述：为资源受限系统打造一个“可伸缩”的神经网络

在嵌入式设备、IoT终端或者移动设备上部署卷积神经网络（CNN），就像是在一辆微型卡丁车里塞进一台V8发动机——动力虽强，但空间和燃料（计算、内存、能耗）根本吃不消。传统的解决方案，比如模型剪枝、量化、知识蒸馏，本质上是给这台V8发动机做“瘦身手术”：拆掉一些气缸，换个小号涡轮，目标是得到一个固定的小型化模型。这招在静态、资源恒定的环境下很管用。

但现实世界是动态的。你的设备可能正在插着电源全速运行，也可能下一秒就切换到电池模式需要省电；后台可能突然有其他高优先级任务启动，抢占了CPU和内存；或者当前处理的图像场景简单，根本用不着那么复杂的模型来“杀鸡用牛刀”。这时候，一个固定大小的“瘦身模型”就显得笨拙了。你需要的是一个能“能屈能伸”的智能模型：资源充足时火力全开追求极致精度；资源紧张时则能迅速收缩，在保证基本可用的前提下，最大限度地节省资源。

这就是“运行时可切换多阶段卷积神经网络”要解决的核心问题。它不是一个单一的模型，而是一个模型家族，被巧妙地打包进一个网络文件中。这个家族里的不同成员（我们称之为“阶段”或“相位”），共享绝大部分参数，但在运行时，你可以通过一个简单的开关，决定激活哪些部分的参数进行计算。从最精简的“基础版”到完整的“旗舰版”，中间还可以有若干个“增强版”，形成一个在精度和资源消耗（速度、内存）之间平滑权衡的帕累托前沿。

想象一下，这就像给你的CNN模型装上了一套“可调悬挂系统”。路面平坦（资源充足）时，调低车身（使用完整网络）获得最佳操控性（精度）；遇到颠簸（资源紧张）时，升高底盘（切换到精简网络）确保通过性和稳定性（实时性、低功耗）。本文介绍的方法，就是教你如何从零开始，为自己训练的CNN定制这样一套智能的“可调悬挂系统”。

2. 核心设计思路：两阶段剪枝与渐进式训练

要实现一个运行时可切换的多阶段网络，不能简单地把几个独立训练的小网络拼在一起，那样存储开销巨大，失去了意义。核心思想是：从一个完整的网络出发，通过结构化的剪枝和恢复过程，构建出一个具有层次化参数子集的单一网络。我们的设计主要围绕两个核心理念展开。

2.1 从“稀疏到稠密”的逆向构建哲学

大多数剪枝研究是从一个大型的、过参数化的网络开始，逐步修剪掉不重要的权重，得到一个更小的网络。我们的多阶段构建则反其道而行之，采用一种“先极度稀疏，再逐步恢复”的逆向流程。这样做有几个关键优势：

1. 确保最低阶段可行性：我们首先通过激进的剪枝，得到一个在满足最低精度要求下尽可能小的“核心网络”（Phase 1）。这个网络是后续所有阶段的基础，保证了在最严苛的资源约束下，系统依然能提供可接受的服务。
2. 参数继承与稳定性：在后续阶段添加参数时，之前阶段已确定的参数被“冻结”，不再参与训练更新。新增的参数围绕这些固定参数进行训练和调整。这好比先打好房子的地基和主体结构（Phase 1），后续的装修和加盖（Phase 2, 3...）都基于这个稳固的基础，避免了整体结构推倒重来带来的训练不稳定和灾难性遗忘。
3. 明确的阶段边界：这种自底向上的构建方式，使得每个阶段的网络结构（哪些参数被激活）是清晰、预定义的，而非由训练过程隐式决定。这对于运行时的高效、无歧义切换至关重要。

2.2 粗粒度与细粒度剪枝的协同作战

剪枝的“粒度”决定了我们如何移除或恢复参数，也直接影响了精度损失和硬件加速效果。我们摒弃了单一粒度的策略，而是采用了“粗粒度为主，细粒度为辅”的混合策略，以同时瞄准内存/速度优化和精度保持两个目标。

• 粗粒度剪枝（滤波器/通道级）：这是我们的“主力军”。直接移除整个卷积滤波器（Filter）或通道（Channel）。它的好处是“干净利落”：

  • 内存直接减少：被移除的滤波器对应的权重张量直接从存储中消失，内存占用线性下降。
  • 计算量显著降低：由于整个滤波器被拿掉，对应的矩阵乘法维度直接减小，无需任何特殊硬件支持，在通用CPU上就能获得可观的加速。
  • 缺点：对网络结构的改变较大，容易造成相对明显的精度损失。这好比拆掉一整面墙，虽然空间腾出来了，但对房屋结构影响也大。

• 细粒度剪枝（SIMD感知的权重组级）：这是我们的“特种部队”。它不按滤波器这样的“整体单元”来操作，而是按照底层CPU硬件并行计算的最小单位——SIMD（单指令多数据）宽度——来分组剪枝。例如，对于支持128位SIMD、处理32位浮点数的CPU，一次向量指令能处理4个数据。我们就把权重矩阵中每4个连续且位置对应的权重（来自4个不同的滤波器）视为一个“小组”。

  • 优势：精度保持能力极强。因为剪枝的单元非常小，可以更精细地剔除冗余，保留重要权重，对网络功能的破坏最小。
  • 硬件友好性：以SIMD宽度为单位进行剪枝，意味着被清零的权重在内存中是连续对齐的。在推理时，我们可以通过预计算的掩码（Mask）直接跳过对整个SIMD向量指令的计算，从而实现零开销的“计算跳过”，在通用CPU上也能获得加速收益。这与传统非结构化细粒度剪枝（随机位置置零）形成鲜明对比，后者由于零值分布散乱，无法有效利用SIMD指令，加速效果甚微。
  • 缺点：无法直接减少存储。被“剪枝”的权重仍然以零值存储在模型中，内存占用不变。其主要收益体现在计算速度的提升上。

我们的策略是：在构建不同阶段时，优先使用粗粒度恢复来快速扩大网络容量（增加滤波器），以应对资源预算的较大提升；然后在粗粒度恢复的“骨架”上，运用细粒度恢复来“精雕细琢”，微调网络性能，填补精度缺口。这种组合拳，让我们能在精度-资源权衡的设计空间中进行更灵活、更有效的探索。

实操心得：为什么选择“冻结参数+新增训练”的模式？在渐进式训练中，一个关键决策是：当为阶段N添加新参数时，阶段N-1的旧参数是应该继续参与训练（微调）还是完全冻结？我们选择了冻结。原因在于，如果允许旧参数更新，虽然可能让新阶段收敛更快，但极易破坏之前阶段已经学到的、稳定的特征表示，导致阶段N-1的性能在训练后反而下降。我们的目标是保证每个阶段都是独立可用的、性能稳定的子网络。冻结旧参数，迫使新增参数去“适应”已有的特征提取器，虽然可能增加新阶段的训练难度，但确保了所有阶段性能的可靠性和可预测性。在实际操作中，这需要通过更精细的学习率调度和更长的训练周期来补偿。

3. 构建多阶段CNN的完整流程

下面，我将以构建一个5阶段CNN为例，拆解从原始网络到最终可运行、可切换的多阶段模型的完整实操流程。整个过程可以概括为：确定边界 -> 填充中间 -> 训练实现 -> 引擎适配。

3.1 阶段一：确定性能边界——最低阶段与最高阶段

在开始构建前，我们必须明确两个边界点：资源消耗最小（性能最低）的最低阶段，和精度最高（资源消耗最大）的最高阶段。所有中间阶段都将落在这两点之间。

第一步：确定最低阶段（Phase 1 - 最精简网络）目标：找到在满足最低精度要求下，最稀疏的网络。

1. 设定精度底线：例如，原始模型精度为86%，我们可以接受最多10%的精度损失，那么最低阶段必须达到至少77.6%的精度。
2. 二分搜索粗粒度剪枝率：
   • 从50%剪枝率开始（即移除50%的滤波器），在验证集上测试精度。
   • 若精度高于底线（如80%），则尝试更激进的剪枝（如75%）。
   • 若精度低于底线，则尝试更保守的剪枝（如25%）。
   • 重复此过程，直到找到一个剪枝率，其精度刚好在底线附近（例如±1%范围内）。这个剪枝后得到的网络，就是我们的Phase 1核心网络。
   • 关键细节：此过程会生成一系列不同稀疏度的粗粒度剪枝网络。我们需要记录下每个网络的实际推理速度、内存占用和精度。这些数据点将成为后续构建性能预测模型的关键训练集。

第二步：确定最高阶段（Phase N - 最完整网络）目标：在满足最大内存预算和最低推理速度要求下，选择能获得最高精度的网络配置。

1. 建立性能预测模型：这是实现自动化设计空间探索的核心。我们使用多项式回归，根据网络参数量（稀疏度）和推理引擎线程数，来预测任意配置下的推理速度和内存占用。
   • 输入特征：非零参数总数、线程数。
   • 输出目标：推理速度（帧/秒或秒/帧）、内存占用（MB）。
   • 训练数据：第一步中二分搜索过程收集到的各个粗粒度剪枝网络的实测数据。
   • 模型拟合：使用三阶多项式进行回归。在我们的实验中，内存占用模型的预测准确率可达99.9%以上，速度模型也超过87%。这个模型是硬件相关的，更换目标平台（如从ARM A72换到A76）需要重新收集数据并训练模型。
2. 应用约束进行搜索：假设系统约束为：内存预算≤65MB，推理延迟≤5ms（即速度≥200帧/秒）。
   • 利用预测模型，在“参数量-线程数”的二维设计空间中，筛选出所有满足上述约束的候选点。
   • 从这些候选点中，选择参数量最大的那个配置。因为参数量通常与精度正相关，在满足资源约束的前提下，参数量越大，预期精度越高。
   • 这个选中的配置（例如，原始网络的95%参数量，使用4线程），就定义了我们的最高阶段Phase N。它可能是一个经过轻微剪枝的网络，也可能就是原始网络本身。

3.2 阶段二：填充中间阶段——混合粒度恢复策略

有了Phase 1（最简）和Phase N（最全）这两个锚点，我们现在需要在它们之间插入中间阶段，以提供更平滑的精度-资源权衡选项。

假设我们通过第一步确定了：

• Phase 1: 参数量 50MB， 精度 78%
• Phase N: 参数量 500MB， 精度 86.5%
• 额外约束：存在一个55MB的内存预算档位。

我们的目标是构建一个Phase 2，使其内存占用接近55MB，且精度介于Phase 1和Phase N之间。这里就需要运用粗粒度和细粒度恢复的组合策略。

1. 粗粒度恢复（Coarse-grain Restoring）：

   • 操作：从Phase 1网络出发，我们恢复（添加）一整批滤波器，直到网络的参数量从50MB增加到接近55MB。这些新增滤波器的权重不能随机初始化，否则会破坏已有网络的稳定性。我们采用“彩票假设”的思路：独立地训练一个与目标Phase 2结构完全相同的网络，然后将这个网络对应位置的权重，作为我们Phase 2新增权重的初始化值。
   • 训练：固定Phase 1原有的权重，只对新增的这部分权重进行训练（反向传播只更新它们）。在训练实现时有个技巧：为了让梯度流动更稳定，在每次训练迭代中，我们允许所有权重（包括固定的）都参与反向传播计算，但在每个epoch结束时，将固定权重部分强行恢复回原来的值。这比直接屏蔽掉固定权重的梯度更易于优化。
   • 结果：我们得到了一个参数量约为55MB的“过渡网络”，记为Phase 2‘。它的精度会比Phase 1有提升。

2. 细粒度修剪与再恢复（Fine-grain Pruning & Restoring）：

   • 细粒度修剪：对Phase 2‘中新增的那部分权重（注意，不是全部权重），应用SIMD感知的细粒度剪枝。我们根据权重的L2范数重要性，剪掉其中一部分（例如，剪掉新增权重中的30%）。这样，我们得到了一个比Phase 2‘更小、但比Phase 1大的新网络，这就是我们的Phase 2。这一步的目的是，在几乎不损失精度的情况下（因为剪的是相对不重要的新增权重），进一步降低计算量。
   • 细粒度恢复：现在，我们可以把刚才在Phase 2中被剪掉的、属于新增部分的那些权重，再恢复回来并重新训练。这就得到了Phase 3。Phase 3的参数量与Phase 2‘相同，但经过了一轮“修剪-恢复”的锤炼，其权重分布可能更优，精度有望比Phase 2‘更高。
   • 迭代：重复“细粒度恢复”步骤，可以创建Phase 4，依此类推，直到我们恢复到Phase N（最高阶段）定义的网络规模。

通过这种“粗放扩张 -> 精细修剪 -> 逐步恢复”的循环，我们可以在两个资源锚点之间，创造出多个具有不同精度-速度-内存权衡点的阶段。下表展示了一个可能的5阶段CNN配置示例：

3.3 阶段三：运行时切换机制的实现

模型构建好了，如何在运行时动态切换？这是让理论落地的最后一步。我们的方案根据粒度不同而有所区别：

1. 粗粒度切换（内核/通道的加载与卸载）：

   • 机制：这涉及到物理内存的分配与释放。每个阶段需要激活的滤波器集合是确定的。在推理引擎（如我们改造的Darknet）中，我们维护一个全局的权重缓冲区。当需要从Phase i切换到Phase j时：
     • 如果 j > i（向更大网络切换），我们计算需要新增的滤波器列表，将它们从存储（如磁盘、Flash）动态加载到内存的预留区域，并更新计算图，让这些新增的滤波器参与后续的卷积计算。
     • 如果 j < i（向更小网络切换），我们计算需要移除的滤波器列表，在内存中标记它们对应的区域为可释放（或直接忽略），并更新计算图。
   • 关键：由于粗粒度剪枝保持了结构的规整性（整行/整列地移除），这种加载/卸载操作是高效且易于管理的，不会引起内存碎片。

2. 细粒度切换（基于掩码的权重激活）：

   • 机制：细粒度切换不涉及内存的物理增删。所有阶段的权重都预先加载到内存中，形成一个“全集”权重矩阵。
   • 掩码表：我们为每个阶段维护一个二进制掩码向量（Mask Vector），其长度等于权重总数（按SIMD组对齐）。掩码中的“1”表示该位置的权重参与计算，“0”表示跳过。
   • 运行时：在执行GEMM（通用矩阵乘）计算时，在循环内部，根据当前激活的阶段索引，查找对应的掩码。如果当前要计算的SIMD权重组对应的掩码位为0，则直接跳过整个向量指令的计算。
   • 存储优化：掩码本身是稀疏的（很多连续的0或1）。我们采用压缩格式存储，例如只记录非零（即激活）权重组的起始索引和相邻索引的差值（游程编码），极大地减少了元数据开销。

避坑指南：切换开销与线程数管理运行时切换不是零成本的。粗粒度切换涉及I/O（如果权重未常驻内存）和内存管理操作；细粒度切换需要读取和解析掩码。设计时需注意：

1. 预热与缓存：对于常用的阶段组合，可以预加载其权重子集到内存缓存，减少切换延迟。
2. 线程数一致性：为了简化实现，我们的方案中所有阶段共享同一套线程池配置（线程数固定）。这是因为动态调整线程数会带来额外的线程创建/销毁开销和内存状态复杂性。在确定最高阶段时选择的线程数，应能兼顾各个阶段的性能。通常，这个线程数会是一个折衷值，既能满足大网络的计算需求，又不会给小网络带来过多的线程管理开销。

4. 实验验证与效果分析

理论和方法需要数据支撑。我们基于公开的Darknet推理引擎（集成NNPACK以利用ARM NEON SIMD指令），在NVIDIA Jetson AGX Xavier的CPU平台上进行了实验，使用VGG-7网络和CIFAR-10数据集。

4.1 单一粒度剪枝效果对比

首先，我们验证了粗粒度和细粒度剪枝各自的特点：

• 精度：细粒度剪枝在高达90%的剪枝率下，精度仍能与原模型持平甚至略有提升（起到了正则化作用）。而粗粒度剪枝在超过60%剪枝率后，精度下降明显加快。这印证了细粒度在保持精度上的优势。
• 推理速度：两者都能提升速度，但粗粒度剪枝的加速效果远胜于细粒度。因为粗粒度直接减少了矩阵维度，计算量成倍下降。细粒度剪枝虽然能跳过一些SIMD计算，但矩阵的整体规模不变，加速比有上限。
• 内存占用：这是最显著的差异。粗粒度剪枝直接降低了模型文件大小和运行时内存占用。而细粒度剪枝由于零值仍被存储，内存占用几乎不变。

这个实验清晰地展示了“鱼与熊掌不可兼得”：要极致压缩和加速，选粗粒度；要最大限度保精度，选细粒度。

4.2 多阶段CNN构建实例

我们设定设计约束：精度损失≤10%，推理延迟≤5ms，内存预算有55MB和65MB两档。通过第3章描述的流程，我们成功构建了一个5阶段的VGG-7多阶段CNN。

关键步骤回顾：

1. 通过二分搜索和粗粒度剪枝，找到了满足最低精度（>78%）的最稀疏网络作为Phase 1。
2. 利用性能预测模型，在满足65MB内存和5ms延迟约束下，找到了最高阶段Phase 5（接近原始网络）。
3. 针对55MB内存约束，通过在Phase 1上进行粗粒度恢复得到一个过渡网络，再对其新增部分进行细粒度剪枝，得到Phase 2。随后再进行细粒度恢复，得到Phase 3和Phase 4。

最终得到的5阶段网络，其精度、速度、内存形成了一个平滑的帕累托前沿，覆盖了从51.7MB到65MB，精度从78%到86.5%的广阔设计空间。

4.3 混合粒度策略的优势验证

为了证明我们混合粒度策略的有效性，我们对比了三种方式构建的5阶段网络：

1. 纯粗粒度(coarse_5p)：只使用粗粒度剪枝/恢复。
2. 纯细粒度(fine_5p)：只使用细粒度剪枝/恢复。
3. 混合粒度（本文方法）(combined_5p)：结合两者。

结果分析：

• fine_5p在精度上表现最好，但速度提升有限，其最低阶段比我们的方法慢了36.4%。
• coarse_5p在速度上更有优势，但在高精度阶段（Phase 4, 5）的精度明显落后于我们的方法。
• 我们的combined_5p在整体上取得了最佳平衡。特别是在中高精度区域，我们的方法通过细粒度恢复弥补了纯粗粒度的精度损失；而在追求速度的阶段，又通过粗粒度剪枝获得了比纯细粒度更好的加速。

我们进一步引入了超体积（Hypervolume）这个多目标优化领域的指标进行量化评估。它衡量的是在精度-速度二维平面上，方法所覆盖的帕累托前沿与参考点围成的面积。面积越大，说明方法探索到的优秀解越多，设计空间覆盖能力越强。计算结果表明，我们混合粒度方法的超体积显著高于单一粒度的方法。

一个有趣的发现与优化：在最初的combined_5p中，Phase 3和4在速度上被coarse_5p反超。分析发现，这是由于在这两个阶段，我们过度依赖了细粒度恢复。于是，我们在Phase 3和4之间插入了一个新的、基于粗粒度恢复的阶段，形成了一个6阶段网络 (combined_6p)。结果，这个新阶段在速度上超越了coarse_5p的对应阶段，同时精度相当，从而进一步扩大了我们的帕累托前沿优势。这证明了我们框架的灵活性：可以根据需要，动态地调整粗/细粒度恢复的比例和顺序，以填补设计空间中的任何“凹陷”。

5. 常见问题与实战排坑指南

在实际复现和应用这套技术时，你可能会遇到以下典型问题。这里分享我的排查思路和解决方案。

5.1 训练不稳定或精度不达标

• 问题描述：在渐进式训练中，新增阶段（Phase N）的精度远低于独立训练一个相同结构的网络。
• 可能原因与排查：
  1. 新增权重初始化不当：这是最常见的原因。切勿用随机高斯分布初始化新增权重。务必采用“彩票假设”方法：独立训练一个与目标阶段结构相同的“孪生网络”，然后用它的权重来初始化新增部分。这为新增权重提供了一个良好的起点。
  2. 学习率设置：由于大部分权重被冻结，只有小部分新增权重可训练，损失曲面可能非常崎岖。建议使用较小的初始学习率（例如，原始训练的1/5或1/10），并配合余弦退火或带热重启的调度器，帮助模型跳出局部最优。
  3. 梯度流问题：虽然我们冻结了旧权重，但在反向传播时，梯度仍然会流经它们（即使最终不更新）。如果网络很深，可能导致梯度消失或爆炸。检查梯度范数，考虑在冻结层之间添加更稳定的激活函数（如ReLU而非Sigmoid），或使用梯度裁剪。

5.2 运行时切换延迟过高

• 问题描述：从Phase 1切换到Phase 5需要几百毫秒，无法满足实时性要求。
• 可能原因与排查：
  1. 粗粒度切换的I/O瓶颈：如果权重从慢速存储（如SD卡）加载，延迟会很高。
     • 解决方案：将多阶段网络的所有权重预先加载到内存中。切换时，只需在内存中切换指针或激活掩码，实现亚毫秒级切换。这牺牲了一些内存（存储了所有阶段的权重），但换来了极快的切换速度。对于内存极度紧张的设备，可以只常驻最低阶段权重，高级阶段权重按需从Flash加载，但需评估加载延迟是否可接受。
  2. 掩码解压开销：细粒度切换需要读取和解析压缩的掩码。
     • 解决方案：将掩码解压成易于CPU快速访问的位图格式（例如，每字节表示8个权重的激活状态），并常驻在缓存友好的内存区域。避免在每次推理循环中都进行复杂的解码操作。
  3. 计算图重建开销：某些推理框架在模型结构变化时需要重建计算图。
     • 解决方案：在引擎层面进行深度定制。像我们修改的Darknet一样，预先为每个阶段编译好计算图，切换时只是切换到一个不同的预编译计算图上下文，避免运行时解析和优化。

5.3 性能预测模型不准

• 问题描述：预测的内存或速度与实际测量值偏差较大，导致选出的最高阶段不符合实际约束。
• 可能原因与排查：
  1. 训练数据不足或分布不均：只在少数几个剪枝率上做了测量。
     • 解决方案：在二分搜索寻找最低阶段时，尽可能多地保存不同剪枝率下的性能快照。甚至可以额外采样一些点，确保数据覆盖从稀疏到稠密的整个范围。特别是对于线程数这个维度，需要在每个网络规模下，测试多个不同的线程数（如1, 2, 4, 8）。
  2. 模型特征过于简单：仅用“参数量”和“线程数”可能无法捕捉所有性能因素，比如不同层的稀疏模式对速度的影响不同。
     • 解决方案：引入更复杂的特征，例如各层的稀疏度分布、输入输出通道数比例、总FLOPs等。可以尝试使用更强大的模型，如梯度提升树（如XGBoost）来代替多项式回归进行预测。
  3. 硬件波动：嵌入式CPU的频率和缓存行为可能因温度和负载而变化。
     • 解决方案：在性能测量时，关闭其他非必要进程，多次测量取平均值，并在设备温度稳定的状态下进行。可以考虑加入简单的在线校准：在实际部署后，记录几个关键阶段的真实性能，微调预测模型的偏移量。

5.4 细粒度剪枝在目标平台上加速比低

• 问题描述：按照SIMD宽度进行了细粒度剪枝，但在实际CPU上推理速度提升不明显。
• 可能原因与排查：
  1. SIMD对齐问题：你的剪枝组大小与硬件实际最优的向量化宽度不匹配。例如，硬件支持256位AVX2（可处理8个float），但你按4个一组（128位SSE）进行剪枝。
     • 解决方案：仔细查阅目标CPU的指令集手册，确定其向量寄存器宽度和支持的数据类型。确保你的“细粒度组”大小与之严格对齐。
  2. 内存访问模式不佳：即使跳过了计算，但内存访问指令（加载权重）可能仍然发生，成为瓶颈。
     • 解决方案：在推理引擎中实现真正的“条件加载”。即，在加载权重向量之前，先检查掩码。如果整个向量组都被跳过，则直接跳过加载指令，进入下一个循环迭代。这需要手写汇编或使用底层向量化内在函数进行深度优化。
  3. 稀疏度不够高：细粒度剪枝的加速收益与稀疏度高度相关。如果只有30%的权重被剪枝，那么只能跳过30%的计算，加速比有限。
     • 解决方案：针对需要高推理速度的阶段，可以适当提高该阶段的细粒度剪枝率，或者在该阶段更多地依赖粗粒度剪枝。我们的混合策略正是为了应对这种情况。

最后，我想分享一点个人体会：这项技术的魅力在于它提供了一种“弹性计算”的范式。它迫使开发者从静态的、孤立的模型优化思维，转向动态的、系统级的资源协同思维。成功的部署不仅仅是训练出一个好的多阶段模型，更需要与任务调度器、电源管理模块、甚至操作系统紧密配合，根据系统状态（电量、温度、负载）智能地触发阶段切换。这其中的挑战和乐趣，已经超越了模型压缩本身，进入了软硬件协同设计的更深层次。