医学论文解读：Semi-Supervised Knee Cartilage Segmentation With Successive Eigen Noise-Assisted Mean Teacher
期刊：Transactions on Medical Imaging
年份：2025
英文名字：Semi-Supervised Knee Cartilage Segmentation With Successive Eigen Noise-Assisted Mean Teacher Knowledge Distillation
中文译为：基于连续特征噪声辅助 Mean Teacher 知识蒸馏的半监督膝关节软骨分割
一、摘要
膝骨关节炎的分析需要准确分割膝关节软骨，但不同 MRI 扫描技术和序列之间存在明显的域偏移，例如图像对比度、分辨率和噪声分布不同。
现有跨模态方法通常依赖特征对齐或图像风格转换，但容易丢失一些细小软骨类别的信息，而且对高阶特征关系利用不足。
因此，作者提出SEN-MTKD 半监督知识蒸馏框架，利用少量目标域标注数据和大量未标注数据，实现不同 MRI 序列之间的跨域膝关节软骨分割。
其核心包括：
- ELRS：利用低秩特征子空间提取域不变表示；
- SEN：利用较小奇异值构造特征噪声，加强细小软骨类别；
- LRBD：约束 Teacher 和 Student 的低秩子空间结构保持一致，从而提高跨模态知识蒸馏的可靠性。
二、创新点
创新一：跨 MRI 序列的半监督 Mean Teacher 框架
论文将Mean Teacher + 知识蒸馏 + 子空间域适应结合起来。
Teacher 在源域 MRI 上预训练，而 Student 在只有少量标注的目标 MRI 序列上学习，通过大量未标注数据完成跨模态适应。
因此解决的是：Source MRI→Target MRI之间的跨序列、非配对、少标注分割问题。
创新二：Eigen Low-Rank Subspace（ELRS）
作者对 Teacher 和 Student 的中间特征进行SVD 分解，保留主要奇异值重新构造低秩特征。
这样能够去除部分冗余信息，并将两个网络的特征映射到一个共同的domain-invariant eigen subspace，缩小不同 MRI 序列之间的特征分布差异。
创新三：Successive Eigen Noise（SEN）
作者没有使用普通随机 Gaussian Noise，而是利用 SVD 中较小奇异值对应的信息构造噪声。
这些较小奇异值被认为包含更多难以区分的小软骨类别信息，因此 SEN 可以增强：
少数类、小结构软骨的表示能力。
同时，上一 batch 产生的 SEN 会加入下一 batch 的 Student 输入，因此称为Successive Eigen Noise。
创新四：Low-Rank Basis Distillation（LRBD）
作者进一步设计低秩基蒸馏损失，对齐 Teacher 和 Student 的低秩子空间结构，而不是只要求最终预测一致。
因此知识蒸馏由： Prediction Alignment进一步扩展到： Latent Subspace Structure Alignment可以减轻跨模态域偏移以及错误伪标签带来的影响。
三、方法
图2展示了用于半监督膝关节软骨分割（SEN-MTKD）的连续特征噪声辅助均值教师知识提取框架。教师模型产生域不变的伪标签，学生模型可以从中学习。在师生框架内，为教师和学生设计了一个低秩子空间模块，通过域不变特征子空间中的特征低秩（ELRS）近似，分别捕获高阶和低阶潜在模式。
3.1 Mean Teacher 半监督框架
整体采用：Teacher Model+Student Model，Teacher 和 Student 使用相同网络结构。
Teacher 首先在具有完整标注的源域Domain A上进行训练；随后在目标域Domain B上进行半监督学习，其中只有5%–25% 数据具有标签，其余数据没有标签。
Teacher 为未标注图像产生 soft pseudo-label，Student 同时学习：
- 有标签数据的监督信息；
- Teacher 对未标注数据的预测；
- Teacher 与 Student 的低秩特征关系。
Teacher 参数则通过 Student 参数的 **EMA（Exponential Moving Average）**不断更新。
3.2 Eigen Low-Rank Subspace（ELRS）
Teacher 和 Student 分别产生特征：，
随后分别通过 SVD：，将特征分解为奇异向量和奇异值。
作者选取前 k 个较大的奇异值重新构造：，
,形成 Teacher 和 Student 的低秩特征表示。
这样能够保留主要解剖结构信息，并在较低维的公共子空间中对齐两个 MRI 域的特征。
简单来说就是：
SVD → 提取主要结构特征 → 构建共享低秩空间 → 缩小 MRI 域差异。
3.3 Successive Eigen Noise（SEN）
与 ELRS 使用最大的奇异值不同，SEN 专门利用较小的奇异值。
作者认为较大奇异值主要描述明显的大结构，而较小奇异值中可能包含细小、难分辨的软骨类别信息。
因此利用低能量奇异成分构造：ξ=SEN
并将上一批次产生的 SEN 加入下一批次 Student 输入：
相当于使用一种具有语义信息的数据扰动代替简单的随机 Gaussian Noise。
其目标是增强少数类软骨的可区分性，同时降低 Student 对 Teacher 的过拟合。
3.4 Low-Rank Basis Distillation（LRBD）
ELRS 不仅能够得到低秩重构特征，还能得到 Teacher 和 Student 对应的低秩基：,
LRBD 进一步计算两个低秩子空间之间的距离，要求：
也就是说，不仅要求 Teacher 和 Student 最终分割结果一致，还要求它们学习到的潜在几何结构保持一致。
这样可以提高跨 MRI 序列下的特征稳定性，并降低错误 pseudo-label 对 Student 的影响。
3.5 总体损失函数
整个 SEN-MTKD 的损失由三部分组成：
其中：
：监督分割损失，由Focal Loss + Weighted Dice Loss组成；
：Teacher–Student 预测的一致性损失；
Llrs：Teacher–Student 的低秩子空间蒸馏损失。
Teacher 参数不直接反向传播，而是通过 Student 参数进行 EMA 更新。
因此整个训练过程可以概括成：
ELRS提取域不变结构+SEN增强细小软骨+LRBD对齐Teacher/Student
五、结论
论文最终证明，SEN-MTKD 能够在少量目标域标注数据 + 大量未标注数据的条件下，实现不同 MRI 序列之间的膝关节软骨分割。
其核心思想是将 Teacher 和 Student 的特征映射到共同的低维特征子空间，利用 ELRS 对齐跨域结构特征；利用 SEN 从低奇异值中提取扰动信息，增强少数软骨类别；再通过 LRBD 保持 Teacher 和 Student 潜在结构的一致性。
实验中，在25% 目标域标注数据情况下，方法取得约83.51% 的平均 Dice，高于 Mean Teacher 基线的78.15%；即使只有5% 标注数据，也能够明显优于基线，说明模型能够有效利用未标注数据。