医学论文解读-Automated anomaly-aware 3D segmentation of bones and cartilages in knee MR images from the Os
期刊：Medical Image Analysis,
年份：2024
英文题目：Automated anomaly-aware 3D segmentation of bones and cartilages in knee MR images from the Osteoarthritis Initiative
中文译为：面向骨关节炎计划膝关节MRI的自动异常感知三维骨与软骨分割
一、摘要
医学影像中的多组织自动分割本身就比较困难，当解剖结构内部还存在下面的问题时，普通CNN更容易出现错误：
- bone marrow lesion，骨髓病变 Bone Marrow Lesion，BML；
- bone cyst，骨囊肿；
- osteophyte等OA相关异常；
例如正常情况下，股骨内部MRI信号比较规律，但如果出现较大的BML，普通U-Net可能把异常区域错误地识别成：
- 骨外组织；
- 空洞；
- 错误边界；
从而导致骨体积出现缺口。
因此作者提出一个三阶段框架：异常检测→异常重建→异常感知分割
首先利用3D U-Net进行Inpainting，即图像修复/填补。网络尝试把股骨和胫骨内部异常区域重建成“接近正常”的外观。然后比较： Original MRI和： Reconstructed MRI之间的差异，差异越大的地方，就越可能是：
骨异常区域。
得到异常图以后，再将异常图作为额外信息送入三维骨和软骨分割网络。
作者分别在：3D U-Net；3D CAN；两类不同分割网络上验证该机制。
结果表明，异常感知模型能够明显改善存在严重骨异常病例的分割质量，尤其是Hausdorff Distance，最高可以减少约58%，同时在骨异常检测中，AUC最高达到0.896，高于普通异常无感知模型的最高0.874。
二、创新点
创新点一：将3D Inpainting用于膝关节MRI无监督异常检测
以前很多异常检测方法采用Autoencoder或Imagereconstruction的思路：
正常图像容易重建，而异常区域难以重建，因此重建误差可以反映异常。
本文进一步把这种思想扩展到Fully 3D knee MRI，而不是只处理二维切片。
作者使用3D U-Net进行大区域三维inpainting： Masked 3D Knee MRI→3D U-Net→Reconstructed MRI
然后Reconstruction Error=Original−Reconstructed作为异常检测依据。
值得注意的是：
骨异常本身不需要人工标注来训练第一阶段异常检测模型。
因此这一部分属于一种：unsupervised anomaly detection。
创新点二：设计两级异常检测网络 G 和 A
作者没有只训练一个重建网络，而是设计了：G和A两个模型。
网络 G需要已知骨分割mask。首先：
Original MRI
↓
把股骨和胫骨区域擦除
↓
Masked MRI
↓
3D U-Net G
↓
重建被擦除区域。
因为异常区域被擦掉以后，网络主要根据周围正常解剖结构推断：
“这里正常情况下应该长什么样”。
网络 A：实际应用时我们往往没有现成的骨分割mask。
所以作者又训练，直接输入Original MRI，而以G(x)的输出作为监督目标。
最终让： A(x)≈G(x)。
于是测试阶段：
只需要原始MRI，就能够生成去除异常后的近似正常MRI。
然后就是最终使用的异常图。
这一设计使异常检测真正可以应用到未知患者。
创新点三：把异常图显式加入3D分割网络
这是整篇论文最核心的：Anomaly-aware mechanism。
普通模型输入只有：MRI
而本文模型输入： MRI+Anomaly Error Map
异常图告诉分割网络：
“这些位置可能存在病变，是比较困难的区域，需要特别关注。”
同时，作者不仅把异常图作为网络输入，还把它用于Loss weighting使异常区域的分类错误具有更大的损失。
因此是双重利用异常信息： Input−level Guidance+Loss−level Guidance
这比单纯在输入端拼接一张异常图更加完整。
创新点四：证明异常感知机制可推广到不同CNN
作者没有只用一种网络证明方法有效。而是分别加入3D U-Net和3D CAN
最终得到UNET−S和CAN−S。
两种网络结构差别很大：
- U-Net依赖encoder-decoder和多次下采样；
- CAN主要依赖dilated convolution进行context aggregation。
两类网络加入异常感知机制以后都得到明显改善。因此作者认为：
Anomaly-aware并不是针对某个特定backbone设计，而是一种可以附加到不同医学分割CNN上的通用机制。
三、方法
该方法包含三个部分：需要mask的异常检测网络G、不需要mask的异常检测网络A、异常感知骨与软骨分割。
3.1 基于Mask的异常检测网络 G
首先使用已有femoral bone和tibial bone分割mask。
为了确保：
- 骨边界；
- 骨周围区域；
也被覆盖，作者把mask向各个方向dilate 50 pixels。
然后把这些区域从MRI中擦除。再将mask掉的图像输入3D U-Net执行Image Inpainting。
如果直接把一大片股骨和胫骨全部遮掉，网络仅靠外围信息很难准确恢复。所以作者增加一个Image Compressor C，把完整原始MRI进行非常强的压缩。然后送入网络G的decoder。
因此网络同时拥有：
- Masked MRI提供的局部空间结构；
- Compressor提供的低容量全局信息。
网络G的监督目标仍然是：Original MRI。
也就是原始图像和重建图像采用MSE Loss。
训练以后：
- 正常结构： Original≈Reconstruction
- 但异常结构： Original
Reconstruction。
于是得到异常误差图。
误差高的位置可能对应：
- BML；
- cyst；
- osteophyte等。
3.2 无需Mask的异常检测网络 A
但真实临床中：
新患者刚进来时没有分割结果。
所以作者再训练一个A，它的输入直接是Original MRI，而目标是G(x)。
损失：
- 第一项要求： A(x)生成类似G的“去异常”MRI。
- 第二项进一步要求A产生与G相似的异常误差分布。
于是测试时：
- MRI→A→Reconstruction
- 再MRI−Reconstruction
- 得到Anomaly Map。
这个时候已经：
完全不需要人工mask。
3.3 异常感知骨与软骨分割
接下来才进入真正的Segmentation Network S。
普通分割：MRI→CNN→Segmentation
本文则变成：MRI+Anomaly Error Map→Segmentation Network→Bone/Cartilage Masks
作者构建：UNET-S（3D U−Net+Deep Supervision+Anomaly−aware）以及CAN-S （3D CAN+Deep Supervision+Anomaly−aware）。
Deep Supervision的意思是：
不只是最终输出层计算分割，而是在网络内部多个尺度产生辅助segmentation map进行监督。
这样可以：
- 加快收敛；
- 稳定深层网络训练；
- 对小样本、新类别尤其有帮助。
四、结论
本文提出一种异常感知膝关节MRI三维分割框架：首先利用3D U-Net的inpainting和有损重建生成近似正常MRI，并通过原图与重建图的差异无监督定位骨髓病变和骨囊肿等异常；随后将异常误差图作为额外输入并用于加权分割损失，使3D U-Net或3D CAN重点关注异常附近的困难区域，从而减少OA患者骨与软骨分割中的严重边界错误，并进一步实现股骨、胫骨、髌骨及其软骨和骨病灶的联合分割。