AMA-SAM：用于高保真组织学细胞核分割的对抗性多域对齐万物分割模型/文献速递-多模态医学影像最新进展
2026.4.8
本文提出了AMA-SAM框架，通过引入条件梯度反转层（CGRL）实现鲁棒的多域对齐，并设计高分辨率解码器（HR-Decoder）以保留精细细节，从而增强了万物分割模型（SAM）在高分辨率组织学细胞核分割中的性能，有效解决了单数据集训练的过拟合问题及SAM固有的低分辨率输出限制。
Title题目
01
AMA-SAM: Adversarial multi-Domain alignment of segment anything model for high-Fidelity histology nuclei segmentation
AMA-SAM：用于高保真组织学细胞核分割的对抗性多域对齐万物分割模型
文献速递介绍
02
细胞核分割是数字病理分析中的一项关键任务，为疾病诊断、组织学研究和个性化医疗提供重要信息。尽管深度学习方法已广泛应用于组织学细胞核分割，但现有方法通常在单一数据集上训练，容易对特定数据集的特征过拟合。简单地融合多个数据集反而可能因成像系统、染色协议和组织类型差异导致的域偏移而使性能下降。万物分割模型（SAM）在通用图像分割方面取得了显著进展，但在组织学细胞核分割中存在局限性，例如其固定的256x256低分辨率输出需要插值上采样，可能导致细胞核边界模糊，影响下游分析。同时，多数据集训练中的域差异问题也持续影响其性能。为应对这些挑战，本文提出了AMA-SAM框架，利用主数据集和辅助数据集的协同训练，实现高保真高分辨率的组织学细胞核分割。其贡献包括：引入条件梯度反转层（CGRL）实现多域对齐，选择性应用梯度反转以协调辅助域特征并保护主域特征；设计高分辨率解码器（HR-Decoder），通过冻结SAM原始解码器并引入切片令牌，直接生成高分辨率分割结果，保留精细边界；通过广泛验证，证明了其在主数据集上的优越性能。
Aastract摘要
03
组织病理图像中细胞核的精确分割对生物医学研究和临床应用至关重要。然而，现有方法常因仅依赖单一数据集而容易过拟合，或在简单整合多源数据时，由于域偏移导致性能下降。为解决这些挑战，本文提出了对抗性多域对齐万物分割模型（AMA-SAM）。AMA-SAM通过两项关键创新扩展了万物分割模型（SAM）。首先，它引入了条件梯度反转层（CGRL），这是一个多域对齐模块，旨在协调来自不同辅助域的特征，同时保留对主要数据集至关重要的判别性特征，以促进域不变表示学习。其次，为解决SAM固有的低分辨率输出问题，AMA-SAM设计了一个高分辨率解码器（HR-Decoder），可以直接生成高分辨率的精细分割图，从而捕捉复杂的细胞核边界。值得注意的是，AMA-SAM被设计用于面向主数据集的多域设置，即利用异构辅助数据集优化用户指定的主数据集，并明确减轻由域偏移引起的负迁移。在多个公开数据集上的验证结果表明，AMA-SAM在性能上持续且显著优于现有最新方法。
Method方法
04
AMA-SAM模型包含三个核心组件：整体设计、条件梯度反转层（CGRL）和高分辨率解码器（HR-Decoder）。整体设计上，模型在训练阶段以预训练的SAM为基础网络，通过在每个Transformer层集成MLP层以适应特征表示，并引入CGRL进行多域对齐，同时使用自动提示生成模块SPGen生成粗分割图作为提示。最后，HR-Decoder直接生成全分辨率的细胞核分割输出。推理阶段则简化，直接生成高分辨率分割结果。CGRL是一种面向主数据集的多域对齐策略，通过将域判别器附加到编码器特征上，并有条件地反转梯度。与标准梯度反转层（GRL）不同，CGRL只对辅助样本反转梯度，以促进编码器学习域不变特征，同时确保主数据集的特征空间保持稳定和良好。HR-Decoder旨在解决SAM的低分辨率输出限制。它冻结了原始SAM解码器参数，引入16个新的切片令牌，并通过多令牌切片生成器和像素集成模块处理，直接生成1024x1024的高分辨率分割图，以捕捉精细的细胞核边界和结构细节。训练目标函数结合了精细分割损失、CGRL对抗训练损失和自动提示生成损失。所有实验在单个NVIDIA 4090 GPU上使用PyTorch进行，采用Adam优化器，训练30个epoch。
Discussion讨论
04
本研究提出的AMA-SAM框架，通过融合多源数据并解决高分辨率分割的需求，实现了高精度组织学细胞核分割。其关键创新在于：引入条件梯度反转层（CGRL）有效进行多域对齐，使辅助数据集的特征与主数据集对齐，同时保持主域特征的完整性；设计高分辨率解码器（HR-Decoder），通过整合多个切片令牌和像素集成模块，显著提升了最终分割输出的分辨率和边缘细节质量。与传统的单数据集训练方法相比，AMA-SAM在主数据集上的分割性能显著提高，并能更精细地解析细胞核结构，为数字病理学的实际应用提供了强大的技术支持。虽然AMA-SAM在主数据集上表现出色，但当前训练策略仍有改进空间。首先，AMA-SAM需要预定义一个主数据集，并在引入新的主数据集时进行重新训练，这限制了其普遍适用性。未来的工作可以探索数据协调技术，将所有数据集对齐到统一分布，从而构建一个适用于所有数据集的单一模型。其次，在优化Transformer编码器时，当前策略主要冻结骨干网络层并集成轻量级结构进行微调。虽然这确保了训练效率和稳定性，但现有研究表明，在某些情况下，对SAM编码器进行完全微调可能更有利。因此，未来可以系统性地研究在多数据集设置下进行完全微调，或采用更灵活的调整方法，如低秩适应（LoRA）和视觉提示微调（VPT），以进一步挖掘模型潜力，并评估不同程度和模式的层解冻策略。
Conclusion结论
05
本文提出了AMA-SAM，一个用于组织学细胞核分割的新型多数据集训练框架，有效解决了高分辨率成像和多域数据整合的挑战。该方法基于两项关键创新：一是条件梯度反转层（CGRL），它能够对齐辅助数据集与主数据集的特征分布，在缓解域差异的同时保留主数据固有特性，从而利用多样化训练信息提升模型性能；二是高分辨率解码器（HR-Decoder），通过冻结原始SAM解码器并整合16个额外的切片令牌，经多令牌切片生成器和像素集成模块处理，直接生成1024x1024分辨率的分割输出，有效消除了上采样伪影并增强了细胞核边界的清晰度。广泛的实验和消融研究证实，AMA-SAM显著提高了分割精度，尤其在多数据集下保留精细细节和细胞核形态方面表现出色，为生物医学应用中的高分辨率细胞核分割提供了稳健的解决方案。
Results结果
06
本文通过定性和定量分析评估了AMA-SAM在细胞核语义分割和实例分割任务上的性能。定性比较（图2）显示，在MoNuSeg和TNBC数据集上，相比U-Net和UN-SAM，AMA-SAM显著减少了假阳性分割、过分割和欠分割错误，并提供了更精确的边界描绘，例如在MoNuSeg肝脏组织样本上，AMA-SAM的Dice分数达到0.8461，远高于U-Net的0.6648和UN-SAM的0.8394。定量比较（表1）显示，在MoNuSeg和TNBC数据集上，当作为主数据集训练时，AMA-SAM在语义分割和实例分割的所有评估指标上均优于包括UN-SAM在内的所有基线方法。特别是，在引入辅助数据集后，传统方法（如nnU-Net）和部分SAM基线方法（如UN-SAM）的性能反而下降，而AMA-SAM的性能则持续提升，例如在MoNuSeg上，AMA-SAM的DSC从84.51%提升至85.12%。消融研究进一步证实了CGRL和HR-Decoder的有效性。CGRL的多域对齐策略不仅减轻了辅助数据集引入的负面影响，还增强了主数据集特征表示的保留和精炼（表2）。HR-Decoder相比原始SAM解码器，在DSC、mIoU、F1和HD等指标上均表现出更优的性能（表3）。此外，增加辅助数据集的数量能逐步提升AMA-SAM的分割性能，证明了其多域对齐策略在利用多样数据源方面的有效性（表4）。
Figure图
07
图1.AMA-SAM训练和推理及其关键组件的流程图。我们的AMA-SAM是第一个能够利用具有不同域分布的辅助数据集来增强主数据集上细胞核分割性能的模型。
图2.U-Net（第3列）、UN-SAM（第4列）和AMA-SAM（第5列）在MoNuSeg和TNBC数据集上的细胞核分割结果可视化比较。右侧报告了相应的分割误差，并计算了预测结果与人工标签（第2列）之间的Dice分数。