MICCAI 2025 | RadIR：基于放射学报告挖掘实现多粒度医学图像检索
引言
医学影像检索正在成为临床诊断、科研队列筛选和教学病例复用中的关键能力。医生往往不只是想找“相似影像”，而是希望按照某个解剖结构或病理细节检索相似病例，例如“主动脉形态相似”“胸膜表现相似”或“肺部结节相似”。这类需求天然具有多粒度特征，但传统检索模型通常依赖全图级标签或少量人工标注，难以稳定覆盖细粒度解剖区域。
近期，来自中国科学技术大学、上海交通大学和上海人工智能实验室的团队提出了RadIR 框架。该研究利用放射学报告自动挖掘图像间的多粒度相似性，构建了面向胸部 X 光和胸部 CT 的检索基准，并开发出支持自然语言解剖结构提示的医学图像检索系统。实验结果显示，RadIR 在 78 项评估指标中有 77 项达到最优，为细粒度医学影像检索提供了一条可扩展路径。
基本信息
图片【1】RadIR 论文首页、标题与作者单位信息
- 文章标题：RadIR: A Scalable Framework for Multi-Grained Medical Image Retrieval via Radiology Report Mining
- 会议：MICCAI 2025（early accept）
- 研究方向：基于放射学报告挖掘的多粒度医学图像检索
- 发表时间：2025 年
- 研究单位：中国科学技术大学、上海交通大学、上海人工智能实验室
- 数据集：MIMIC-IR（胸部 X 光）、CTRATE-IR（胸部 CT）
- 代码地址：https://github.com/MAGIC-AI4Med/RadIR
- 论文地址：https://www.arxiv.org/abs/2503.04653
- 核心模型：Vision Transformer 图像编码器、BERT 文本编码器、报告挖掘模块、条件化检索融合模块
- 训练策略：两阶段训练范式，结合 Masked InfoNCE Loss 与 Triplet Loss 优化图像-报告对齐和图像相似性排序
创新点总结
- 全自动多粒度相似性建模：基于放射学报告结构化解析，自动提取解剖区域描述并量化语义相似度，减少对人工标注的依赖。
- 大规模医学图像检索基准构建：创建 MIMIC-IR 与 CTRATE-IR，覆盖胸部 X 光和胸部 CT 两类场景，并支持多解剖结构的细粒度评估。
- 解剖结构条件化检索：通过可学习融合模块，将自然语言提示与视觉特征结合，实现“按指定解剖结构找相似病例”。
- 跨模态检索性能突破：在图像-图像检索、图像-报告检索和条件化图像检索任务中全面超过多种 CLIP 系列医学模型。
研究背景与意义
随着医学影像数据规模快速增长，临床诊疗和科研分析都需要高效的病例检索工具。然而，“相似影像”的定义在医学场景中并不固定：同一张胸片可以在心脏形态上相似，也可以在胸膜表现、肺野纹理或主动脉形态上相似。换言之，医学图像相似性不是单一全局概念，而是随临床关注点变化的多粒度关系。
现有方法通常存在三类限制：
- 标注成本高：细粒度解剖区域相似性需要大量专业医生标注，难以扩展到大规模影像库。
- 相似性定义粗糙：许多模型只学习全图级图文匹配，无法区分不同解剖结构上的局部差异。
- 检索交互不灵活：临床用户很难通过自然语言指定关注区域，例如“只看主动脉”或“重点比较胸膜”。
RadIR 的关键思路是：放射学报告本身已经包含了医生对多个解剖结构和异常表现的结构化描述。如果能够从报告中自动拆解出不同区域的描述，并计算这些描述之间的语义相似性，就可以把报告转化为大规模、多粒度的图像相似性监督信号。
因此，RadIR 不只是提出一个检索模型，更重要的是提出了一套可扩展的数据构建和训练范式。它让医学图像检索从“人工标注少量相似对”转向“自动挖掘报告中的多粒度监督”，对临床病例检索、相似病例辅助诊断、医学教育和科研队列发现都有潜在价值。
研究内容与方法
本研究围绕 RadIR 框架展开，核心目标是通过放射学报告挖掘自动构建多粒度图像相似性关系，并训练一个可支持全局检索、跨模态检索和解剖结构条件检索的医学影像检索系统。
数据集构建流程
图片【2】RadIR 基于放射学报告的解剖区域拆解与相关性量化流程
研究使用两个权威医学影像数据源构建检索基准：
- MIMIC-CXR：包含 377,110 份胸部 X 光影像-报告配对数据。
- CT-RATE：包含 25,692 份非增强胸部 CT 影像-报告配对数据。
为了从报告中获得细粒度监督，研究团队设计了三个自动化步骤：
解剖术语集构建
基于 RadGraph-XL 从放射学报告中提取高频解剖结构，最终确定 90 个临床常用解剖术语，并建立同义词表和层次化结构。例如，肺部可以继续细分为左肺、右肺、肺叶等子区域。
区域描述提取
将报告的 Findings 部分按句子切分，再将每个句子与解剖术语集匹配，建立“局部文本描述-解剖结构”的对应关系。例如，报告中关于主动脉的句子会被归入主动脉区域描述。
层次结构整合
利用解剖层次关系，将子结构描述聚合到父结构，形成多层级区域描述。这一步让模型既能学习局部结构，也能兼顾更高层级的整体区域。
在完成结构化解析后，研究使用 RaTEScore 计算不同报告片段之间的语义相似度，并将其转化为图像间的相关性排序。最终，研究提取了 2,582,477 条基于解剖区域的细粒度描述，覆盖 90 个解剖结构，量化了超过 1,320 亿个细粒度图像间相关性关系。
RadIR 模型架构
图片【3】RadIR 两阶段训练框架与解剖结构条件化检索模块
RadIR 采用两阶段训练范式。
第一阶段：多模态预训练
第一阶段基于 CLIP 思路构建图像-文本联合表示空间。模型使用 Vision Transformer 作为图像编码器，使用 BERT 作为文本编码器，分别编码医学图像和放射学报告。
与普通 CLIP 不同，RadIR 的预训练目标不仅关注图像与报告是否匹配，还进一步利用报告挖掘得到的图像相似性排序，让模型学习“哪张图像更相似”。因此，模型同时使用两类监督信号：
- 图像-文本相似度监督：对齐影像与对应报告。
- 图像-图像相似度监督：根据报告挖掘得到的相似性排序学习细粒度图像关系。
图片【4】Masked InfoNCE 相关训练目标公式
图片【5】RadIR 预训练阶段整体损失函数
该阶段结合 Masked InfoNCE Loss 和 Triplet Loss 进行优化。其中，Masked InfoNCE 用于处理报告相似性带来的多正样本关系，Triplet Loss 用于约束相似图像和不相似图像之间的排序差异。
第二阶段：条件化图像检索
第二阶段面向“按解剖结构检索”的临床需求进行扩展。用户可以输入自然语言提示，例如 Aorta、Pleura、Lung 或 Heart，模型需要根据该提示动态聚焦到对应的视觉区域。
为此，RadIR 引入融合模块，将文本提示与视觉特征进行注意力融合，生成条件化图像表示。随后，模型计算条件化图像间相似度，并使用 Triplet Loss 继续优化。这一设计使 RadIR 不再只返回全图相似结果，而是能够按指定解剖结构返回更符合临床意图的相似病例。
实验评估方法
研究在 MIMIC-IR 和 CTRATE-IR 两个数据集上进行系统评估，任务覆盖三个层面：
- 无约束图像-图像检索：输入一张图像，检索整体相似的影像。
- 图像-报告跨模态检索：包括图像到文本和文本到图像检索。
- 解剖结构条件化检索：输入图像和解剖结构提示，检索指定区域相似的病例。
对比方法包括 MedCLIP、BiomedCLIP、PMC-CLIP、CT-CLIP 等医学多模态模型。评估指标包括 Recall@K、mAP、NDCG 等检索指标，用于衡量模型能否把最相关样本排在靠前位置。
实验结果分析
多粒度检索综合表现
RadIR 在图像-图像检索和图像-报告跨模态检索中整体领先。相比传统 CLIP 系列医学模型，RadIR 的优势来自两个方面：一是它不只学习图文配对关系，还学习图像之间的相似性排序；二是它把放射学报告拆解到解剖区域级别，从而获得更细的监督信号。
在 78 项评估指标中，RadIR 有 77 项达到最优，说明其提升并不是局限在单一数据集或单一任务上，而是对全局检索、局部检索和跨模态检索都有稳定增益。
条件检索在解剖结构上的性能优势
在 MIMIC-IR 数据集上，RadIR 在胸膜、骨骼、肺、膈肌、血管、胸廓、心脏、气道、胃和支气管等解剖结构上均取得明显优势。表格中，RadIR 在 Recall@3、Recall@5 和 Recall@10 的平均结果均高于 PMC-CLIP、BiomedCLIP 和 MedCLIP。
图片【6】RadIR 在 MIMIC-IR 胸部 X 光数据集上的解剖结构条件检索结果
这种提升说明，RadIR 不只是依赖整体图像风格进行匹配，而是能够根据解剖提示提取更有针对性的局部表示。例如，当查询目标是 Pleura 时，模型会更关注胸膜相关表现；当查询目标是 Heart 时，模型会更关注心影形态和相关异常。
图片【7】RadIR 在 CTRATE-IR 胸部 CT 数据集上的解剖结构条件检索结果
在 CTRATE-IR 数据集上，RadIR 相比 CT-CLIP 同样取得稳定提升。无论是样本量较多的 Bone、Heart、Bronchie、Trachea、Pleura，还是样本量较少的 Gallbladder、Clavicle、Ascending aorta、Pulmonary artery、Breast、Pancreas、Stomach，RadIR 的 Recall@3、Recall@5 和 Recall@10 大多显著更高。
这说明条件化检索机制对长尾解剖区域尤其有价值。传统模型容易被高频区域和全局图像特征主导，而 RadIR 通过文本提示动态选择关注区域，在低频结构上也能保持更强的检索能力。
解剖条件检索的可视化案例验证
论文中的可视化案例进一步展示了 RadIR 和基线模型在局部病理匹配上的差异。例如，在“男性双侧乳房发育症”相关案例中，RadIR 基于 Breast 提示能够检索到更符合相同病理特征的病例，而 CT-CLIP 更容易受到整体图像分布或性别相关偏差影响。
类似地，在肺部结节检索中，RadIR 不只是匹配整体影像风格，还能够关注结节大小、位置和局部形态等细节。对于临床使用而言，这类能力比单纯全图相似更重要，因为医生往往需要查找的是某个区域、某类异常或某个鉴别诊断线索。
两阶段训练对检索性能的影响
消融实验显示，两阶段训练是 RadIR 性能提升的重要来源。
- 预训练阶段贡献：Masked InfoNCE 与 Triplet Loss 的联合优化让模型同时学习图文对齐和图像相似性排序，比单一对比学习更适合医学检索。
- 条件检索模块贡献：引入解剖结构提示后，模型能够动态聚焦目标区域，在局部检索任务中获得更高 Recall。
- 长尾区域收益明显：对于样本量较少的解剖结构，条件化表示能减少全局特征干扰，提高检索稳定性。
整体来看，RadIR 的提升并不是来自更大的模型规模，而是来自更贴合医学检索任务的数据构建方式和训练目标设计。
优势与局限
优势
多粒度相似性建模能力强
RadIR 通过解析放射学报告中的解剖结构描述，将医学图像相似性从全局层面扩展到局部区域层面，更符合临床真实检索需求。
数据构建可扩展
研究利用放射学报告自动生成图像相似性排序，显著降低人工标注成本，使大规模细粒度医学影像检索基准成为可能。
检索性能全面领先
RadIR 在图像-图像检索、图像-报告检索和解剖结构条件化检索中均取得优势，在 78 项评估指标中有 77 项达到最优。
临床交互方式更自然
支持使用自然语言解剖结构提示进行检索，便于医生按具体临床问题查找相似病例，而不是只能依赖全图相似度。
局限
依赖报告质量
RadIR 的相似性监督来自放射学报告。如果报告描述不完整、用词不一致或遗漏关键异常，可能影响相似性量化质量。
解剖术语覆盖仍有限
当前系统覆盖 90 个高频解剖结构，对罕见结构、复杂组合病变或跨系统疾病表现的检索能力仍需进一步验证。
计算与存储开销较大
构建超过 1,320 亿个细粒度图像相关性关系，对数据处理、存储和模型训练资源都有较高要求。
跨机构泛化仍需验证
目前评估主要基于 MIMIC-CXR 和 CT-RATE，模型在不同医院、不同设备、不同报告风格下的泛化能力还需要更多外部验证。
总结
RadIR 的核心贡献在于，它把放射学报告从“图像配套文本”进一步转化为“多粒度相似性监督”。通过自动解析报告中的解剖结构描述，RadIR 构建了大规模细粒度检索基准，并训练出能够支持全局检索、跨模态检索和解剖结构条件检索的医学影像检索系统。
对于医学影像 AI 来说，这项工作提供了一个重要启发：临床报告中蕴含的大量结构化和半结构化知识，可以被系统性挖掘为模型监督信号。未来，如果 RadIR 能在更多模态、更多器官和更多临床场景中验证，其思路有望推动医学影像检索从“相似图片搜索”走向真正面向临床问题的智能病例检索。
参考文献
- RadIR: A Scalable Framework for Multi-Grained Medical Image Retrieval via Radiology Report Mining。本文核心论文，提出基于放射学报告挖掘的多粒度医学图像检索框架，并构建 MIMIC-IR 与 CTRATE-IR 两个检索基准。
- RadGraph-XL: A Large-Scale Entity and Relation Extraction Dataset for Radiology Reports。该研究提供大规模放射学报告实体与关系抽取资源，是 RadIR 构建解剖术语集和解析区域描述的重要基础。
- RaTEScore: A Reference-Free Metric for Evaluating the Quality of Radiology Reports。该方法用于计算放射学报告语义相似性，RadIR 借助其量化解剖区域描述之间的相关性。
- Learning Transferable Visual Models From Natural Language Supervision。CLIP 的基础论文，RadIR 在图像编码器和文本编码器设计上借鉴了图文对比学习框架。
- MIMIC-CXR: A Large Publicly Available Database of Labeled Chest Radiographs。MIMIC-CXR 是 RadIR 构建 MIMIC-IR 胸部 X 光检索基准的数据基础。