多模态AI在医疗报告摘要中的应用：SumGPT架构解析与实践

1. 项目概述：当放射科医生遇上AI，一份报告如何“瘦身”？

在放射科的日常工作中，生成一份详尽、准确的影像报告是诊断的核心环节。然而，这些报告往往篇幅冗长、术语专业，包含了从技术参数、影像描述到诊断印象、建议随访等大量信息。对于临床医生，尤其是非放射专科的医生，快速从一份长达数页的报告中提取出最关键的患者状况和诊断结论，是一项耗时且容易出错的任务。这正是“放射学报告摘要生成”技术试图解决的痛点：利用人工智能，将复杂的原始报告自动浓缩为清晰、准确的要点总结。

传统的自动摘要方法多基于纯文本，但放射学报告有其特殊性——它是对一张或多张医学影像的解读。脱离影像本身，仅从文字出发，模型很难真正理解报告中“右肺上叶见斑片状磨玻璃影”与影像中具体位置、形态、密度的对应关系，可能导致摘要丢失关键的视觉上下文信息。因此，多模态学习成为了必然选择。它要求模型不仅能“读懂”报告文本，还要能“看懂”对应的X光、CT或MRI图像，实现图文之间的深度对齐与互补理解。

近期，一项名为SumGPT的研究引起了我们的注意。它并非简单地拼接一个视觉模型和一个语言模型，而是创造性地将T5（Text-to-Text Transfer Transformer）与视觉Transformer（ViT）深度融合，构建了一个专为放射学报告摘要任务设计的框架。其核心思想是：让语言模型在生成摘要的每一个步骤，都能动态地、有选择地“参考”视觉特征。实验结果显示，SumGPT在多个权威评测指标上显著超越了包括BERT+EfficientNet、VisualGPT在内的多种基线模型。这不仅仅是数字上的胜利，更意味着AI生成的摘要，在准确性、流畅度和临床相关性上，正向人类专家的水平靠拢。

本文将深入拆解SumGPT框架的设计思路、实现细节与实战技巧。无论你是医疗AI领域的研究者，希望了解前沿的多模态融合技术；还是对Transformer架构及其应用感兴趣的工程师，想学习如何将NLP与CV模型有机结合；亦或是关注AI在临床落地可能性的从业者，这篇文章都将为你提供从理论到实践的全方位解析。我们将从零开始，探讨如何构建一个能真正理解“图文并茂”的医学报告，并产出高质量摘要的智能系统。

2. 核心架构解析：SumGPT如何实现“图文共舞”？

要理解SumGPT为何能脱颖而出，我们需要先剖析其核心架构的设计哲学。它不是一个黑箱，其高效性源于对Transformer架构的巧妙运用和对医疗多模态任务特性的深刻把握。

2.1 基石选择：为何是T5与ViT？

在模型选型上，SumGPT没有追逐最庞大或最时髦的模型，而是做出了非常务实且高效的选择。

T5（文本到文本的转换Transformer）被选作语言理解和生成的骨干。与BERT（仅编码）、GPT（仅解码）不同，T5采用统一的“文本到文本”框架。你可以将任何NLP任务——无论是翻译、摘要还是问答——都转化为“输入一段文本，输出另一段文本”的形式。对于报告摘要任务，这再合适不过：输入是完整的放射学报告文本，输出就是其摘要。T5的编码器-解码器结构，让它在理解长文本（编码）和生成连贯摘要（解码）两方面都有天然优势。更重要的是，T5在预训练阶段就接触过摘要任务，具备强大的文本压缩和重构能力。

视觉Transformer（ViT）则负责图像特征的提取。传统的卷积神经网络（CNN）如ResNet，通过局部感受野逐步构建全局理解。而ViT将图像视为一系列图像块（patch）的序列，直接使用标准的Transformer编码器来处理这些块序列。这种全局注意力机制让ViT能更好地建模图像中远距离区域之间的关系，对于需要捕捉整体解剖结构（如肺部整体浸润情况）与局部细节（如特定结节形态）的医学影像来说，ViT往往能提取出更丰富、更具语义性的特征。

SumGPT的创新点，不在于发明了T5或ViT，而在于设计了一套高效的“对话”机制，让两者深度协作。它没有采用简单的“特征拼接后送入语言模型”这种早期融合方式，也没有采用“分别处理再后期融合”的松散方式，而是采用了跨模态注意力机制进行中期融合。

2.2 跨模态注意力：图文特征的深度对齐

这是SumGPT架构的灵魂。其工作流程可以概括为以下几步：

1. 特征独立提取：ViT处理输入影像，输出一个视觉特征序列V = [v1, v2, ..., vn]。T5的编码器处理输入报告文本，输出一个文本特征序列T = [t1, t2, ..., tm]。

2. 建立跨模态连接：关键的一步来了。在T5的解码器生成摘要的每一个时间步，它不仅会关注（Attention）到编码器输出的文本特征T，还会通过一个额外的交叉注意力层去关注视觉特征序列V。这意味着，当解码器在思考如何生成“右肺上叶浸润”这个词组时，它可以主动去“询问”图像特征：“图像中哪个区域的特征与‘右肺上叶’和‘浸润’的描述最相关？”

3. 动态特征融合：这个交叉注意力机制会计算解码器当前状态与所有视觉特征v_i的相关性权重，然后生成一个加权的视觉上下文向量。这个向量包含了当前生成步骤最需要的视觉信息。随后，这个视觉上下文向量与来自文本特征的上下文向量进行融合（例如相加或拼接），共同指导下一个词的生成。

这种机制的优越性显而易见：它实现了按需、动态的多模态融合。摘要生成的不同部分，对视觉信息的依赖程度是不同的。生成“检查技术：胸部后前位X光”可能几乎不需要看图；但生成“见约1.5cm毛刺状结节”时，视觉特征就至关重要。跨模态注意力让模型自己学会在何时、以何种程度“看”图。

注意：在实际实现中，需要特别注意视觉特征序列V与文本特征序列T的维度对齐问题。ViT输出的特征维度可能与T5编码器的隐藏层维度不同。通常需要一个线性投影层，将视觉特征映射到与文本特征相同的语义空间，这样才能进行有效的注意力计算。

2.3 与主流方案的对比：SumGPT的差异化优势

为了更清晰地理解SumGPT的设计优势，我们将其与研究中对比的其他几种主流多模态方案进行对比：

从上表可以看出，SumGPT的核心优势在于其深度、动态的融合策略。它不像CLIP那样只做一个全局的图文匹配，也不像简单拼接那样让图文“各自为政”，而是让语言生成过程与视觉理解过程持续地、交互式地进行。这更贴近放射科医生的工作模式：一边看图，一边组织描述语言，视线和思维在图像与报告之间不断来回切换。

3. 从零构建SumGPT：数据、训练与评估全流程

理解了架构的精妙之处，下一步就是将其付诸实践。构建一个如SumGPT般的多模态摘要系统，是一个系统工程，涉及数据、预处理、模型实现、训练策略和评估标准等多个环节。任何一个环节的疏忽都可能导致“理想很丰满，现实很骨感”。

3.1 数据准备：医疗多模态数据的特殊性与处理

任何AI模型的上限都取决于数据。对于放射学报告摘要，我们需要的是成对的(医学影像，完整报告，摘要)三元组。公开数据集如IU X-Ray（印第安纳大学胸部X光数据集）是常用的起点，它包含了数千份胸部X光片及其对应的放射学报告。

图像预处理流程：

1. 统一尺寸：医学影像设备输出的图像尺寸不一。需将所有图像缩放到固定尺寸，如224x224或384x384，以适应ViT的输入要求。常用双线性插值。
2. 标准化：将像素值从[0, 255]归一化到[0, 1]或进行基于数据集的标准化（如减均值除标准差）。这能加速模型收敛，提高训练稳定性。公式简单：像素值 / 255.0。
3. 数据增强（仅限训练集）：为了提升模型泛化能力，防止过拟合，对训练图像进行随机增强是必要的。包括：
   • 几何变换：水平/垂直翻转（对于胸部X光，水平翻转需谨慎，可能改变左右肺意义）、小幅随机旋转（如±10度）、平移。
   • 色彩/强度变换：医学影像通常是灰度的，但可以调整对比度、亮度，或添加轻微高斯噪声来模拟成像差异。
   • 重要提示：必须确保增强操作不改变图像的医学含义。例如，不应进行导致解剖结构严重畸变的弹性变换。

文本预处理流程：

1. 清洗与规范化：
   • 大小写统一：全部转为小写，避免模型将“Lung”和“lung”视为不同词。
   • 去除无关符号：删除报告头尾的固定模板文字、特殊标记、多余空格和换行符。
   • 处理缩写与术语：医疗报告充满缩写（如“RUL”代表右肺上叶）。最佳实践是建立一个缩写-全称映射表，将其标准化，或至少确保数据集中用法一致。
2. 分词与编码：
   • 使用T5对应的预训练分词器（如T5Tokenizer）。它会将文本分解为子词单元（subword），例如“pneumonia”可能被分为“pneum”和“##onia”。
   • 设定最大序列长度（如512）。长于它的报告进行截断，短于它的进行填充（padding）。这里有个关键细节：摘要（输出）和报告（输入）应使用相同的分词器，但通常摘要的最大长度设得更短（如128或256）。
3. 构建数据对：最终，每个样本应被处理为：
   • image_tensor: 形状为[3, H, W]的归一化图像张量（即使原图是灰度，ViT通常要求3通道，可通过复制灰度通道得到）。
   • input_ids: 报告文本对应的token id序列。
   • attention_mask: 指示哪些位置是真实token（1），哪些是填充符（0）。
   • labels: 摘要文本对应的token id序列（用于计算损失）。

实操心得：医疗文本清洗中，停用词去除需要特别小心。在通用领域，“the”，“is”等词可以去掉。但在医学报告中，“no”在“no acute findings”（未见急性病变）中是关键否定词，绝不能删除。建议使用自定义的医学停用词表，或干脆在初期不去除任何单词，让模型自己学习重要性。

3.2 模型搭建与训练策略

有了处理好的数据，接下来就是搭建SumGPT模型。虽然原论文未开源完整代码，但基于其描述，我们可以用PyTorch和Hugging Face库勾勒出核心实现步骤。

步骤一：加载预训练模型

from transformers import T5ForConditionalGeneration, T5Tokenizer from transformers import ViTModel, ViTFeatureExtractor import torch.nn as nn # 加载预训练模型 text_encoder_decoder = T5ForConditionalGeneration.from_pretrained('t5-base') vision_encoder = ViTModel.from_pretrained('google/vit-base-patch16-224-in21k') tokenizer = T5Tokenizer.from_pretrained('t5-base') feature_extractor = ViTFeatureExtractor.from_pretrained('google/vit-base-patch16-224-in21k') # 冻结部分参数（可选，用于微调策略） # for param in vision_encoder.parameters(): # param.requires_grad = False

步骤二：构建跨模态融合模块这是自定义的核心层。我们需要在T5解码器的每一层（或特定层）插入一个交叉注意力模块，使其能关注ViT提取的图像特征。

class CrossModalAttentionLayer(nn.Module): def __init__(self, d_model, n_heads): super().__init__() # 一个标准的MultiHeadAttention，其key和value来自图像，query来自文本解码器状态 self.cross_attn = nn.MultiheadAttention(embed_dim=d_model, num_heads=n_heads, batch_first=True) self.norm = nn.LayerNorm(d_model) self.dropout = nn.Dropout(0.1) def forward(self, text_query, visual_kv): # text_query: 来自T5解码器的隐藏状态 [batch_size, seq_len, d_model] # visual_kv: ViT提取的图像特征 [batch_size, num_patches+1, d_model] (加上[CLS] token) attn_output, _ = self.cross_attn(query=text_query, key=visual_kv, value=visual_kv) output = self.norm(text_query + self.dropout(attn_output)) return output # 然后需要将此类层集成到T5解码器的每个block中，这通常需要部分重写T5模型结构。

步骤三：定义完整的SumGPT模型

class SumGPT(nn.Module): def __init__(self, text_model, vision_model, cross_attn_layers): super().__init__() self.text_model = text_model # T5 self.vision_model = vision_model # ViT self.cross_attn_layers = nn.ModuleList(cross_attn_layers) # 一系列跨模态层 # 可能需要一个投影层，如果ViT和T5的隐藏维度不一致 self.visual_proj = nn.Linear(vision_model.config.hidden_size, text_model.config.d_model) def forward(self, input_ids, attention_mask, pixel_values, labels=None): # 1. 提取视觉特征 visual_features = self.vision_model(pixel_values).last_hidden_state # [batch, num_patches+1, hid_dim] visual_features = self.visual_proj(visual_features) # 投影到文本特征空间 # 2. 提取文本特征（通过T5编码器） encoder_outputs = self.text_model.encoder(input_ids=input_ids, attention_mask=attention_mask) # 3. 解码生成（融合视觉信息） # 这里需要自定义解码过程，在每一步调用cross_attn_layers # 伪代码：在T5解码器的前向传播中，将visual_features作为额外的encoder_hidden_states传入， # 并在每个解码层执行cross_attn_layers[i](hidden_state, visual_features) # 具体实现需修改Hugging Face T5模型的生成逻辑，较为复杂。 # 如果labels提供，计算损失；否则用于推理生成。 # ... # 返回损失或生成的结果

训练策略与超参数设置：根据论文，SumGPT的成功离不开精心调校的训练配置。

• 优化器：AdamW。这是当前训练Transformer模型的标准选择，它修正了Adam的权重衰减方式，有助于防止过拟合。
• 学习率：5e-5。这是一个经典的微调（fine-tuning）学习率。对于预训练模型，过大的学习率（如1e-3）会导致知识遗忘和训练不稳定；过小（如1e-6）则收敛缓慢。5e-5是一个平衡点。
• 批次大小：8。受限于GPU内存（尤其是图像特征），批次大小通常较小。可以使用梯度累积（Gradient Accumulation）来模拟更大的有效批次大小，稳定训练。
• 训练轮数：5个epoch。论文显示模型在3个epoch后基本收敛。医疗数据量通常有限，过多epoch容易过拟合。早停法（Early Stopping）是必备技巧，根据验证集上的ROUGE分数不再提升时停止训练。
• 损失函数：标准的交叉熵损失（Cross-Entropy Loss），用于衡量生成摘要与真实摘要每个位置单词的差异。

3.3 评估指标：如何判断摘要的“好坏”？

在摘要任务中，我们不能只看损失函数下降，必须用贴近人类评价的指标来衡量生成质量。SumGPT论文中主要使用了以下几类指标：

1. ROUGE (Recall-Oriented Understudy for Gisting Evaluation)ROUGE通过计算生成摘要与参考摘要（人工撰写）之间的n-gram重叠度来评估。最常用的有：

• ROUGE-1：衡量单个词（unigram）的重叠率。反映内容关键词的覆盖度。
• ROUGE-2：衡量连续两个词（bigram）的重叠率。反映短语和词序的匹配程度。
• ROUGE-L：基于最长公共子序列（LCS）。它不要求连续匹配，能更好地捕捉句子的整体结构和语义连贯性。

2. BLEU (Bilingual Evaluation Understudy)源自机器翻译，衡量生成文本的精确度。它计算n-gram精度，并对过短的生成结果施加惩罚（Brevity Penalty）。在摘要任务中，BLEU侧重于生成文本的流畅性和用词准确性。

3. BERTScore这是一个基于语义的指标。它使用预训练的BERT模型将生成摘要和参考摘要中的每个词转换为上下文向量，然后计算这些向量之间的余弦相似度（通常使用贪婪匹配）。BERTScore能更好地捕捉语义相似性，即使措辞不同但意思相同也能得高分。

这些指标各有侧重：ROUGE和BLEU是基于词汇重叠的硬指标，计算高效但不够灵活；BERTScore是基于语义嵌入的软指标，更符合人类直觉但计算成本高。在研究中，通常需要综合报告多个指标，才能全面评估模型性能。SumGPT在ROUGE-1/2/L和BLEU上均超过0.85，这是一个非常出色的成绩，表明其生成摘要与专家撰写的参考摘要在词汇、短语和句子结构上高度一致。

4. 实战挑战与调优技巧：避开多模态融合的那些“坑”

纸上得来终觉浅，绝知此事要躬行。在复现或应用SumGPT这类多模态模型时，你会遇到一系列论文中不会详述的实战挑战。以下是我从经验中总结出的关键问题和解决思路。

4.1 模态失衡：当模型“偏科”时怎么办？

在多模态训练中，最常见的问题是模型过度依赖某一个模态（通常是文本，因为文本信号更强、更直接），而忽视了另一个模态。你可能会发现，即使遮住图像，模型的性能下降也不明显——这说明视觉模态没起到应有作用。

解决方案：

• 调整损失权重：可以为视觉特征重建或图文匹配设计一个辅助损失（Auxiliary Loss），并与主摘要生成损失加权求和。在训练初期，可以给辅助损失较高的权重，“强迫”模型关注图像。
• 数据增强的针对性：对文本进行适度的噪声注入，如随机遮盖（Mask）部分关键词汇，迫使模型必须从图像中寻找信息来补全。反之，在极端情况下，也可以尝试提供不匹配的图文对作为负样本，让模型学会拒绝错误的关联。
• 梯度控制：检查训练时视觉编码器（ViT）和文本编码器（T5）的梯度幅度。如果ViT的梯度始终很小，说明其更新缓慢。可以尝试为ViT设置稍大的学习率，或先冻结文本编码器，单独训练视觉部分与融合层一段时间，再进行联合微调。

4.2 过拟合：在小规模医疗数据上的魔咒

高质量的医疗多模态数据标注成本极高，数据集规模通常有限（如IU X-Ray仅几千对）。像SumGPT这样参数量的模型，极易在小数据上过拟合，表现为训练集损失持续下降、指标很好，但验证集性能早早就停滞不前甚至下降。

解决方案：

• 强力的数据增强：如前所述，对图像进行多种无损语义的变换。对于文本，除了随机遮盖，还可以使用回译（将摘要翻译成另一种语言再译回来）来生成语义不变但表述多样的样本。
• 分层学习率与渐进解冻：不要对所有层使用相同的学习率。靠近输出的任务相关层应该用较大的学习率快速调整，而底层的预训练特征提取层应该用很小的学习率（如1e-6）缓慢微调，甚至先冻结一段时间。这就是“渐进解冻”策略。
• Dropout与权重衰减：确保在模型的关键融合层（如跨模态注意力层、最后的输出层）使用了足够的Dropout率（如0.1-0.3）。同时，AdamW优化器中权重衰减参数（weight_decay）的设置也至关重要，通常设在0.01到0.1之间，有助于泛化。
• 早停与模型集成：严格依赖验证集指标进行早停。此外，可以保存训练过程中多个epoch的检查点，在推理时进行模型集成（Ensemble），能有效平滑单模型的不稳定性，提升最终效果。

4.3 生成质量的控制：避免“车轱辘话”和事实错误

抽象式摘要生成（Abstractive Summarization）模型，如基于T5的SumGPT，容易产生两种问题：1）重复生成（Repetition），即反复输出相同的短语；2）事实不一致（Hallucination），即生成报告中未提及或与图像矛盾的信息。这在医疗领域是致命的。

解决方案：

• 解码策略调优：
  • 束搜索（Beam Search）：论文中使用了束宽为5的束搜索。相比贪婪解码，它能找到更优的序列，但计算量更大。束搜索能缓解一部分重复问题，但有时会导致生成文本过于保守、模板化。
  • 重复惩罚（Repetition Penalty）：在生成时，对已经出现过的token在下一步的概率分布上施加惩罚（如乘以一个小于1的系数），强制模型选择新词。这是解决重复问题最直接有效的方法之一。
  • 核采样（Top-p/Nucleus Sampling）与温度（Temperature）：想要生成更多样、更自然的文本，可以尝试核采样（如top-p=0.9）并配合适当的温度（如T=0.7）。但这会引入不确定性，在医疗等高风险领域需谨慎使用，通常束搜索更稳妥。
• 后处理与约束生成：
  • 可以引入关键词或实体列表约束，确保摘要必须包含或避免某些关键医学术语（如“正常”、“未见”、“结节”等）。
  • 对于生成的事实错误，目前最前沿的解决方案是引入检索增强或知识图谱。在生成过程中，让模型能够“查阅”一个外部的医学知识库或类似的病例报告，以校准其生成内容。虽然SumGPT原论文未涉及，但这是提升临床可靠性的重要方向。

4.4 计算资源与效率优化

ViT和T5都是参数大户，联合训练对GPU内存和算力要求很高。

解决方案：

• 混合精度训练（AMP）：使用PyTorch的自动混合精度（Automatic Mixed Precision）训练，将大部分计算保持在半精度（FP16），既能大幅减少内存占用，又能加快训练速度，通常对最终精度影响甚微。
• 梯度检查点（Gradient Checkpointing）：这是一种用计算时间换内存的技术。它在前向传播时不保存所有中间激活值，而是在反向传播时重新计算一部分。对于显存严重不足的情况，这是救命稻草。
• 模型蒸馏：如果最终需要部署，可以考虑知识蒸馏。用训练好的大型SumGPT作为教师模型，去指导一个更小、更高效的模型（如小型T5+小型ViT），在尽量保持性能的同时大幅提升推理速度。

5. 结果深度分析与未来展望：SumGPT的启示与边界

SumGPT在IU X-Ray数据集上取得了ROUGE和BLEU分数均超过0.85的优异成绩，这无疑证明了其架构的有效性。但作为实践者，我们不能只看数字，更要理解这些数字背后的含义、模型的局限以及未来的改进空间。

5.1 性能数字背后的故事

• 快速收敛：论文中指出，SumGPT在第2个epoch就达到了接近最终的性能峰值。这说明了其架构设计的高效性。预训练的T5和ViT已经具备了强大的基础能力，而设计的跨模态融合机制能让他们迅速适应新任务，不需要漫长的磨合期。这在数据稀缺的医疗领域是一个巨大优势。
• 全面领先：与BERT+EfficientNet、VisualGPT等基线模型相比，SumGPT在所有指标上均大幅领先（例如，ROUGE-1领先约35个百分点）。这清晰地表明，简单的特征拼接或早期融合无法满足复杂医疗多模态任务的需求，深度、动态的交互是关键。
• 消融实验的启示：论文中的消融研究（Ablation Study）极具价值。它证实了：
  1. ViT不可或缺：用CLIP替换ViT导致性能显著下降，说明针对图像分类预训练的ViT在提取诊断相关视觉特征上更具优势。
  2. 融合机制至关重要：关闭跨模态注意力层，性能急剧下滑，证明简单的双流并行处理是远远不够的。
  3. T5的生成优势：用LSTM替换T5后效果变差，凸显了Transformer架构在长文本理解和生成上的统治力。

5.2 当前局限与挑战

尽管成绩亮眼，但我们必须清醒地认识到SumGPT以及这类方法的当前局限：

1. 数据依赖与泛化能力：模型在IU X-Ray（胸部X光）上训练，能否直接应用于CT、MRI或超声报告？不同解剖部位（如头部、腹部）的影像学和报告风格差异巨大。模型的泛化能力仍需在更广泛、更多样的数据集上进行验证。
2. “黑箱”决策与临床可信度：模型为何生成“疑似肺炎”而不是“考虑感染”？其决策过程对于医生来说是不透明的。在高风险医疗场景，缺乏可解释性会严重阻碍临床采纳。未来需要集成注意力可视化（展示生成每个词时模型关注的图像区域和报告文本）或概念归因等技术。
3. 评价指标的局限性：ROUGE/BLEU基于n-gram重叠，BERTScore基于语义相似，但它们都无法直接衡量摘要的临床正确性。一个摘要可能和参考摘要用词不同但医学上完全正确，得分却可能偏低。亟需引入临床医生的人工评价或基于医学知识图谱的事实一致性检查作为补充指标。
4. 复杂报告与罕见病：对于描述极其复杂、包含多种异常发现的报告，或者涉及罕见病的报告，模型性能可能会下降。因为训练数据中这类样本很少。这需要更精细的数据集构建和少样本学习技术的支持。

5.3 未来演进方向

基于现有局限，我认为该领域有几个充满潜力的发展方向：

1. 迈向大规模、高质量多模态医学基础模型：当前的SumGPT仍属于针对特定任务的微调模型。未来的趋势是构建类似于BiomedCLIP或Med-PaLM M这样的通用医学多模态基础模型，在海量、高质量的医学图文对上预训练。下游任务（如报告摘要、视觉问答）只需轻量微调即可获得强大能力，并具备更好的泛化性。
2. 检索增强生成（RAG）与知识注入：为了解决事实幻觉和罕见病问题，可以将模型与一个庞大的医学文献数据库或医院内部的报告库相结合。在生成摘要时，先检索最相关的若干份报告或医学条目，将这些信息作为上下文提供给模型。这相当于给模型配了一个随时可查的“医学教科书”。
3. 人机协同与交互式生成：最终的落地形态可能不是全自动生成，而是人机协同。模型生成初步摘要草案，医生可以对其进行编辑、修正或通过勾选、提问等方式与模型交互，模型根据反馈实时 refine 摘要。这既能提升效率，又能保证最终输出的权威性和准确性。
4. 超越摘要：结构化输出与决策支持：摘要只是第一步。更高级的应用是直接生成结构化报告，按照“检查技术”、“对比”、“发现”、“印象”、“建议”等标准字段填充内容。甚至更进一步，模型可以结合影像特征和患者历史，直接给出概率化的鉴别诊断列表，作为医生的决策支持工具。

SumGPT为我们展示了一条清晰的技术路径：通过深度、动态的跨模态融合，让AI能够像专家一样，综合解读影像与文本，产出精炼的总结。这条路虽然仍有诸多挑战，但其在提升医疗效率、标准化报告质量、辅助基层诊疗方面的潜力是毋庸置疑的。作为开发者或研究者，我们的任务不仅是复现SOTA结果，更是深入临床场景，理解真实需求，用技术去解决那些真正困扰医生和患者的问题。从这个角度看，SumGPT不仅仅是一个模型框架，更是医疗AI迈向更深层次理解与协作的一块重要基石。