Radiol Imaging Cancer 苏大一附属胡春红团队：基于MRI和HE的多模态深度学习模型预测肝细胞癌包裹性血管模式
01
文献信息
本次分享的文献是由苏州大学第一附属医院胡春红团队联合唐山人民医院核医学科、苏州大学放射医学与防护学院、南通大学附属南通第三医院病理科/放射科等多中心团队在《Radiology: Imaging Cancer》（中科院2区，IF=6.3）上发表的研究“Deep Learning Radiopathomics Models Based on Contrast-enhanced MRI and Pathologic Imaging for Predicting Vessels Encapsulating Tumor Clusters and Prognosis in Hepatocellular Carcinoma”即基于对比增强磁共振成像和病理图像的深度学习放射病理学模型预测肝细胞癌肿瘤簇包绕血管及预后，该研究基于多中心回顾性数据，开发并验证了结合对比增强MRI和病理图像的深度学习放射病理组学模型，用于预测肝细胞癌（HCC）中的血管包绕肿瘤团簇（VETC）模式，并构建列线图模型进行早期复发和无进展生存期（PFS）的风险分层。
图 1：患者选择流程与研究设计图
A部分：患者筛选流程
研究纳入3个医疗中心的HCC患者，分阶段完成筛选与分组：
初始纳入池：
中心1（2015年1月-2023年2月）：495例符合“术前10天内钆塞酸增强MRI+肝切除+病理确诊HCC且有VETC数据”的患者；
中心2-3（2016年1月-2022年6月）：142例符合上述相同纳入标准的患者。
排除标准应用：
中心1排除3类患者：术前抗肿瘤治疗（16例）、临床信息不全（10例）、影像质量差（15例），最终纳入454例；
中心2-3排除3类患者：术前抗肿瘤治疗（5例）、临床信息不全（5例）、影像质量差（8例），最终纳入124例。
分组结果：
中心1的454例按7:3分层抽样分为训练集（317例）和内部测试集（137例）；
中心2-3的124例作为外部测试集；
随访丢失情况：训练集39例、内部测试集15例、外部测试集2例，最终522例纳入生存分析。
B部分：研究技术路线
MRI与病理图像采集→深度学习模型构建（ResNet50、DenseNet121等）→放射病理学评分计算（DRS、手工/深度学习病理组学评分）→生存分析
02
研究背景及目标
研究背景
疾病负担：HCC是全球第三大癌症相关死亡原因，即使诊疗技术进步，晚期患者5年生存率仍仅18%，核心原因是肿瘤在基因组、分子和组织学水平的高度异质性。
VETC的临床意义：VETC是HCC的特殊血管模式（CD34阳性内皮窦状血管包绕肿瘤簇），与肿瘤转移、不良预后直接相关，且可预测患者对索拉非尼的治疗获益，但需术后病理检查确诊，术前缺乏有效评估手段。
技术背景：深度学习（尤其是Transformer模型）在医学影像分析中展现优势（优于传统CNN的全局特征捕捉能力），但在HCC放射组学-病理组学联合预测中的应用较少；现有研究多单独使用放射组学或病理组学，缺乏整合两者的多模态模型用于VETC及预后预测。
研究目标
基于对比增强MRI和病理图像，开发并验证DL放射组学与病理组学模型，实现HCC患者VETC的术前预测；
筛选独立预后因素，构建整合放射组学与病理组学评分的列线图，用于HCC患者早期复发（术后2年内）和无进展生存期（PFS）的风险分层。
03
数据和方法
研究数据
数据来源：多中心回顾性研究，共578例HCC患者，分为训练集（317）、内部验证集（137）、外部验证集（124）。
影像学数据：Gd-EOB-DTPA增强MRI（动脉期、门脉期、肝胆期）。
病理学数据：HE染色切片，提取手工特征及深度学习特征。
核心方法
影像分割与预处理
2名8年经验放射科医生用ITK-SNAP软件手动分割肿瘤3D掩膜（按切片逐段标注），1名12年经验医生审核；
基于掩膜裁剪2D肿瘤区域，用于后续DL模型训练。
DL放射组学模型构建
模型选择：4个预训练模型（ResNet50、DenseNet121、Vision Transformer、Swin Transformer），基于ImageNet迁移学习；
训练策略：固定预训练参数，微调全连接层，数据增强（随机裁剪、旋转、水平翻转），PyTorch2.1.0实现；
评分计算：深度学习放射组学评分（DRS）=最优模型预测VETC的概率均值；
可解释性分析：用Grad-CAM可视化模型注意力区域。
病理组学评分开发
手工病理组学：CellProfiler提取628个特征（核175个、细胞质175个、细胞175个、纹理103个），LASSO回归筛选15个特征，评分=特征×非零系数之和；
DL病理组学：OpenSlide将HE图像分割为224×224无重叠补丁，选12个代表性补丁输入DL模型，评分=SwinTransformer预测概率均值。
列线图构建与评估
变量筛选：训练集单因素Cox回归（P<0.1）筛选候选因素，多因素Cox回归（逐步后退法）确定独立预后因素；
模型评估：预测VETC用AUC、准确率、敏感度、特异度；预后评估用C指数、时间依赖ROC曲线、Kaplan-Meier生存分析（log-rank检验）、决策曲线分析。
04
实验结果图
图 2：手工病理组学特征提取与选择流程图
特征提取流程（A-G子图）：
输入图像：每例HCC患者的代表性HE染色切片（100×放大，分辨率3072×2048像素）；
染色拆分：通过CellProfiler软件“UnmixColors”模块，将HE图像拆分为苏木精染色（细胞核，B子图）和伊红染色（细胞质，C子图）灰度图；
细胞成分分割：用两个模块自动分割细胞核（D子图）、细胞（E子图）和细胞质（F子图），并标注轮廓（G子图）；
特征提取：从分割结果中提取628个手工病理组学特征，含强度、形状、大小、纹理4类，细分细胞核（175个）、细胞质（175个）、细胞（175个）、纹理（103个）特征。
特征选择（H、I子图）：
H子图：LASSO回归的系数分布图（y轴为系数值，x轴为λ值），展示不同正则化参数下特征系数的变化；
I子图：通过10折交叉验证确定λ最小值，最终筛选出15个有价值的手工病理组学特征，用于计算“手工病理组学评分”（评分=各特征×其非零系数之和）。
图 3：深度学习放射病理学模型可视化图（Grad-CAM热图）
可视化对象：4个深度学习模型（ResNet50、DenseNet121、Vision Transformer、Swin Transformer）在“MRI多期相图像+HE病理图像”上的注意力区域，以热图形式呈现（红色区域为模型重点关注区域）。
示例病例：71岁女性HCC患者，展示其轴向动脉期（AP）、门脉期（PP）、肝胆期（HBP）MRI图像及HE染色病理图像（100×放大）对应的模型热图。
关键发现：
所有模型对MRI图像的注意力集中于肿瘤边缘区域，而非肿瘤核心；
病理图像上，模型注意力集中于“肿瘤细胞簇及周围血管结构”，与VETC的“血管包绕肿瘤簇”病理特征高度匹配；
SwinTransformer模型的热图边界更清晰，注意力区域与病理真实VETC区域的重合度最高。
图 4：深度学习病理组学模型性能与评分箱线图
ROC曲线（模型诊断性能）+箱线图（评分组间差异）
图 5：放射病理学列线图构建与评估图
森林图（预后因素筛选）+列线图（风险预测工具）+决策曲线（临床获益评估）。
图 6：放射病理学列线图的预后价值评估图
Kaplan-Meier生存曲线（风险分层）+时间依赖ROC曲线（预后预测性能）。
05
讨论
创新点
多模态整合：首次结合钆塞酸二钠增强MRI（宏观影像）和HE病理图像（微观特征），构建“影像-病理”联合的DL模型，实现VETC和预后的双重预测，弥补单一模态的信息局限；
模型优势：验证了Transformer（尤其是SwinTransformer）在放射组学/病理组学中的优势，其窗口注意力机制可同时捕捉全局和局部特征，且经多中心外部验证（AUC0.77-0.79），稳定性优于传统CNN；
临床可解释性：用Grad-CAM可视化模型注意力区域（肿瘤边缘），符合肿瘤侵袭转移的生物学逻辑，提升临床信任度；决策曲线显示列线图临床净获益高，可直接指导临床决策。
局限性
研究设计：回顾性研究，存在选择偏倚（如纳入患者均为接受手术者，排除不可切除HCC）；
随访与病理：随访时间较短，未纳入总生存期（OS）；仅用单张HE切片提取特征，可能未反映肿瘤整体异质性；
模型特性：列线图为静态模型，难以随新数据更新，结果可能因人群差异波动，且缺乏放射病理学模型的标准化报告指南。
临床价值
术前精准评估：无需术后病理即可预测VETC，帮助术前识别高风险患者（如VETC+患者可能更受益于索拉非尼），提前制定“手术+靶向”联合治疗方案；
预后风险分层：列线图可区分高低风险患者，高风险者术后需更密切随访（如每3个月一次MRI），低风险者可延长随访间隔，避免过度医疗；
技术推广：为HCC的“影像-病理”联合预测提供范式，可推广至其他癌症（如肝癌微血管侵犯、乳腺癌淋巴结转移）的生物标志物预测和预后评估。