Towards All-in-One Medical Image Re-Identification

Towards All-in-One Medical Image Re-Identification

MaMI：一个模型实现多模态的医学图像重识别
代码仓库

动机

所谓重识别（Re-Identification）在本文的语境中指的是：在数据库中检索和输入图像相似的图片。这里的“相似”可以定义为同个患者所导致的图像身份信息相似。其作用在于：

1. 帮助检索病史
2. 利用模型去除身份信息，实现隐私保护

方法

模型总体框架分为四个部分：(a) Continuous modality-based Parameter Adapter (ComPA); (b) Modality-adaptive Feature Extraction; (c) Transferring Medical Priors to MedReID task; (d) Medical Priors

ComPA

假设已有一个ViT，希望通过更改其中的一些参数使其能够适用于特定的模态。具体做法为：

1. 提取模态特征
2. 预测前馈网络参数
3. 预测注意力参数

上述(a)预测得到的参数装载到网络的对应模块中，实现(b)一个模型应对多种模态的特征。

Medical Prior

只监督ReID的损失，会导致模型过拟合到纹理上，所以要引入基础模型的特征作为先验。

特征选择

(c)通过三层MLP将模态特征映射为\(N\)个查询token，再与提取的特征作交叉注意力。

特征对齐

为了充分利用医学先验（即多种模态的数据），将(d)基础模型提取特征与网络提取特征进行对齐再计算损失。

\[\mathbf{u}^n=\mathbf{P}^n_i-\mathbf{P}^n_j \]

\[\mathbf{v}^n=\mathbf{Q}^n_i-\mathbf{Q}^n_j \]

\[\mathcal{L}_{med-align}=\frac{1}{N}\sum_{n=1}^N{-\log(S(\mathbf{u}^n, \mathbf{v}^n))} \]

\[S(\mathbf{u}^n, \mathbf{v}^n)=\frac{\exp(\mathbf{u}^n \cdot \mathbf{v}^n / \tau)}{\exp(\mathbf{u}^n \cdot \mathbf{v}^n / \tau) + \sum_{k \in \mathcal{N}}{\exp(\mathbf{u}^n \cdot \mathbf{v}^k / \tau)}} \]

实验

Longitudinal Personalized Healthcare

假设病史图像没有得到良好的管理，MaMI可检索相似图像提升诊断精度。

Privacy Protection

训练一个U-net重建医疗图像：最小化身份相似度并最大化医学特征相似度（补充材料）。实验表明能够避免被现有模型检索到。

总结

虽然本文以ReID为题，但实际上做的任务是图像检索，并利用其深度特征实现了隐私保护，和视频领域的行人重识别有些许差别。之前有读到其他以ReID为题的医学图像论文，其所做的工作是按患者分类，和本文的内容又有差别。看起来所谓的医学图像ReID，目前更多是一个概念，而非规范化的具体任务。