医疗AI模型窃取攻击：原理、风险与超声影像场景的防御实践

1. 项目概述：当医疗AI的“大脑”面临被“复制”的风险

在医疗影像领域，尤其是超声诊断，深度学习模型正以前所未有的速度改变着临床实践。它能从看似杂乱的超声回波信号中，精准地量化肝脏脂肪含量、鉴别乳腺肿物的良恶性，或是预测肿瘤对化疗的反应。这些模型，本质上是一个个经过海量数据“喂养”和复杂计算“训练”而成的“黑箱”函数，是研发机构投入巨大成本（数据、算力、专家知识）的核心知识产权。然而，一个严峻的现实是：这个宝贵的“大脑”可能比你想象的更容易被“窃取”。这里说的窃取，不是物理盗取服务器，而是一种更隐蔽、更技术化的攻击——模型窃取攻击。

想象一下，你开发了一个部署在云端的超声脂肪肝定量分析API。医院上传原始的射频超声数据，你的模型返回一个精确的脂肪分数。攻击者，可能是一个竞争对手，无需破解你的服务器，也无需获取你标注了数万例的珍贵数据集。他只需要像普通用户一样，向你的API发送大量精心构造或随机采样的查询（比如，各种模拟或采集的超声数据），并收集你模型返回的预测结果（脂肪肝概率值）。利用这些“输入-输出”配对，攻击者就可以在自己的实验室里，训练一个功能几乎与你原模型一致的“山寨”模型。这个过程，就是模型功能窃取。

我最初接触到这个概念时，也感到震惊。这意味着，我们辛辛苦苦构建的、可能决定诊断结果的AI模型，其核心决策逻辑存在被低成本复制的风险。在医疗领域，这不仅仅是商业损失，更关乎患者安全与医疗公平。如果一个存在缺陷或被恶意篡改的山寨模型流入市场，其误诊后果不堪设想。因此，理解这种攻击的原理、评估其在医疗超声这一特定场景下的可行性，并设计有效的防御策略，不再是一个纯学术问题，而是每一个投身于医疗AI产品化团队必须直面的安全必修课。本文将结合一篇聚焦于超声定量分析模型窃取的研究，深入拆解这场发生在数字空间的攻防战，并分享从模型设计到部署落地的全链条防御思考。

2. 核心攻击原理：如何在不触碰“原件”的情况下完成复制

要防御攻击，首先必须透彻理解攻击是如何发生的。模型窃取攻击的核心思想，可以类比为“逆向工程”或“通过观察行为来模仿”。攻击者的目标不是获取模型的内部权重文件（.pth或.h5文件），而是获得一个在功能上与原模型高度近似的替代模型。对于医疗超声模型，其功能就是从输入的超声数据（如图像、射频信号、参数图）映射到一个具体的临床指标或分类标签。

2.1 攻击的基本假设与场景

攻击成功依赖于几个关键前提，而这些前提在当前的医疗AI服务模式下往往成立：

1. 黑盒访问：攻击者只能通过API、Web界面或软件接口向受害者模型发送输入数据，并接收其输出（如分类概率、回归值）。他无法看到模型结构（是ResNet还是DenseNet？）、超参数或任何训练细节。这正是大多数商业化AI服务提供的模式。
2. 可查询性：攻击者能够以相对较低的成本（费用或时间）发起大量查询。例如，一个按次收费的API，攻击者可能愿意支付一笔费用来获取足够多的“输入-输出”样本对。
3. 输入空间可模拟或获取：攻击者需要有能力生成或收集与原始模型训练数据分布相近的输入数据。在超声领域，这可能包括使用仿真软件生成超声图像、利用公开数据库，或甚至使用低成本超声设备采集一些非敏感数据。

2.2 攻击流程的详细拆解

一次典型的模型窃取攻击，其技术流程可以分解为以下四个环环相扣的步骤：

第一步：侦察与数据收集攻击者首先需要构建一个用于训练其“山寨模型”的数据集。这个数据集由无数个(查询输入， 模型输出)对组成。

• 查询输入来源：
  • 合成数据：对于超声定量分析，攻击者可能使用开源的超声仿真工具（如k-Wave, Field II）模拟不同组织特性（散射子密度、衰减系数）下的射频信号或B-mode图像。这是成本较低且可控的方式。
  • 公开数据：利用学术公开的超声数据集（如肝脏、乳腺公共数据集），尽管可能与目标模型的数据分布有差异，但可以作为起点。
  • 少量真实数据：攻击者可能通过合作医院等渠道，获取少量脱敏的、非目标患者的超声数据。
• 发起查询：攻击者编写脚本，自动化地向目标API发送这些输入数据。为了规避简单的频率限制，查询可能会在长时间内以较低的速率进行，模拟正常用户行为。
• 记录输出：忠实记录目标模型返回的每一个预测值。对于分类任务，要获取完整的概率分布向量（而不仅仅是最终类别）；对于回归任务（如脂肪肝定量），则记录具体的数值。

注意：攻击的逼真度高度依赖于查询数据的质量。如果查询数据与目标模型训练数据的分布差异巨大，那么窃取效果会大打折扣。因此，高级攻击者会使用主动学习策略，动态调整查询数据，以更高效地探索模型的决策边界。

第二步：替代模型的结构设计攻击者需要决定其“山寨模型”的架构。这里有几个策略：

• 架构复制：如果目标模型的大致类型是公开的（例如，论文指出使用了DenseNet进行肝脏脂肪定量），攻击者可以直接采用相同或相似的网络架构。这在学术模型迁移到商业场景时风险很高。
• 架构搜索：攻击者可以尝试多种主流架构（如ResNet, VGG, 自定义CNN），看哪一种在窃取数据集上表现最好。这增加了攻击成本，但可能得到性能更优的替代模型。
• 功能对齐：核心目标不是结构一致，而是输入输出映射关系一致。因此，即使架构不同，只要在攻击者的查询数据分布上输出相似，攻击即告成功。

第三步：训练替代模型这是攻击的核心执行阶段。攻击者利用第一步收集到的(输入， 输出)对，将其作为训练集来训练自己的替代模型。

• 损失函数：通常使用均方误差（MSE）或交叉熵损失，目的是让替代模型的预测输出尽可能接近目标模型对于相同输入的输出。这里的目标是模仿“行为”，而不是拟合真实标签（因为攻击者可能根本没有真实标签）。
• 训练过程：与正常训练深度学习模型无异。攻击者会划分训练集和验证集，验证集同样来自查询数据及其对应的目标模型输出，用于监控替代模型模仿的忠实度。

第四步：评估与迭代训练完成后，攻击者需要评估窃取的效果。

• 忠实度评估：在一批新的、未参与训练的查询数据上，计算替代模型输出与目标模型输出的相似度（如平均绝对误差、相关系数）。这是最直接的窃取成功率指标。
• 功能等效性评估：如果攻击者能获取少量带有真实标签的测试数据（例如，通过其他途径获得一些已标注的超声图像），他可以比较替代模型和原模型在真实任务上的性能（如准确率、AUC）。高功能等效性意味着山寨模型已具备临床可用性。
• 迭代优化：如果效果不佳，攻击者可能会回到第一步，基于替代模型当前的表现，有针对性地生成更能揭示原模型决策边界的查询数据（主动学习），然后重新训练，形成攻击循环。

通过以上四步，一个无需触碰原始代码和数据的“功能克隆体”便可能被制造出来。在医疗超声AI领域，这意味着一个用于乳腺癌风险分级的核心算法，其决策逻辑可能被竞争对手以数千次API调用的代价“偷走”。

3. 超声AI模型的独特脆弱性分析

为什么医疗超声AI模型尤其需要关注模型窃取风险？这与其技术特点、数据形态和应用模式密切相关。通用图像分类模型（如猫狗识别）的窃取研究已有很多，但超声模型有其特殊性，这些特殊性既可能增加攻击难度，也可能在特定条件下使其更加脆弱。

3.1 数据模态的复杂性与高维性

与自然图像（RGB三通道）不同，超声的原始数据形式多样且维度更高：

• 射频信号：这是最原始的回波信号，包含丰富的组织声学特性信息，数据量巨大，是许多定量超声参数（如背散射系数、衰减系数）计算的基础。攻击者若想窃取基于RF信号的模型，需要生成或模拟物理意义正确的RF信号，门槛较高。
• 包络检测后的B-mode图像：临床最常用的格式。虽然已是图像，但其纹理、斑点噪声模式与自然图像差异巨大，且受设备参数、探头频率、增益设置等影响显著。
• 参数图：由RF信号计算得到的参数映射图，如声衰减图、散射子密度图。这些图本身就是深度学习模型的输入或输出。

脆弱性体现：这种复杂性意味着，如果攻击者只针对B-mode图像模型进行窃取，相对容易（因为公开的医学图像生成技术，如GAN，可以生成逼真的超声图像）。但对于更底层的RF信号或参数图模型，攻击者需要具备相当的超声物理知识来合成有效数据，这构成了天然屏障。然而，一旦这个屏障被突破（例如，有开源的高保真超声仿真器），模型被窃取的风险将急剧上升。

3.2 模型任务的敏感性与高价值性

超声AI模型的任务直接关联临床诊断：

• 分类任务：良恶性肿瘤鉴别、疾病分期。模型输出是一个概率分布，窃取后可直接用于诊断辅助。
• 回归任务：肝脏脂肪含量定量、血流速度测量。输出是连续数值，精度要求极高，窃取模型若存在系统性偏差，将导致误诊。
• 分割任务：器官或病灶轮廓勾画。输出是像素级掩膜。

脆弱性体现：这些任务的输出空间相对较小且结构化（例如，脂肪含量是0-100%之间的一个数）。攻击者无需窃取模型对海量无关输入的响应，只需专注于对临床相关输入空间的精确模仿。这使得攻击目标更集中，可能用更少的查询次数就能在关键临床范围内实现高精度窃取。模型的高价值性（直接关乎诊断和商业利益）也激励着潜在的攻击者投入更多资源。

3.3 部署环境的开放性

当前，许多前沿的超声AI研究以云端API或软件插件形式提供试用或服务。

• 云API：用户上传数据，获取结果。这是最典型的黑盒场景，查询日志可能被记录，但难以区分正常使用和恶意查询。
• 边缘设备集成：模型直接封装在超声设备或工作站中。虽然看似封闭，但若软件存在逆向工程漏洞，攻击者仍可能通过拦截软件内部函数调用的输入输出来收集数据对。

脆弱性体现：开放的服务接口是模型窃取攻击发生的“战场”。与封闭的院内系统相比，云端服务面临更广泛的潜在攻击者。此外，许多研究型模型为了促进可重复性，会提供在线演示，这无意中为模型窃取提供了低成本的试验场。

3.4 领域适应与设备差异的“双刃剑”效应

超声图像的一个巨大挑战是设备间、机构间的差异。一个在GE设备上训练的模型，在飞利浦设备上性能可能下降。因此，领域自适应技术常被用于提升模型鲁棒性。

• 对攻击者的挑战：攻击者收集的查询数据必须与目标模型的有效域匹配。如果他用的模拟数据或公开数据与目标模型训练数据分布不同，窃取效果会很差。
• 对攻击者的潜在帮助： ironically，如果目标模型本身集成了强大的领域自适应模块，能够将不同来源的输入都映射到一个稳定的特征空间，那么攻击者用混合来源的数据进行查询，反而可能训练出一个泛化能力更强的“超级山寨模型”，其至在某些新设备上的表现超过原模型（因为原模型可能过拟合了其训练设备）。

理解这些独特脆弱性，是我们设计有效防御措施的出发点。防御不能是笼统的，必须针对超声AI的数据特点、任务属性和部署模式进行量身定制。

4. 防御策略设计：从模型生命周期的各个环节构建护城河

防御模型窃取没有“银弹”，需要一套组合拳，贯穿模型开发、部署和运营的全生命周期。以下策略从易到难，从被动到主动，可以分层部署。

4.1 输入层面：增加查询的难度与成本

核心思想是让攻击者难以获取高质量、高信息量的(输入， 输出)对。

1. 查询限制与速率控制这是最直接的第一道防线。

• 频率限制：对单个API密钥或IP地址在单位时间内的请求次数进行硬性限制。例如，每分钟最多10次查询。这能极大延长攻击者收集足够数据所需的时间，从几天变为数月，增加其时间和经济成本。
• 配额管理：为每个用户设置每日或每月总查询配额，并在接近限额时发出警告。
• 人机验证：对于Web演示界面，引入CAPTCHA验证，阻止完全的自动化脚本攻击。

实操要点：限制策略需要平衡安全性与正常用户体验。对于科研合作者或大型医疗机构客户，可能需要更高的配额。因此，实施分级的API访问策略（免费版、研究版、商业版）是必要的。

2. 输出混淆与噪声注入在不严重影响合法用户使用的前提下，对模型的返回结果进行扰动。

• 确定性扰动：对回归任务的输出，进行四舍五入或离散化。例如，将脂肪含量从“23.57%”输出为“23.6%”或“24%”。对于分类概率，可以只返回Top-1类别，或对概率向量进行轻微的平滑处理。
• 随机性扰动：在输出中加入微小的随机噪声。例如，对回归值添加一个均值为零、方差很小的高斯噪声。关键在于，噪声要足够小，不影响临床决策（如脂肪含量误差在0.5%以内），但又能破坏攻击者用于训练替代模型的精确数据一致性。
• 差分隐私：这是一种更严格的数学框架，能保证单个查询对最终输出的影响被严格限定在一定范围内。在医疗场景中应用需要极其谨慎，因为必须在隐私保护和诊断准确性之间取得平衡。

注意事项：输出混淆是一把双刃剑。过度的噪声会损害模型对合法用户的效用，特别是在医疗诊断这种对精度要求极高的场景。必须通过严格的实验来确定可接受的噪声水平，并评估其对下游临床任务的影响。一种策略是，对“高价值”查询（如来自认证合作伙伴）返回精确结果，对“匿名”或“低权限”查询返回混淆后的结果。

3. 输入检测与异常过滤构建一个前置的“守卫”模型，用于检测查询输入是否可疑。

• 分布外检测：训练一个分类器，判断输入的超声数据是否与模型训练数据的分布相似。如果检测到大量明显偏离分布的数据（例如，全是仿真数据、或来自完全不同器官的超声图像），可以触发警报或限制查询。
• 对抗样本检测：攻击者可能会使用对抗性样本来探索模型边界。可以部署轻量级的对抗样本检测网络，拦截这类恶意输入。
• 查询模式分析：分析单个用户的历史查询序列。正常的临床查询通常有特定的模式（如连续扫描同一部位的不同切面），而攻击性查询可能表现为短时间内发送大量、高度变异或随机生成的图像数据。

4.2 模型层面：增强内在的“抗窃取”鲁棒性

核心思想是让模型的行为更难被模仿，即使攻击者获得了输入输出对。

1. 集成模型与随机化使用模型集成，并在查询时随机选择集成中的一个子模型进行预测。这样，对于相同的输入，模型在不同时间可能会给出略有不同的输出，增加了攻击者构建一致训练集的难度。

• 实现方式：训练多个结构不同或初始化不同的模型。当API收到请求时，随机选择一个模型进行推理。或者，使用Dropout等随机化技术，并在预测时保持Dropout开启（Monte Carlo Dropout），使预测本身具有随机性。

2. 水印与指纹技术在模型训练阶段就嵌入隐蔽的“水印”。当怀疑某个模型被窃取时，可以通过触发这些水印来证明所有权。

• 后门水印：在训练数据中植入一小部分特殊样本（“触发集”），这些样本带有特定的、不寻常的标签。例如，一组经过特定噪声模式修改的超声图像，其标签被强制设为某个特定值。原模型会学习到这个“后门”行为。如果窃取模型也复制了这一行为，那么当输入这些触发图像时，它也会输出异常的标签，从而成为窃取的证据。
• 指纹特征：选择一组模型对其预测特别“敏感”的输入样本（通常位于决策边界附近），原模型在这些样本上的预测置信度或中间层激活会形成一个独特模式，如同指纹。可以比较可疑模型和原模型在这些样本上的行为相似度来判定。

3. 设计“难以模仿”的决策逻辑探索使用那些本身就更难被简单查询所复现的模型架构或训练方法。

• 复杂或非标准的架构：使用自定义的、非主流的网络模块，增加攻击者猜测架构的难度。
• 利用多模态或序列信息：如果模型不仅依赖单帧超声图像，还结合了连续帧的时间信息、多切面信息，甚至与患者电子病历数据融合，那么攻击者要构造有效的查询输入就变得异常困难，因为他需要复现这种复杂的多模态输入空间。

4.3 系统与法律层面：构建纵深防御体系

技术手段需要与管理和法律手段结合。

1. 服务监控与审计建立全面的API监控系统，记录所有查询的元数据：IP地址、用户代理、查询时间、输入数据特征（如图像哈希）、输出结果。通过数据分析，主动识别可疑模式，如来自同一来源的、高频次的、输入数据高度不相关的查询流。

2. 用户认证与合约约束对高价值模型的访问实施严格的认证和授权。

• API密钥与身份绑定：每个用户或机构拥有唯一的API密钥，其使用条款明确禁止任何形式的模型逆向工程、复制或用于训练竞争性模型。
• 法律合同：在服务协议中，明确将模型窃取行为定义为违约和侵权，并规定严厉的处罚措施。这虽然不能阻止技术攻击，但构成了强大的法律威慑。

3. 模型发布策略审慎决定模型的开放程度。

• 分级发布：对于最核心的模型，考虑仅以本地部署（软件授权）而非云端API的形式提供。对于必须提供API的，可以发布一个“轻量版”或“精度降低版”模型，其核心知识产权仍保留在内部的高精度版本中。
• 联邦学习：在合作开发场景下，考虑采用联邦学习框架。各参与方的数据留在本地，只交换模型更新梯度，最终得到一个联合模型。这种方式下，任何单一参与方都无法获得完整的、可用于独立服务的最终模型，从源头上降低了被单一合作方窃取的风险。

防御的本质是提高攻击者的成本和不确定性。一个健壮的防御体系应该像洋葱一样层层叠加，使得攻击者即使突破了一层，也会面临下一层的挑战。对于医疗超声AI团队，我的建议是：从部署的第一天起，就将模型安全纳入设计考量。最简单的查询限制和输出扰动可以立即实施。随着模型价值的提升，再逐步引入更高级的检测和水印技术。同时，务必与法务团队合作，完善用户协议和知识产权保护条款。

5. 实战推演：针对一个超声脂肪肝定量模型的模拟攻防

为了让大家对上述攻防策略有更具体的认识，我们以一个虚构但典型的场景进行推演：假设我们开发了一个基于深度学习（例如，使用DenseNet架构）的超声肝脏脂肪含量定量模型LiverFatNet，并通过云端API向合作医院提供服务。

5.1 攻击方视角：策划一次窃取

攻击目标：获取一个功能上与LiverFatNet等效的替代模型，使其在常见的肝脏超声数据上，脂肪含量预测值与原模型的平均绝对误差（MAE）小于1.5%。

攻击资源：

• 知识：公开论文指出LiverFatNet使用B-mode图像作为输入。
• 数据：从公开数据库（如LIDC）获取约1000张匿名肝脏B超图像。无真实脂肪含量标签。
• 预算：目标API免费 tier 每分钟限查5次，每日限500次。

攻击步骤：

1. 数据预处理与增强：将公开的1000张图像进行裁剪、缩放、归一化，模拟成LiverFatNetAPI预期的输入格式。同时，使用GAN生成约2000张逼真的肝脏超声图像，以扩充查询数据集。
2. 低速查询：编写脚本，每天定时、随机间隔地向API发送500张处理后的图像，记录返回的脂肪含量百分比。这个过程将持续约6天（500*6=3000个样本）。
3. 替代模型训练：假设原模型是DenseNet-121，攻击者尝试用相同的架构。使用收集到的3000个(图像， 预测值)对作为训练集和验证集。损失函数为MSE。
4. 评估：攻击者用另外200张公开图像（未用于查询）进行测试。测试时，先将这200张图发送给LiverFatNetAPI 获取“伪标签”，然后用这些伪标签评估替代模型。假设测得MAE为1.2%。

攻击结果：攻击者用约3000次查询，花费6天时间，获得了一个在测试集上与原模型MAE为1.2%的替代模型。从功能上看，窃取基本成功。

5.2 防御方视角：如何挫败这次攻击

现在，我们从LiverFatNet维护者的角度，部署防御措施。

第一阶段防御（已部署）：

• 查询限制：免费 tier 每分钟5次，每日500次。这迫使攻击者必须将收集3000个样本的行动拉长到6天，为我们赢得了检测时间。
• 基础日志：记录所有查询的IP、时间戳和输入图像的哈希值。

第二阶段防御（攻击发生后的分析与升级）：

1. 日志分析：安全工程师在例行检查中发现，某个API密钥（免费注册）在连续6天内，每天稳定消耗500次配额，且查询时间分布均匀，近乎机器行为。查询的图像哈希值显示，大量图像高度相似（来自公开数据集），且与正常医院上传的病例图像特征不符。
2. 触发响应：立即将该API密钥的查询限制降至每分钟1次，并标记为“可疑”。
3. 部署输出扰动：对所有免费 tier 的查询，在返回脂肪含量值前，加入一个均值为0、标准差为0.3%的高斯随机噪声。同时，将输出数值四舍五入到小数点后一位。
4. 部署输入检测：快速训练一个简单的卷积自编码器，用于重建误差检测。发现该可疑密钥的查询图像，其平均重建误差显著低于正常临床图像（因为公开数据集图像更“干净”），进一步确认了攻击行为。
5. 法律行动：根据服务协议，向该密钥的注册邮箱发送违规警告，并永久封禁该密钥。

防御效果评估：

• 对于攻击者已收集的3000个样本，由于之前返回的是精确值，其训练的替代模型MAE为1.2%。
• 防御升级后，攻击者若想继续，新收集的样本将包含噪声和舍入误差。假设他再收集3000个新样本训练，新替代模型与原模型的MAE可能会恶化到2.5%以上，且不稳定。同时，极低的查询速率使数据收集周期变得不可接受（需要数月）。
• 攻击者尝试更换IP和API密钥，但输入检测模型可能会再次基于图像分布特征将其识别出来。

通过这个推演可以看到，即使是最基础的速率限制和日志监控，也能增加攻击的复杂度和时间成本。而输出扰动和输入检测等进阶手段，则能直接降低窃取模型的质量或帮助早期发现攻击。防御是一个动态过程，需要根据威胁情报不断调整策略。

6. 未来展望与从业者的责任

模型窃取攻击只是AI安全威胁图谱中的一环。随着医疗AI，特别是超声AI，从研究走向规模化临床部署，其面临的安全挑战将更加多元和严峻。除了窃取，还有对抗性攻击（通过精心修改输入图像，使模型做出错误诊断）、后门攻击（在训练数据中投毒，使模型在特定触发条件下失效）、数据隐私泄露（从模型输出或梯度中反推训练数据）等。

对于医疗AI的开发者、研究者和产品经理，我们必须建立起超越传统软件安全的安全思维：

1. 安全左移：在模型设计、训练阶段就考虑安全属性。例如，在训练时加入对抗性训练以提高鲁棒性，或探索具有内在隐私保护能力的机器学习技术（如差分隐私训练、同态加密推理）。
2. 持续监控：将模型部署视为开始而非结束。建立模型性能与安全性的持续监控体系，不仅监控准确率漂移，也监控查询模式异常。
3. 跨学科合作：AI安全不是算法工程师一个人的事。需要与网络安全专家、法律顾问、临床医生紧密合作。安全专家设计系统防护，法律顾问制定合规框架，临床医生帮助评估安全措施（如输出扰动）对临床可接受性的影响。
4. 平衡开放与保护：开源和开放科学推动了AI的飞速发展。如何在保护知识产权、患者隐私和模型安全的同时，继续促进学术交流与合作，是一个需要持续探讨的伦理与工程问题。可以考虑发布经过安全处理的“挑战版”模型或数据，供学术界研究攻击与防御，而不释放完整模型。

在我个人看来，医疗AI的安全之路，道阻且长。它没有终极解决方案，而是一场持续的攻防博弈。作为从业者，我们能做的是保持敬畏，保持学习，将安全作为产品不可分割的一部分去设计和构建。每一次严谨的日志分析，每一处谨慎的API设计，都是在为这座关乎生命健康的数字大厦添砖加瓦，让它不仅能创造价值，更能抵御风雨，行稳致远。