当前位置：首页 > news >正文

AI模型提取攻击全解析：从白盒到黑盒的实战技术与防御措施

news 2026/7/18 5:06:29

1. 项目概述：当AI模型成为攻击目标

最近几年，AI模型，尤其是深度学习模型，已经从实验室的“黑科技”变成了我们日常应用的核心组件。从手机上的语音助手、照片美化，到企业里的推荐系统、风险控制，背后都离不开一个训练有素的模型。但不知道你有没有想过，这些被我们寄予厚望、投入大量数据和算力训练出来的模型，本身也可能成为攻击的靶子？这听起来有点反直觉，模型不就是一堆参数和代码吗，怎么攻击？实际上，针对AI模型的攻击已经形成了一个独立且活跃的研究与实践领域，其威胁远比我们想象的要具体和危险。

简单来说，AI模型提取攻击，就是指攻击者通过各种手段，试图从目标模型中“窃取”其核心知识产权——也就是模型本身。这里的“窃取”不一定是物理上复制文件，更多是指通过有限次数的查询和交互，反向构造出一个功能、性能与原模型高度相似的“山寨版”。想象一下，你花了数百万训练了一个精准的金融风控模型，竞争对手却通过一些巧妙的手段，用极低的成本“复制”了你的核心能力，这无疑是一场商业灾难。更严重的是，攻击者还可能利用提取出的模型，进一步发起更隐蔽、更具破坏性的后续攻击。

这个项目标题“AI模型提取攻击全解析：从白盒到黑盒的实战技术与防御措施”，精准地概括了这个领域的核心脉络。它点明了攻击的目标（AI模型）、攻击的手段（提取）、攻击的两种主要场景（白盒与黑盒），以及我们最终的目的——不仅要懂攻击，更要懂防御。白盒攻击意味着攻击者对模型内部结构、参数有完全的了解，这通常发生在模型开源、或者攻击者通过其他途径（如供应链攻击、内部泄露）获取了模型文件的情况下。而黑盒攻击则更贴近现实威胁，攻击者只能像普通用户一样，向模型输入数据并获得输出（比如，给一个图像分类API上传图片，得到“猫”或“狗”的标签），在这种“盲猜”的条件下进行模型提取，技术难度更高，但也更具普适性和威胁性。

接下来，我将结合自己在这个领域的一些研究和实践踩坑经验，为你彻底拆解这两种攻击模式下的核心技术与实战细节，并分享真正有效的防御思路。无论你是AI模型开发者、部署运维人员，还是安全研究员，理解这些内容都至关重要。

2. 核心概念与攻击场景拆解

在深入技术细节之前，我们必须先统一几个关键概念，并理解攻击发生的典型场景。这能帮助我们更好地评估自身系统的风险敞口。

2.1 什么是“模型提取”？

模型提取攻击，有时也被称为模型窃取攻击或模型逆向工程。其根本目标是：在不知道目标模型内部参数和结构的前提下，通过有限次数的查询（输入-输出对），构建一个替代模型，使得该替代模型在功能上尽可能逼近目标模型。

这里有几个关键点需要厘清：

“逼近”的含义：这种逼近主要体现在替代模型对于相同输入的预测输出，与目标模型的输出高度一致。它不要求替代模型在内部机理上与目标模型相同，只要求外在行为相似。就像一个仿冒品，外观和功能可以乱真，但内部零件完全不同。
“有限次数”的挑战：在现实世界中，向一个商业API发起大量查询通常是昂贵（按调用次数计费）或可疑的（可能触发风控）。因此，高效的提取攻击算法追求用尽可能少的查询次数，达到尽可能高的提取精度。
攻击的产出物：最终得到的替代模型，其架构可能是攻击者任意选择的（例如，用一个简单的ResNet去模仿一个复杂的私有视觉模型）。这个替代模型可以被攻击者本地部署、分析、甚至用于商业目的，从而完全绕开了原模型所有者的控制。

2.2 白盒 vs 黑盒：攻击视角的差异

这是理解整个攻防体系的基础分界线，两者的假设条件和攻击难度天差地别。

白盒攻击场景：在这种设定下，攻击者拥有目标模型的完全知识。这包括：

模型架构：使用了哪种神经网络（如ResNet-50, Transformer），有多少层，每层是什么类型。
模型参数（权重）：所有训练好的权重和偏置值。
训练细节（可能）：使用的损失函数、优化器等。

听起来这已经是“终极形态”了，攻击者都有了模型文件，还提取什么？实际上，白盒知识是许多更高级、更基础性攻击的起点。例如：

成员推理攻击：判断某条数据是否在模型的训练集中。这在隐私保护场景下是重大威胁，比如判断某个病人的医疗记录是否被用于训练某个疾病诊断模型。
模型逆向工程：试图从模型参数中反推训练数据的某些特征或部分原始数据。
后门攻击分析：仔细审查模型参数，寻找可能被植入的恶意后门。

在白盒场景下，“提取”更多意味着对模型内在信息的深度挖掘和利用，为其他攻击铺路。它假设攻击权限已经很高，通常对应内部威胁或模型泄露的情况。

黑盒攻击场景：这是最常见、最现实的威胁模型。攻击者只能通过目标模型提供的输入-输出接口与之交互。典型情况包括：

商业机器学习即服务：如Google Cloud Vision API, Amazon Rekognition。你上传图片，它返回标签和置信度。
企业内部部署的预测API：公司内部提供的模型服务，外部或内部用户通过RESTful API调用。
边缘设备上的模型：虽然模型在设备上，但攻击者无法直接读取其存储（如芯片安全区域），只能通过正常应用流程输入数据、观察输出。

在黑盒场景下，攻击者能获得的信息通常只有：

对于给定输入，模型返回的预测类别（标签）。
有时，还能获得每个类别的预测概率（置信度分数）。这个“有时”非常关键，我们后面会看到，有无置信度信息，攻击难度相差巨大。

黑盒模型提取的核心挑战在于，如何在“看不见摸不着”的情况下，仅凭这些稀疏的反馈，来反推一个复杂的函数（即原模型）。

2.3 为什么模型提取是严重的威胁？

你可能会觉得，就算被提取了一个模型，好像损失也不大？其实不然，其危害是多层次的：

知识产权盗窃：这是最直接的损失。训练一个高性能的模型需要昂贵的硬件（GPU/TPU）、海量的标注数据、以及专家数周甚至数月的调优时间。模型提取使得攻击者能以极低的成本（API调用费）窃取这项核心资产。
逃避费用：许多MLaaS平台按查询次数收费。一旦攻击者提取出一个本地可运行的替代模型，他就可以停止使用付费API，直接使用免费的山寨版，导致服务提供商收入损失。
辅助后续攻击：提取出的模型是一个完美的“替身”，攻击者可以在本地对这个替身进行白盒分析，设计出针对原模型的对抗性样本。然后，将这些精心制作的对抗样本提交给黑盒的原模型，攻击成功率会显著提高。这就好比先做了一个替身傀儡来练手，找到弱点后再去攻击本体。
隐私泄露的放大器：如前所述，提取的模型可以用于进行成员推理等隐私攻击。如果原模型本身可能泄露训练数据信息，那么提取出的模型同样具备这种风险，且攻击者可以在本地不受限制地进行大量隐私分析实验。
模型完整性破坏：在提取过程中，攻击者可能故意用带有偏见或恶意的数据去查询目标模型，从而“污染”提取过程，使得最终得到的替代模型带有某种缺陷或偏见。

理解了这些危害，我们就能明白，防御模型提取攻击不是可选项，而是AI系统安全部署的必选项。

3. 白盒环境下的深度分析与攻击技术

虽然白盒假设很强，但它是我们理解模型脆弱性的理论基石。很多在黑盒下看起来像“魔法”的攻击，其原理在白盒视角下非常清晰。

3.1 基于模型参数的知识蒸馏式提取

即使攻击者拥有了原模型（我们称之为“教师模型”），他可能仍然希望得到一个更小、更快、但性能相近的“学生模型”，以便在资源受限的设备上部署。这个过程本身是合法的知识蒸馏。然而，在攻击语境下，这意味着攻击者可以利用白盒信息，以最高的效率和保真度进行提取。

核心步骤：

数据收集或生成：攻击者需要一批数据来驱动蒸馏过程。这批数据可以是：
- 从公开数据集中抽取的（与任务相关）。
- 使用生成模型（如GAN）合成的。
- 甚至是通过对输入空间进行随机采样得到的。
利用教师模型生成“软标签”：对于收集到的每一批数据，使用白盒教师模型进行前向传播，得到其输出的概率分布（即软标签）。例如，对于一张猫的图片，教师模型可能输出[猫: 0.85, 狗: 0.10, 其他: 0.05]。这个概率分布比单一的“猫”标签包含了更多信息，它反映了教师模型认为的类别间相似性（猫和狗在某些特征上可能接近）。
训练学生模型：初始化一个更小架构的学生模型。训练时，损失函数不仅计算学生模型预测与真实硬标签的差异，更关键的是计算其预测概率分布与教师模型软标签之间的差异（通常使用KL散度）。这样，学生模型学习的是“模仿教师模型的思考方式”，而不仅仅是做出同样的最终判断。

实操要点与心得：

温度参数：这是知识蒸馏的灵魂。在计算软标签时，会对教师模型的logits（Softmax前的输出）除以一个温度参数T（T>1）。soft_label = softmax(logits / T)。提高T会让概率分布更“平滑”，类别间的差异变小，从而让学生模型学到更多关于类别间关系的暗知识。在训练后期，再逐渐将T降回1。
损失函数混合：通常的损失函数是：Loss = α * KL_Divergence(学生软输出, 教师软输出) + (1-α) * CrossEntropy(学生输出, 真实硬标签)。其中α是一个超参数，用于平衡模仿教师和拟合真实标签的权重。
为什么这是高效的攻击：在白盒下，这一步的数据利用效率和蒸馏效果是最优的，因为它直接使用了模型最丰富的输出信息（完整概率分布）。攻击者可以快速获得一个高性能的替代品。

注意：知识蒸馏本身是一项重要的模型压缩技术，并非恶意攻击。这里强调的是，在白盒权限下，这项技术可以被恶意用于快速、高保真地复制模型。

3.2 梯度信息泄露与训练数据复原

这是白盒场景下更令人担忧的一类攻击。模型的梯度（训练过程中参数更新的方向）可能蕴含大量关于训练数据的敏感信息。

代表性攻击：梯度泄露攻击在联邦学习等场景中，参与方会上传模型梯度（而非原始数据）到中央服务器进行聚合。然而，研究发现，通过分析单个训练步骤中共享的梯度，有可能反推出该训练步骤所使用的单个或多个训练样本。

攻击原理简化版：假设攻击者拥有模型当前参数θ，并收到了客户端上传的梯度∇θ L(x, y; θ)，其中L是损失函数，(x, y)是客户端的私有训练数据。攻击者的目标是找到一对(x‘, y’)，使得用这对数据在当前参数θ下计算出的梯度，与收到的梯度∇θ L尽可能接近。这可以转化为一个优化问题：argmin_{x‘, y’} || ∇θ L(x‘, y’; θ) - received_gradient ||²通过迭代优化x‘和y’（通常固定y‘为梯度最大的那个类别），攻击者可以逐渐“复原”出输入x的近似图像或文本。

实操中的挑战与技巧：

梯度匹配：直接匹配原始梯度非常困难，因为梯度是高维向量。实践中，攻击者会匹配梯度的符号（正负号）或某些统计特征，这大大降低了优化难度。
先验信息注入：为了得到视觉上更清晰的复原图像，需要在优化目标中加入图像先验正则项，如总变差正则化，以促使生成的x‘更平滑、更自然。
标签推断：在图像分类任务中，通常可以较容易地从梯度中推断出样本的真实标签y。因为对于真实标签类别对应的输出层梯度，其模式与其他类别有显著差异。

影响与防御：这项攻击揭示了即使不共享数据，仅共享梯度也存在严重的隐私风险。防御措施包括：

差分隐私梯度：在梯度上添加精心校准的噪声，使得从梯度中推断任何特定训练样本的存在变得极其困难。
梯度压缩与稀疏化：只上传幅度最大的那部分梯度，或对梯度进行量化，这会在一定程度上破坏梯度中包含的精确信息。
安全聚合：使用密码学技术（如多方计算）确保服务器只能看到聚合后的梯度，而无法看到单个客户的梯度。

白盒分析告诉我们，模型参数和梯度远非“安全”的中间产物，它们是需要严密保护的对象。

4. 黑盒模型提取的实战技法

这才是攻防的主战场。攻击者面对的是一个只有输入输出接口的“黑箱子”。我将介绍几种主流的黑盒提取策略，从简单到复杂。

4.1 基于合成数据与主动学习的提取

这是最直观的思路：既然我需要数据来训练替代模型，那我就自己造数据，然后用目标模型给这些数据打标签。

基本流程：

初始化一个替代模型：随机初始化一个与猜测的原模型架构相似的网络（例如，对于图像分类，常用ResNet或VGG的变体）。
生成或收集初始查询数据：
- 随机生成：在输入空间内均匀随机采样（如图像的每个像素随机取值）。这种方法简单，但效率极低，因为大部分随机数据是无意义的，目标模型对其置信度很低。
- 利用公开数据集：使用与任务领域相关的公开数据集（如用ImageNet图片来攻击一个动物分类器）。这是最常用、最有效的方法。
- 使用生成模型：训练一个GAN或扩散模型来生成与目标领域相似的数据。这需要额外成本，但生成的数据质量更高。
查询与标注：将这批数据输入目标黑盒模型，收集其返回的预测标签（和可能的置信度），形成(输入，伪标签)对。
训练替代模型：用这批标注数据训练替代模型。
主动学习循环：
- 替代模型训练到一定程度后，它对不同的输入会有不同的“把握度”。
- 攻击者利用替代模型，选择那些它最“不确定”的样本（例如，预测概率在多个类别间分布很均匀的样本）。
- 将这些“不确定”的样本提交给目标黑盒模型查询，获得真实标签。
- 将这些新的、信息量大的(输入，标签)对加入到训练集中，重新训练替代模型。
重复步骤5，直到替代模型的性能（在攻击者自己的测试集上评估）不再显著提升，或查询预算耗尽。

为什么主动学习有效？主动学习的核心思想是“用最少的查询，获取最多的信息”。替代模型不确定的样本，正是它与目标模型认知差异最大的地方，查询这些样本能最大程度地修正替代模型，提升其逼近目标模型的速度。

实操心得与坑点：

标签类型至关重要：如果目标模型只返回硬标签（如“猫”），你只有一个类别信息，训练信号很弱。如果返回软标签/置信度（如[猫:0.9, 狗:0.1]），你可以用知识蒸馏的思路训练替代模型，效果会好得多，收敛更快。
查询策略的权衡：除了“不确定性采样”，还有“多样性采样”（确保查询样本覆盖输入空间的不同区域）等策略。在实际攻击中，往往需要结合使用。
替代模型架构的选择：你不需要猜中目标模型的确切架构。选择一个在该任务上表现良好的通用架构（如对于视觉任务选ResNet）通常就足够了。替代模型甚至可以比原模型更小或更简单，只要其函数逼近能力足够。
成本与隐蔽性：大量、频繁的查询容易被API提供方检测到。需要设计合理的查询间隔，并可能模拟正常用户流量进行伪装。

4.2 利用决策边界与对抗样本的提取

这是一种更“聪明”的方法，它不满足于被动收集数据，而是主动探测目标模型的决策边界，从而更高效地刻画其形状。

核心思想：模型的决策边界是区分不同类别的复杂曲面。如果我们能高效地找到边界附近的点（即对抗样本），就能更精确地定义这个边界。知道了一个分类器的边界在哪里，就几乎等同于知道了这个分类器本身。

攻击步骤：

训练一个初始替代模型：先用少量随机或公开数据，通过基础查询训练一个粗糙的替代模型。
生成对抗样本：在替代模型上，使用经典的对抗攻击方法（如FGSM、PGD）生成对抗样本。例如，取一张“猫”的图片，在替代模型上稍作扰动，使其被误分类为“狗”。这个新生成的对抗样本x_adv很可能也位于目标黑盒模型的决策边界附近。
边界探测查询：将x_adv提交给目标黑盒模型查询。目标模型可能将其分类为“狗”（说明对抗性成功转移），也可能仍分类为“猫”（说明两个模型边界有差异）。无论哪种结果，这个查询都提供了关于目标模型边界位置的宝贵信息。
数据增强与再训练：将x_adv及其从目标模型获得的标签加入到替代模型的训练集中。由于x_adv位于边界附近，这个数据点对修正替代模型决策边界形状的帮助巨大。
迭代优化：重复步骤2-4。随着替代模型越来越接近目标模型，在其上生成的对抗样本也会越来越精准地命中目标模型的边界区域，形成正向循环。

技术优势：这种方法能显著减少达到相同提取精度所需的查询次数。因为它主动寻找“信息量最大”的样本（边界样本），而不是随机或被动地等待不确定样本。

一个简单的代码示意（概念层面）：

import torch # 假设我们已经有一个初步训练的替代模型 `surrogate_model` 和目标模型API `query_blackbox` def boundary_search_extraction(surrogate_model, initial_data, labels, query_budget): # 1. 初始训练 train_surrogate(surrogate_model, initial_data, labels) for i in range(query_budget): # 2. 在替代模型上生成对抗样本 # 选取一批干净数据 clean_batch = get_batch_from_pool() # 使用PGD等方法生成对抗样本 adv_batch = pgd_attack(surrogate_model, clean_batch, epsilon=0.03, steps=10) # 3. 查询目标黑盒模型，获取这些对抗样本的真实标签 # 注意：这里需要将对抗样本发送到目标API，模拟真实查询 blackbox_labels = [] for adv_img in adv_batch: # `query_api` 函数模拟调用黑盒API，返回预测标签 label = query_api(adv_img) blackbox_labels.append(label) # 4. 用新的（对抗样本，黑盒标签）对增强训练集 augmented_dataset.add(adv_batch, blackbox_labels) # 5. 继续训练替代模型 train_surrogate(surrogate_model, augmented_dataset) return surrogate_model

注意事项：

对抗攻击方法的选择：FGSM快速但粗糙，PGD更精确但计算量稍大。在黑盒提取场景下，通常使用基于替代模型的白盒攻击方法（如PGD）来生成对抗样本。
查询预算管理：每一步迭代都需要向目标模型发起查询（步骤3）。需要精心设计每轮生成的对抗样本数量，以平衡查询成本和模型提升速度。
转移性问题：在替代模型上生成的对抗样本，不一定总能成功攻击目标模型（即对抗样本的“可转移性”问题）。但即使不成功，查询结果也能揭示两个模型边界的不一致之处，从而指导替代模型的修正。

4.3 高级策略：元学习与模型窃取网络

这是目前学术界最前沿的探索方向，旨在将模型提取过程本身“学习”出来，实现更通用、更高效的攻击。

模型窃取网络：其核心思想是训练一个额外的神经网络（称为窃取网络），它的任务不是直接替代目标模型，而是学习如何生成最有利于提取目标模型的数据。可以把它想象成一个“提问专家”。

工作流程：

窃取网络接收当前替代模型的状态（或其某些特征）作为输入。
窃取网络输出一个建议的查询样本（如图像）。
将该查询样本提交给目标黑盒模型，获得标签。
用这个新的数据对更新替代模型。
根据替代模型性能的提升程度，来更新窃取网络的参数（通过强化学习或元学习的思路），奖励那些能生成“好问题”的策略。

优势：这种方法有望学会适应不同目标模型的查询策略，实现自动化的、自适应的模型提取，比人工设计的主动学习策略更优。

挑战：训练这样的窃取网络本身需要大量的模拟或与“影子模型”的交互，工程复杂度和计算成本很高，目前更多是研究概念，离大规模实际应用还有距离。

5. 从理论到实践：构建一个黑盒提取攻击实验

为了让你有更切身的体会，我们设计一个简化的实验，模拟攻击一个图像分类黑盒API。我们将使用公开数据集和模拟的目标模型。

5.1 实验环境与目标设定

目标模型（模拟）：我们选用一个在CIFAR-10数据集上预训练的ResNet-18模型作为“黑盒”。在真实场景中，你无法直接访问它，只能调用其predict函数。我们在这里用这个模型来模拟API。
攻击者知识：
- 知道这是一个10类图像分类任务（CIFAR-10的类别）。
- 拥有一个与任务相关的公开数据集（CIFAR-10的训练集，约5万张图片）。这模拟了攻击者从互联网收集相关图片的场景。
- 对目标模型的架构一无所知（实际上它是ResNet-18，但攻击者假设不知道）。
攻击目标：使用不超过N次查询（例如1万次），训练一个替代模型，使其在CIFAR-10测试集上的准确率尽可能接近目标模型（ResNet-18约92%的准确率）。
替代模型架构：攻击者选择一个简单的模型，例如一个小的自定义CNN（Conv->Pool->Conv->Pool->FC），参数远少于ResNet-18。

5.2 攻击实施步骤详解

步骤1：建立查询仿真函数由于我们没有真实的远程API，我们先构建一个本地仿真函数，它内部调用目标ResNet-18模型，但只返回预测标签（模拟最严格的仅返回硬标签的API）。

import torch import torchvision.models as models import torchvision.transforms as transforms from PIL import Image # 加载预训练的目标模型（模拟黑盒） target_model = models.resnet18(pretrained=False) # 假设我们有一个在CIFAR-10上训练好的权重文件 target_model.load_state_dict(torch.load(‘pretrained_resnet18_cifar10.pth’)) target_model.eval() # 数据预处理 transform = transforms.Compose([ transforms.Resize(224), transforms.ToTensor(), transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]) ]) def query_blackbox(image_path): """模拟黑盒API查询，只返回top-1标签""" img = Image.open(image_path).convert(‘RGB’) img_tensor = transform(img).unsqueeze(0) # 增加batch维度 with torch.no_grad(): output = target_model(img_tensor) _, predicted = torch.max(output.data, 1) return predicted.item() # 返回类别索引

步骤2：初始化数据池与替代模型我们从CIFAR-10训练集中随机抽取一小部分（例如1000张）作为初始查询数据池。

import torch.nn as nn # 定义一个简单的替代CNN模型 class SurrogateCNN(nn.Module): def __init__(self, num_classes=10): super(SurrogateCNN, self).__init__() self.features = nn.Sequential( nn.Conv2d(3, 32, kernel_size=3, padding=1), nn.ReLU(inplace=True), nn.MaxPool2d(kernel_size=2, stride=2), nn.Conv2d(32, 64, kernel_size=3, padding=1), nn.ReLU(inplace=True), nn.MaxPool2d(kernel_size=2, stride=2), ) self.classifier = nn.Sequential( nn.Linear(64 * 8 * 8, 512), # 假设输入是32x32，经过两次2x2池化后为8x8 nn.ReLU(inplace=True), nn.Dropout(), nn.Linear(512, num_classes) ) def forward(self, x): x = self.features(x) x = x.view(x.size(0), -1) x = self.classifier(x) return x surrogate_model = SurrogateCNN()

步骤3：主动学习循环我们实现一个简单的基于不确定性的主动学习循环。这里使用“预测熵”作为不确定性的度量。

import numpy as np from torch.utils.data import DataLoader, TensorDataset import torch.optim as optim # 假设我们有一个初始数据池 `pool_images` (Tensor) 和对应的通过查询获得的 `pool_labels` (Tensor) # 以及一个未标注的数据池 `unlabeled_images` (Tensor) query_budget = 10000 queries_used = len(pool_labels) batch_size = 64 while queries_used < query_budget: # 1. 用当前已标注数据训练替代模型 train_dataset = TensorDataset(pool_images, pool_labels) train_loader = DataLoader(train_dataset, batch_size=batch_size, shuffle=True) # ... 训练surrogate_model几个epoch的代码 ... surrogate_model.train() optimizer = optim.Adam(surrogate_model.parameters()) criterion = nn.CrossEntropyLoss() for epoch in range(5): # 简单训练几轮 for data, target in train_loader: optimizer.zero_grad() output = surrogate_model(data) loss = criterion(output, target) loss.backward() optimizer.step() # 2. 用替代模型计算未标注数据池中所有样本的不确定性（熵） surrogate_model.eval() uncertainties = [] with torch.no_grad(): # 分批处理未标注数据，避免内存溢出 for i in range(0, len(unlabeled_images), batch_size): batch = unlabeled_images[i:i+batch_size] outputs = surrogate_model(batch) probabilities = torch.softmax(outputs, dim=1) entropy = -torch.sum(probabilities * torch.log(probabilities + 1e-10), dim=1) # 计算熵 uncertainties.append(entropy) uncertainties = torch.cat(uncertainties) # 3. 选择不确定性最高的一批样本（例如，选择top-k） k = min(100, query_budget - queries_used) # 本轮计划查询的数量 _, indices = torch.topk(uncertainties, k) selected_images = unlabeled_images[indices] # 4. 查询目标黑盒模型，获取这批样本的标签 new_labels = [] for img_tensor in selected_images: # 注意：这里需要将tensor保存为临时图片文件，然后调用 `query_blackbox` # 为简化，我们假设有一个函数 `simulate_query` 能直接处理tensor并返回标签 label = simulate_query(img_tensor, target_model) # 内部调用目标模型前向传播 new_labels.append(label) new_labels = torch.tensor(new_labels) # 5. 将新标注的数据加入已标注池，并从未标注池中移除 pool_images = torch.cat([pool_images, selected_images]) pool_labels = torch.cat([pool_labels, new_labels]) # 从unlabeled_images中删除selected_images需要小心处理索引，此处省略具体代码 # 6. 更新已用查询次数 queries_used += k print(f“Queries used: {queries_used}, Labeled pool size: {len(pool_labels)}“)

步骤4：评估替代模型性能在查询预算用尽后，我们在独立的CIFAR-10测试集上评估替代模型的准确率，并与目标模型的准确率进行比较。

5.3 实验结果分析与思考

通过上述实验，你可能会发现：

即使只使用硬标签，通过主动学习策略，替代模型在测试集上的准确率也能达到目标模型的70%-80%甚至更高，具体取决于查询预算和初始数据。
如果目标模型能返回软标签（置信度），提取效果会好得多，查询效率也更高。
替代模型的架构不需要与目标模型相同。一个简单的CNN也能较好地模仿复杂ResNet的行为。
查询效率是核心：如何用最少的查询获得性能最好的替代模型，是衡量攻击方法优劣的关键指标。

这个实验清晰地展示了黑盒模型提取的可行性与潜在威胁。在真实世界中，攻击者可能会使用更复杂的查询策略、数据增强和模型架构。

6. 防御措施：如何保护你的模型不被提取？

了解了攻击手段，我们才能有的放矢地进行防御。防御模型提取是一个动态对抗的过程，没有银弹。以下是多层次、可组合的防御策略。

6.1 输入与输出扰动

这是最直接的一类防御，通过修改API的输入或返回来增加攻击者的难度。

输出扰动/模糊化：
- 思路：不返回精确的置信度分数，甚至干扰返回的标签。
- 方法：
  - Top-k 标签：只返回概率最高的k个类别，而不返回完整概率向量。k越小，信息越少。
  - 概率离散化：将连续的概率值四舍五入到固定的几个等级（如0.1, 0.2, ... 1.0）。
  - 添加噪声：在输出的概率向量上添加少量随机噪声。噪声需要足够大以干扰提取，但又不能太大以至于影响正常用户的体验。
  - 随机化：对于置信度接近的多个类别，以一定的概率随机返回其中一个，而不是总是返回最高概率的类别。
- 优缺点：实现简单，但会影响正常用户的体验（尤其是需要置信度的应用）。同时，聪明的攻击者可以通过多次查询同一输入并统计结果来平均掉部分噪声。
输入预处理与检测：
- 思路：识别并拦截可疑的查询。
- 方法：
  - 频率限制与速率限制：限制单个API密钥或IP地址在单位时间内的调用次数。这是最基本且必要的防御。
  - 查询内容检测：检测输入的分布是否与正常用户数据分布差异巨大。例如，攻击者使用的合成图像可能在统计特征（如像素值分布、频谱特征）上与真实照片不同。可以训练一个二分类器来区分“正常查询”和“可疑查询”。
  - 水印检测：在提供给用户的数据中嵌入不可感知的水印。如果攻击者用这些数据来查询，其查询流中会包含特定模式，可以被检测到。

6.2 基于模型本身的防御

这类防御通过修改模型决策边界或内部机制，使其更难被模仿。

决策边界复杂化：
- 思路：让模型的决策边界变得更加“不规则”或“尖锐”，使得通过有限采样点来近似边界变得异常困难。
- 方法：一种研究思路是对抗训练。但这里的对抗训练目标不是防御对抗样本，而是防御模型提取。在训练时，除了正常数据，还加入一些专门针对提取攻击设计的“防御性对抗样本”，迫使模型在这些点上学习到非常独特的、难以泛化的响应模式。
- 挑战：这可能会轻微降低模型在正常数据上的准确率，并且需要精心设计防御性样本的生成方法。
模型水印：
- 思路：在模型中嵌入一个“后门”或“签名”，只有模型所有者知道触发条件和对应的特殊输出。如果发现一个可疑模型，可以通过触发这个水印来证明其是对自己模型的抄袭。
- 方法：在训练阶段，选择一小部分特定数据（水印密钥），并强制模型在这些数据上输出指定的错误标签。这些数据-标签对是秘密保存的。
- 作用：防御的主要目的不是防止提取，而是事后追溯和举证。当发现一个疑似被盗用的模型时，所有者可以用其私有的水印密钥去查询该模型。如果它输出预设的错误标签，就能以很高的概率证明该模型源自自己的原始模型。

6.3 系统与策略层防御

API设计策略：
- 按需提供信息：对于不同信任等级的用户，提供不同粒度的输出。普通用户只给硬标签，高信任度合作伙伴可以提供置信度。
- 功能拆分：不提供一个“万能”的预测API。而是将服务拆分成多个具体的、功能受限的API。增加攻击者整合信息的难度。
- 使用承诺：与企业用户签订合同，明确禁止模型提取行为，并通过技术手段进行审计。
持续监控与异常检测：
- 建立查询行为基线：分析正常用户查询的模式，包括查询时间分布、数据内容分布、查询序列特征等。
- 检测异常模式：监控是否有用户进行大量、连续的、数据内容怪异（如大量噪声图像）的查询。检测查询序列是否呈现出明显的“探索性”模式（如主动学习中的不确定性采样特征）。
- 动态响应：对于检测到的可疑行为，可以动态调整响应策略，如逐渐增加返回结果的噪声、延迟响应、甚至暂时限制访问。