用Python和PyTorch复现CVPR2019 DIM攻击：如何通过随机缩放和填充提升对抗样本的‘黑盒’攻击力

用Python和PyTorch实战CVPR2019 DIM攻击：从理论到代码的完整实现指南

对抗样本研究领域近年来发展迅猛，而CVPR2019提出的DIM（Diverse Input Method）方法因其出色的黑盒攻击能力成为经典。本文将带您从零开始，用PyTorch完整复现这一里程碑式的工作，不仅包含核心算法实现，还会分享实际调参中的经验技巧。

1. 环境准备与基础概念

在开始编码之前，我们需要确保开发环境配置正确，并回顾一些关键概念。对抗样本本质上是通过对原始图像添加人眼难以察觉的微小扰动，使模型产生错误预测的特殊输入。DIM方法的创新点在于将随机变换引入攻击过程，显著提升了对抗样本在不同模型间的可迁移性。

推荐使用以下环境配置：

# 环境依赖 python==3.8.10 torch==1.9.0 torchvision==0.10.0 numpy==1.21.2 pillow==8.3.1

对于硬件，虽然可以在CPU上运行，但建议使用支持CUDA的GPU以获得更好的性能：

# 检查CUDA可用性 import torch print(torch.cuda.is_available()) # 应返回True print(torch.version.cuda) # 显示CUDA版本

提示：如果使用Colab环境，可以直接在运行时设置中选择GPU加速

2. DIM核心算法解析与实现

DIM方法的核心在于两点：随机输入变换和动量集成。我们先来看随机变换部分的实现，这是提升黑盒攻击成功率的关键。

2.1 随机变换模块实现

DIM论文中提出的随机变换主要包括随机缩放和随机填充两个操作：

import random import torch.nn.functional as F def random_resize_pad(image, target_size=330, scale_range=(299, 330)): """ 实现DIM中的随机缩放和填充 :param image: 输入图像张量(C,H,W) :param target_size: 目标尺寸 :param scale_range: 随机缩放范围 :return: 变换后的图像 """ # 随机缩放 scale = random.randint(*scale_range) h, w = image.shape[1:] # 计算缩放比例并保持宽高比 ratio = scale / min(h, w) new_h, new_w = int(h * ratio), int(w * ratio) # 双线性插值缩放 resized = F.interpolate(image.unsqueeze(0), size=(new_h, new_w), mode='bilinear', align_corners=False).squeeze(0) # 随机填充 pad_h = target_size - new_h pad_w = target_size - new_w # 随机确定填充位置 pad_top = random.randint(0, pad_h) pad_bottom = pad_h - pad_top pad_left = random.randint(0, pad_w) pad_right = pad_w - pad_left # 执行填充 padded = F.pad(resized, (pad_left, pad_right, pad_top, pad_bottom), mode='constant', value=0) # 最终缩放回原始尺寸 result = F.interpolate(padded.unsqueeze(0), size=(h, w), mode='bilinear', align_corners=False).squeeze(0) return result

2.2 动量迭代攻击实现

结合随机变换和动量项，我们可以实现完整的M-DI²-FGSM攻击：

def mdi_fgsm_attack(model, image, true_label, epsilon=15/255, alpha=1/255, iterations=10, momentum=1.0, prob=0.5): """ M-DI²-FGSM攻击实现 :param model: 目标模型 :param image: 原始图像(C,H,W) :param true_label: 真实标签 :param epsilon: 最大扰动幅度 :param alpha: 步长 :param iterations: 迭代次数 :param momentum: 动量系数 :param prob: 随机变换概率 :return: 对抗样本 """ # 初始化对抗样本和动量 adv_image = image.clone().detach().requires_grad_(True) momentum_buffer = torch.zeros_like(image) # 损失函数 criterion = torch.nn.CrossEntropyLoss() for _ in range(iterations): # 随机决定是否应用变换 if random.random() < prob: transformed = random_resize_pad(adv_image) else: transformed = adv_image.clone() # 前向传播 outputs = model(transformed.unsqueeze(0)) loss = criterion(outputs, true_label.unsqueeze(0)) # 反向传播 loss.backward() # 更新动量 grad = adv_image.grad.data grad_norm = torch.norm(grad, p=1) momentum_buffer = momentum * momentum_buffer + grad / (grad_norm + 1e-8) # 生成对抗样本 adv_image.data = adv_image.data + alpha * momentum_buffer.sign() adv_image.data = torch.clamp(adv_image.data, image.data - epsilon, image.data + epsilon) adv_image.data = torch.clamp(adv_image.data, 0, 1) # 保持有效像素范围 # 清零梯度 adv_image.grad.zero_() return adv_image.detach()

注意：实际应用中，epsilon和alpha的值通常需要根据图像像素范围进行调整。本文示例假设图像值在[0,1]范围内。

3. 实验设计与效果评估

为了验证我们实现的DIM攻击效果，需要设计合理的实验方案。以下是关键实验步骤和评估指标。

3.1 模型准备与数据集加载

首先需要准备目标模型和测试数据集：

from torchvision import models, transforms from torch.utils.data import DataLoader from torchvision.datasets import ImageNet # 加载预训练模型 inception_v3 = models.inception_v3(pretrained=True).eval() resnet152 = models.resnet152(pretrained=True).eval() # 数据预处理 transform = transforms.Compose([ transforms.Resize(299), transforms.CenterCrop(299), transforms.ToTensor(), ]) # 加载数据集 dataset = ImageNet(root='path/to/imagenet', split='val', transform=transform) dataloader = DataLoader(dataset, batch_size=1, shuffle=True)

3.2 攻击成功率评估

定义评估函数来计算攻击成功率：

def evaluate_attack(model, attack_fn, dataloader, num_samples=100): """ 评估攻击效果 :param model: 目标模型 :param attack_fn: 攻击函数 :param dataloader: 数据加载器 :param num_samples: 测试样本数 :return: 攻击成功率 """ correct = 0 total = 0 for i, (images, labels) in enumerate(dataloader): if i >= num_samples: break # 生成对抗样本 adv_images = attack_fn(model, images, labels) # 评估攻击效果 with torch.no_grad(): outputs = model(adv_images) _, predicted = torch.max(outputs.data, 1) correct += (predicted != labels).sum().item() total += labels.size(0) return correct / total

3.3 参数对比实验

DIM攻击效果受多个参数影响，我们可以设计实验来观察不同参数的影响：

从实验结果可以看出，随着变换概率p的增加，黑盒攻击成功率提升，但白盒成功率下降，这与论文结论一致。

4. 高级技巧与实战经验

在实际应用中，我们发现以下几个技巧可以进一步提升DIM攻击的效果：

4.1 多模型集成攻击

同时攻击多个模型可以生成更具迁移性的对抗样本：

def ensemble_attack(models, image, true_label, **kwargs): """ 多模型集成攻击 :param models: 模型列表 :param image: 原始图像 :param true_label: 真实标签 :param kwargs: 攻击参数 :return: 对抗样本 """ # 初始化 adv_image = image.clone().detach().requires_grad_(True) momentum_buffer = torch.zeros_like(image) # 损失函数 criterion = torch.nn.CrossEntropyLoss() for _ in range(kwargs.get('iterations', 10)): # 随机变换 if random.random() < kwargs.get('prob', 0.5): transformed = random_resize_pad(adv_image) else: transformed = adv_image.clone() # 多模型集成梯度 total_grad = 0 for model in models: outputs = model(transformed.unsqueeze(0)) loss = criterion(outputs, true_label.unsqueeze(0)) loss.backward() total_grad += adv_image.grad.data adv_image.grad.zero_() # 平均梯度 total_grad /= len(models) # 更新动量 grad_norm = torch.norm(total_grad, p=1) momentum_buffer = kwargs.get('momentum', 1.0) * momentum_buffer + total_grad / (grad_norm + 1e-8) # 生成对抗样本 adv_image.data = adv_image.data + kwargs.get('alpha', 1/255) * momentum_buffer.sign() adv_image.data = torch.clamp(adv_image.data, image.data - kwargs.get('epsilon', 15/255), image.data + kwargs.get('epsilon', 15/255)) adv_image.data = torch.clamp(adv_image.data, 0, 1) return adv_image.detach()

4.2 自适应参数调整

根据目标模型特性动态调整参数可以提升攻击效果：

• 对抗训练模型：增大p值(0.7-1.0)和迭代次数(15-20)
• 正常训练模型：使用中等p值(0.4-0.6)和标准迭代次数(10)
• 未知架构模型：结合大p值和小步长(α=0.5/255)

4.3 可视化分析

通过可视化可以直观理解对抗扰动：

import matplotlib.pyplot as plt def visualize_attack(original, adversarial): """ 可视化原始图像和对抗样本 :param original: 原始图像 :param adversarial: 对抗样本 """ plt.figure(figsize=(10, 5)) # 原始图像 plt.subplot(1, 3, 1) plt.imshow(original.permute(1, 2, 0)) plt.title('Original') plt.axis('off') # 对抗样本 plt.subplot(1, 3, 2) plt.imshow(adversarial.permute(1, 2, 0)) plt.title('Adversarial') plt.axis('off') # 扰动放大 plt.subplot(1, 3, 3) perturbation = (adversarial - original).abs().sum(dim=0) plt.imshow(perturbation, cmap='hot') plt.title('Perturbation (amplified)') plt.axis('off') plt.tight_layout() plt.show()

在实际项目中，我们发现DIM攻击的成功率高度依赖于目标模型的架构和训练方式。例如，对于Inception系列模型，使用330×330的变换尺寸效果最佳，而对于ResNet架构，适当减小变换尺寸(如310×310)反而能获得更好的迁移性。