别再死磕ViT了！用Swin Transformer在PyTorch里轻松搞定图像分类（附完整代码）

实战指南：用Swin Transformer在PyTorch中高效实现图像分类

如果你正在寻找一种比ViT更高效的视觉Transformer方案，Swin Transformer可能是你的理想选择。这篇文章将带你从零开始，在PyTorch中实现一个完整的Swin Transformer图像分类流程，特别适合那些计算资源有限但希望获得高性能结果的开发者。

1. 为什么选择Swin Transformer而非ViT

视觉Transformer(ViT)虽然性能强大，但其全图自注意力机制带来的计算复杂度让许多开发者望而却步。Swin Transformer通过两个关键创新解决了这个问题：

1. 窗口注意力机制：将图像划分为不重叠的局部窗口，只在窗口内计算自注意力，大幅降低计算量
2. 移位窗口策略：通过窗口的周期性移位，实现跨窗口信息交互，保持全局建模能力

下表对比了ViT和Swin Transformer的计算复杂度：

# 计算复杂度对比示例 def complexity_comparison(image_size=224, patch_size=16, window_size=7): num_patches = (image_size // patch_size) ** 2 vit_complexity = num_patches ** 2 # O(N²) swin_complexity = num_patches * window_size ** 2 # O(N) return vit_complexity, swin_complexity

提示：在消费级GPU(如RTX 3080)上，ViT处理224x224图像可能需要16GB显存，而同等条件下Swin Transformer只需8GB左右

2. 快速搭建Swin Transformer分类模型

PyTorch生态已经提供了完善的Swin Transformer实现，我们可以直接使用预训练模型进行微调。以下是完整的模型搭建流程：

2.1 安装必要依赖

首先确保你的环境安装了以下包：

pip install torch torchvision timm

timm库(PyTorch Image Models)包含了多种Swin Transformer变体的预训练权重。

2.2 加载预训练模型

import torch import timm # 选择不同规模的Swin Transformer变体 model = timm.create_model( 'swin_tiny_patch4_window7_224', # 也可选'swin_small'、'swin_base'等 pretrained=True, num_classes=1000 # 根据你的任务修改 ) # 转移到GPU device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') model = model.to(device)

Swin Transformer常见变体参数：

• Swin-Tiny：适合快速实验和低资源场景
• Swin-Small：平衡性能和计算成本
• Swin-Base：提供更高准确率
• Swin-Large：最高性能，需要更多计算资源

2.3 自定义数据预处理

Swin Transformer需要特定的数据预处理流程：

from torchvision import transforms # 标准Swin Transformer预处理 transform = transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize( mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225] ) ])

3. 模型微调实战技巧

直接使用预训练模型往往无法达到最佳效果，我们需要针对特定任务进行微调。以下是关键步骤和技巧：

3.1 数据加载与增强

from torch.utils.data import DataLoader from torchvision.datasets import ImageFolder # 假设数据按类别存放在train和val文件夹 train_dataset = ImageFolder('path/to/train', transform=transform) val_dataset = ImageFolder('path/to/val', transform=transform) train_loader = DataLoader(train_dataset, batch_size=32, shuffle=True) val_loader = DataLoader(val_dataset, batch_size=32)

注意：对于小数据集，建议使用更强的数据增强，如随机旋转、颜色抖动等

3.2 优化器与学习率设置

Swin Transformer微调时，不同层通常需要不同的学习率：

from torch.optim import AdamW # 分组设置学习率 param_groups = [ {'params': model.head.parameters(), 'lr': 1e-3}, # 新分类头用较高学习率 {'params': model.layers[-1].parameters(), 'lr': 5e-4}, # 最后几层 {'params': model.layers[:-1].parameters(), 'lr': 1e-4}, # 其他层 ] optimizer = AdamW(param_groups, weight_decay=0.05)

3.3 训练循环示例

def train_epoch(model, loader, optimizer, criterion, device): model.train() total_loss = 0 for inputs, targets in loader: inputs, targets = inputs.to(device), targets.to(device) optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, targets) loss.backward() optimizer.step() total_loss += loss.item() return total_loss / len(loader)

4. 可视化与性能分析

理解模型如何"看"图像对于调试和改进至关重要。Swin Transformer的注意力机制提供了独特的可视化可能性。

4.1 注意力图可视化

import matplotlib.pyplot as plt def visualize_attention(image, model, layer_idx=0, head_idx=0): # 注册hook获取注意力权重 attentions = [] def hook_fn(module, input, output): attentions.append(output[1]) # 输出为(attn_output, attn_weights) handle = model.layers[layer_idx].blocks[0].attn.register_forward_hook(hook_fn) # 前向传播 with torch.no_grad(): _ = model(image.unsqueeze(0).to(device)) handle.remove() # 可视化特定头的注意力 attn = attentions[0][head_idx].cpu().numpy() plt.imshow(attn, cmap='viridis') plt.colorbar() plt.show()

4.2 性能优化技巧

1. 混合精度训练：大幅减少显存占用并加速训练

   from torch.cuda.amp import autocast, GradScaler scaler = GradScaler() with autocast(): outputs = model(inputs) loss = criterion(outputs, targets) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()

2. 梯度检查点：在内存和计算之间取得平衡

   model.set_grad_checkpointing(True) # timm提供的便捷方法

3. 动态分辨率调整：Swin支持可变输入尺寸

   model = timm.create_model('swin_base_patch4_window7_224', img_size=384, pretrained=True)

5. 常见问题与解决方案

在实际项目中应用Swin Transformer时，你可能会遇到以下挑战：

5.1 显存不足问题

症状：训练时出现CUDA out of memory错误

解决方案：

• 减小batch size
• 使用梯度累积

  for i, (inputs, targets) in enumerate(train_loader): outputs = model(inputs) loss = criterion(outputs, targets) / accumulation_steps loss.backward() if (i+1) % accumulation_steps == 0: optimizer.step() optimizer.zero_grad()

5.2 过拟合问题

症状：训练准确率高但验证准确率低

应对策略：

• 增加数据增强
• 使用更强的正则化

  optimizer = AdamW(model.parameters(), lr=1e-4, weight_decay=0.1)

• 早停策略

5.3 迁移学习效果不佳

症状：微调后性能提升有限

改进方法：

• 渐进式解冻：先微调最后几层，再逐步解冻更多层
• 标签平滑：减轻错误标签的影响

  criterion = torch.nn.CrossEntropyLoss(label_smoothing=0.1)

6. 进阶应用与扩展

掌握了基础分类后，Swin Transformer还可以应用于更复杂的视觉任务：

6.1 目标检测

Swin Transformer作为骨干网络，可以与检测头(如Mask R-CNN)结合：

from torchvision.models.detection import maskrcnn_resnet50_fpn # 替换骨干网络为Swin backbone = timm.create_model('swin_base_patch4_window7_224', features_only=True) model = maskrcnn_resnet50_fpn(backbone=backbone)

6.2 语义分割

利用Swin的层次化特征进行像素级预测：

import segmentation_models_pytorch as smp model = smp.Unet( encoder_name='swin-base', # 使用Swin作为编码器 encoder_weights='imagenet', classes=num_classes )

6.3 多模态应用

结合CLIP等模型进行图文跨模态学习：

import clip from transformers import SwinModel vision_encoder = SwinModel.from_pretrained("microsoft/swin-base-patch4-window7-224") text_encoder = clip.TextEncoder()

在实际项目中，我发现Swin Transformer的窗口注意力机制特别适合处理高分辨率医学图像，因为可以分区域处理而不需要过高的显存。一个实用的技巧是在微调后期逐渐增大窗口尺寸，先学习局部特征再关注全局关系。