从卷积核到特征图：用PyTorch可视化CNN的“视觉”形成过程

1. 卷积神经网络如何"看见"图像

第一次接触卷积神经网络(CNN)时，最让我困惑的就是：一堆数字组成的矩阵，怎么就能识别图像了？直到我亲手用PyTorch可视化卷积过程，才真正理解CNN的"视觉"形成机制。想象你拿着一支手电筒在黑暗的房间里扫视，光束照到的地方就是CNN关注的重点。卷积核就是这支手电筒，而特征图则是它照亮的部分。

在PyTorch中，我们可以用简单的代码加载预训练模型。以ResNet18为例：

import torch import torchvision.models as models model = models.resnet18(pretrained=True) first_conv_layer = model.conv1 # 获取第一个卷积层

这个卷积层包含64个3x3的卷积核，每个核都会对输入图像进行"扫描"。但这里有个关键点：这些卷积核不是随机工作的，而是在训练过程中学会了特定的模式识别能力。比如有的核专门检测垂直边缘，有的则对水平边缘敏感。

2. 从像素到特征的魔法转换

2.1 卷积操作的本质

我刚开始学CNN时，总把卷积想象得很神秘。其实它就是个"加权求和"的过程。举个例子，假设我们有个3x3的卷积核：

[[-1, 0, 1], [-1, 0, 1], [-1, 0, 1]]

这个核有个特点：左边是-1，右边是+1，中间是0。当它在图像上滑动时，遇到左侧暗右侧亮的区域就会输出高值，这就是在检测垂直边缘！用PyTorch实现单次卷积运算：

import torch.nn.functional as F input = torch.randn(1, 3, 224, 224) # 随机生成一张224x224的彩色图像 weight = torch.tensor([[[[-1,0,1],[-1,0,1],[-1,0,1]]]]) # 定义垂直边缘检测核 output = F.conv2d(input, weight, padding=1)

2.2 特征图的生成过程

第一次看到特征图时，我惊讶于它的抽象程度。原始图像经过第一层卷积后，会生成64个特征图（对应64个卷积核）。每个特征图都像是从不同角度观察图像的"快照"。可视化这些特征图特别有意思：

import matplotlib.pyplot as plt def visualize_feature_maps(feature_maps): plt.figure(figsize=(20, 20)) for i in range(min(64, feature_maps.shape[1])): # 最多显示64个特征图 plt.subplot(8, 8, i+1) plt.imshow(feature_maps[0, i].detach().numpy(), cmap='viridis') plt.axis('off') plt.show() # 获取第一层卷积的输出 feature_maps = first_conv_layer(input) visualize_feature_maps(feature_maps)

运行这段代码，你会看到一些特征图对边缘敏感，有些对纹理敏感，还有些似乎对特定颜色有反应。这就是CNN的初级视觉——它不是在"看"整张图像，而是在寻找局部的模式特征。

3. 深度网络中的特征演变

3.1 浅层与深层特征的对比

在我做过的实验中，浅层特征图（前几层）通常保留较多原始图像的空间信息。比如用VGG16模型测试猫狗图片时，第一层特征图还能看到耳朵、胡须等轮廓。但到了第五层，特征图就变得很抽象了——这些高维特征对人眼没有意义，但对分类器却至关重要。

一个有趣的发现是：不同类别的图像在浅层的特征图可能很相似，但在深层会显著分化。这说明网络是逐层抽象特征的。我们可以用hook机制捕获中间层输出：

features = {} def get_features(name): def hook(model, input, output): features[name] = output.detach() return hook model.layer1.register_forward_hook(get_features('layer1')) model.layer4.register_forward_hook(get_features('layer4')) output = model(input) # 前向传播 # 现在features字典中保存了各层的输出

3.2 特征图的空间分辨率变化

随着网络加深，特征图的空间尺寸会逐渐减小，但通道数会增加。这就像是用更高维的方式"描述"图像。以ResNet为例：

• 输入：224x224x3
• layer1输出：56x56x64
• layer4输出：7x7x512

这种设计非常巧妙：浅层用高分辨率捕捉细节，深层用低分辨率但高维表示捕捉语义信息。在实际项目中，我经常用不同层的特征做迁移学习，浅层特征适合边缘检测，深层特征更适合图像分类。

4. 动手实践：完整可视化流程

4.1 准备可视化工具链

经过多次尝试，我总结出一套稳定的可视化方案需要以下组件：

1. PyTorch模型（预训练或自定义）
2. 图像预处理管道
3. 特征提取hook
4. 可视化工具（Matplotlib或TensorBoard）

完整的代码框架如下：

import numpy as np from PIL import Image import torchvision.transforms as transforms # 图像预处理 preprocess = transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]), ]) # 加载图像 img_path = 'cat.jpg' img = Image.open(img_path) input_tensor = preprocess(img) input_batch = input_tensor.unsqueeze(0) # 创建batch维度 # 注册hook捕获各层输出 activation = {} def get_activation(name): def hook(model, input, output): activation[name] = output.detach() return hook model.conv1.register_forward_hook(get_activation('conv1')) model.layer1.register_forward_hook(get_activation('layer1')) model.layer2.register_forward_hook(get_activation('layer2'))

4.2 特征图可视化技巧

在可视化时，我发现几个实用技巧：

1. 对特征图做归一化，否则可能因为数值范围问题显示全黑
2. 使用plt.imshow的vmin和vmax参数控制对比度
3. 对于深层特征，可以计算通道均值再显示

改进后的可视化代码：

def visualize_layer(layer_name, n_cols=8): activations = activation[layer_name][0] # 获取第一个batch的输出 n_channels = activations.shape[0] n_rows = np.ceil(n_channels / n_cols).astype(int) plt.figure(figsize=(n_cols*2, n_rows*2)) for i in range(n_channels): plt.subplot(n_rows, n_cols, i+1) channel = activations[i].cpu().numpy() # 使用百分位数归一化，避免极端值影响显示 vmin, vmax = np.percentile(channel, [2, 98]) plt.imshow(channel, cmap='viridis', vmin=vmin, vmax=vmax) plt.title(f'{i}', fontsize=8) plt.axis('off') plt.suptitle(layer_name, y=1.02) plt.tight_layout() plt.show() # 可视化不同层 visualize_layer('conv1') visualize_layer('layer2')

5. 理解特征图的实际意义

5.1 特征图与模型决策

在调试图像分类模型时，我经常用特征图分析模型为何出错。比如有次模型把哈士奇误认为狼，通过可视化最后一层卷积的特征图，发现模型过度关注背景中的雪地特征。这提示我需要增加数据增强的多样性。

另一个实用技巧是计算特征图的平均激活强度：

def analyze_activations(layer_name): activations = activation[layer_name][0] mean_activation = activations.mean(dim=(1,2)) # 各通道的空间均值 topk_channels = torch.topk(mean_activation, k=5) print(f"Most active channels in {layer_name}:") for i, val in zip(topk_channels.indices, topk_channels.values): print(f"Channel {i}: {val.item():.4f}")

5.2 特征图的可解释性方法

近年来，类激活映射(CAM)等方法可以帮助我们理解CNN的决策过程。虽然原始特征图难以解释，但通过加权组合，我们可以生成热力图显示模型关注区域：

from torchcam.methods import CAM cam_extractor = CAM(model, 'layer4') with torch.no_grad(): output = model(input_batch) # 生成类别激活热力图 activation_map = cam_extractor(output.squeeze(0).argmax().item(), output) plt.imshow(activation_map[0].squeeze().cpu().numpy(), cmap='jet') plt.colorbar()

这种方法在我最近的项目中非常有用，特别是在医疗图像分析中，可以直观展示模型关注的病变区域。