MNIST 与 Fashion-MNIST 数据集对比：2 种经典基准在 3 类模型上的泛化性分析

MNIST 与 Fashion-MNIST 数据集对比：3 类模型下的泛化能力深度评测

在计算机视觉领域，数据集的选择往往决定了模型能力的上限。当研究者们需要验证一个新算法时，第一个浮现在脑海的通常是那个包含 70,000 张灰度手写数字的经典数据集——MNIST。但近年来，一个更具挑战性的替代者正在崛起：Fashion-MNIST。这两个数据集看似相似，却在数据分布、任务复杂度上存在显著差异，直接影响着模型的泛化表现。

1. 数据集本质解析：从像素到语义

1.1 MNIST 的简单之美

作为机器学习领域的"Hello World"，MNIST 包含 60,000 张训练图像和 10,000 张测试图像，每张都是 28×28 像素的灰度手写数字（0-9）。它的优势在于：

• 低计算成本：单张图像仅占 784 维特征空间
• 高区分度：数字间结构差异明显，人类识别准确率接近 100%
• 数据平衡：每个类别样本量基本均衡（约 6,000 训练样本/类）

# MNIST 数据加载示例（PyTorch） transform = transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.5,), (0.5,)) ]) train_set = datasets.MNIST(root='./data', train=True, download=True, transform=transform)

1.2 Fashion-MNIST 的现实挑战

作为 MNIST 的直接替代品，Fashion-MNIST 保持相同的图像尺寸和数据量，但内容变为 10 类服装物品：

关键差异：Fashion-MNIST 的类内差异显著大于 MNIST。例如一件"T恤"可能呈现多种褶皱状态，而数字"7"的写法变异相对有限。

2. 模型战场：三类架构的对抗测试

2.1 全连接网络(FCN)基准测试

我们构建包含两个隐藏层（512→256）的FCN，使用交叉熵损失和Adam优化器：

class FCN(nn.Module): def __init__(self): super().__init__() self.fc1 = nn.Linear(784, 512) self.fc2 = nn.Linear(512, 256) self.fc3 = nn.Linear(256, 10) def forward(self, x): x = x.view(-1, 784) x = F.relu(self.fc1(x)) x = F.relu(self.fc2(x)) return self.fc3(x)

性能对比：

2.2 卷积神经网络(CNN)表现

采用经典LeNet-5架构：

class LeNet(nn.Module): def __init__(self): super().__init__() self.conv1 = nn.Conv2d(1, 6, 5) self.conv2 = nn.Conv2d(6, 16, 5) self.fc1 = nn.Linear(16*4*4, 120) self.fc2 = nn.Linear(120, 84) self.fc3 = nn.Linear(84, 10) def forward(self, x): x = F.max_pool2d(F.relu(self.conv1(x)), 2) x = F.max_pool2d(F.relu(self.conv2(x)), 2) x = x.view(-1, 16*4*4) x = F.relu(self.fc1(x)) x = F.relu(self.fc2(x)) return self.fc3(x)

结果对比：

2.3 轻量级Transformer实验

构建基于Patch的微型ViT模型：

class MiniViT(nn.Module): def __init__(self, patch_size=7): super().__init__() self.patch_embed = nn.Conv2d(1, 64, patch_size, patch_size) self.transformer = nn.TransformerEncoderLayer(64, nhead=8) self.classifier = nn.Linear(64, 10) def forward(self, x): x = self.patch_embed(x) # [B, C, H, W] x = x.flatten(2).permute(2, 0, 1) # [N, B, C] x = self.transformer(x) return self.classifier(x.mean(0))

跨数据集表现：

• MNIST

  • 训练时间：23分钟
  • 测试准确率：98.9%

• Fashion-MNIST

  • 训练时间：37分钟
  • 测试准确率：89.2%

3. 关键发现与实用建议

3.1 数据特性影响模型选择

通过对比发现：

• MNIST更适合：

  • 新算法的快速验证
  • 教育资源演示
  • 计算资源有限场景

• Fashion-MNIST更接近真实场景：

  • 测试模型鲁棒性
  • 评估特征提取能力
  • 模拟实际业务数据

3.2 可视化对比

两类数据的特征分布差异（通过t-SNE降维）：

图示说明：Fashion-MNIST（右）的类间重叠明显多于MNIST（左）

4. 进阶实验：跨数据集迁移学习

我们设计了一个有趣的交叉测试：在MNIST上训练，在Fashion-MNIST上测试（需调整输出层）：

# 迁移学习示例 model = LeNet() model.load_state_dict(torch.load('mnist_model.pth')) model.fc3 = nn.Linear(84, 10) # 替换最后一层 # 冻结卷积层 for param in model.parameters(): param.requires_grad = False model.fc3.requires_grad = True

实验结果：

这个结果印证了：从复杂数据集（Fashion）向简单数据集（MNIST）迁移时，模型表现出更强的适应能力。