DAY44 Dataset和Dataloader类

目录

1. Dataset 类：定义“数据是什么”

2. DataLoader 类：定义“怎么拿数据”

3. MNIST 手写数字数据集

附例：

1. Dataset 类：定义“数据是什么”

Dataset类是 PyTorch 数据读取的基类，它的核心作用是定义数据的来源、索引方式和预处理逻辑。

它要求用户重写两个Python 的特殊方法（Magic Methods），这使得自定义的数据集对象可以像 Python 原生列表（List）一样被操作：

• __len__(self)：

  • 作用：定义数据集的总样本数量。

  • Python 本质：当你对数据集对象调用len(dataset)时，Python 解释器会自动调用这个方法。

  • 重要性：DataLoader需要通过它来计算一个 Epoch 需要遍历多少个 Batch。

• __getitem__(self, index)：

  • 作用：定义如何获取第index个样本。

  • Python 本质：当你使用索引操作dataset[3]时，Python 解释器会自动调用这个方法，传入index=3。

  • 内部逻辑：通常包含三个步骤：

    1. 定位：根据index找到对应的文件路径或数据行。

    2. 加载：读取图片（如PIL.Image.open）或读取文本/数值。

    3. 变换 (Transform)：进行预处理（如归一化、裁剪、转 Tensor）。

  • 返回值：通常返回一个元组，例如(image_tensor, label)。

2. DataLoader 类：定义“怎么拿数据”

如果说Dataset是仓库管理员（知道东西在哪），那么DataLoader就是物流配送员（负责打包和运输）。

DataLoader本身不需要你重写复杂的方法，它通过参数配置来控制加载行为。它的核心职责是将Dataset中获取的单个样本组合成批次（Batch）。

• 核心功能：

  • Batching（批处理）：将__getitem__返回的多个样本堆叠（Stack）成一个大 Tensor。例如，将 64 张[1, 28, 28]的图片堆叠成[64, 1, 28, 28]。

  • Shuffling（打乱）：在每个 Epoch 开始前打乱数据顺序，防止模型记忆样本顺序（通过shuffle=True开启）。

  • Parallelism（多进程）：使用多进程同时读取数据，加速训练（通过num_workers参数控制）。

• Dataset 与 DataLoader 的关系：

  DataLoader 是一个迭代器（Iterator），我们在训练循环 for inputs, labels in dataloader: 中使用的是 DataLoader，而 DataLoader 内部会不断调用 Dataset 的 __getitem__ 方法来凑齐数据。

3. MNIST 手写数字数据集

这是深度学习领域的 "Hello World" 级别的数据集。

• 数据内容：

  • 包含0~9的手写数字图片。

  • 训练集：60,000 张。

  • 测试集：10,000 张。

• 图像特征：

  • 尺寸：28 × 28 像素。

  • 通道：单通道（灰度图，Gray Scale）。

  • 数据格式：通常在 PyTorch 中会被处理为[1, 28, 28]的 Tensor。

• 适用性：

  • 由于维度较小（28*28=784特征），它既适合作为结构化数据用 MLP（多层感知机）训练，也适合作为图像数据用 CNN（卷积神经网络）训练。

• 可视化：

  • 原始数据通常是归一化过的（如均值0.1307，方差0.3081），可视化时需要进行反归一化操作才能看到清晰的黑底白字图像。

总结图解：

[硬盘上的文件] ↓ Dataset (__getitem__) --> 负责：找文件 -> 读文件 -> 预处理 -> 返回单条数据 (img, label) ↓ DataLoader (batch_size=64) --> 负责：调用64次Dataset -> 打包成一捆 -> 乱序 -> 多进程加速 ↓ [模型训练循环] (for x, y in loader) --> 获得形状为 [64, 1, 28, 28] 的 Tensor

附例：

cifar 数据集尝试获取其中一张图片

import torch import torchvision import torchvision.transforms as transforms import matplotlib.pyplot as plt import numpy as np # 1. 定义预处理 # 这里我们暂时只转为 Tensor，不进行标准化 (Normalization)， # 这样显示时就不需要反标准化计算，方便直观查看原始图片。 transform = transforms.Compose([ transforms.ToTensor() ]) # 2. 下载并加载 CIFAR-10 数据集 # root: 数据存放路径 # train: True 表示训练集 # download: True 表示如果本地没有就下载 trainset = torchvision.datasets.CIFAR10(root='./data', train=True, download=True, transform=transform) # CIFAR-10 的 10 个类别名称 classes = ('plane', 'car', 'bird', 'cat', 'deer', 'dog', 'frog', 'horse', 'ship', 'truck') # 3. 获取一张图片 (调用 Dataset 的 __getitem__ 方法) # 我们取第 100 张图片试试 index = 100 image_tensor, label_index = trainset[index] # 打印一下数据的形状 print(f"数据索引: {index}") print(f"Tensor 形状: {image_tensor.shape}") # 预期: torch.Size([3, 32, 32]) print(f"标签索引: {label_index} ({classes[label_index]})") # 4. 可视化函数 def imshow(img_tensor): # img_tensor 目前是 [3, 32, 32] (Channel, Height, Width) # Matplotlib 画图需要 [32, 32, 3] (Height, Width, Channel) # 使用 .permute() 交换维度: 0->1, 1->2, 2->0 # 或者用 numpy.transpose(1, 2, 0) img_np = img_tensor.permute(1, 2, 0).numpy() plt.imshow(img_np) plt.axis('off') # 不显示坐标轴 plt.show() print("\n显示图片:") imshow(image_tensor)