神经网络与深度学习笔记2

一、常用视觉数据集的技术特征

在深度学习驱动的计算机视觉研究中，数据集不仅决定了模型训练的上限，也直接影响了算法评估的客观性。不同发展时期涌现的代表性数据集，各自承担着特定的基准测试功能。

MNIST与Fashion‑MNIST。MNIST（Modified National Institute of Standards and Technology）是手写数字识别领域最经典的入门数据集，包含0至9共十个类别，训练样本六万个，测试样本一万个，每张图像为28×28像素的灰度图。其文件结构由训练图像、训练标签、测试图像与测试标签四个部分组成。由于任务难度适中且数据规模紧凑，MNIST长期作为新算法的快速验证平台。在此基础上，Fashion‑MNIST将手写数字替换为十类服饰商品，保持了完全相同的样本数量、图像尺寸及训练/测试划分方式，但分类难度显著提高，更适合评估现代深度学习模型的泛化能力。

CIFAR‑10。CIFAR‑10数据集包含十个类别的32×32彩色图像，每类六千张，总计六万张，其中五万张用于训练（分为五个批次），一万张用于测试。与MNIST相比，CIFAR‑10引入了彩色信息与更复杂的物体形状，在普通计算资源下即可开展较有挑战性的分类实验，因此被广泛用于快速验证网络结构与数据增强策略。

PASCAL VOC。PASCAL VOC（Pattern Analysis, Statistical Modelling and Computational Learning – Visual Object Classes）是目标检测与语义分割领域早期最具影响力的数据集，常用版本为VOC 2012。该数据集涵盖二十个类别，包括人、常见动物、交通工具以及室内物体等。每张图像对应一个XML格式的标注文件，其中记录了图像元信息（宽度、高度等）以及每个目标物体的类别名称与边界框坐标（左上角与右下角）。PASCAL VOC的标注格式和评价协议深刻影响了后续数据集的设计。

MS COCO。MS COCO（Microsoft Common Objects in Context）是目前目标检测、实例分割及关键点检测领域最权威的基准数据集。其设计初衷是推动场景理解（scene understanding）研究，所有图像均采集自复杂的日常场景，目标之间普遍存在遮挡、重叠与尺度变化。数据集包含超过三十三万张图像，其中约二十万张具有精细标注，个体实例总数超过一百五十万个。标注类别共八十类，分为人、交通工具、公路常见物体、动物、携带物品、运动器材、厨房餐具、水果及食品、家庭用品与家庭常见物品十个大类。COCO竞赛在ImageNet挑战赛停办后成为该领域最重要的技术竞技平台。

ImageNet。ImageNet是一个按WordNet层级结构组织的大规模图像数据库，始于2009年。其完整版本包含超过一千四百万张图像，覆盖两万一千八百多个类别，其中超过一百万张图像还提供了边界框标注。ImageNet大型视觉识别挑战赛（ILSVRC）极大推动了深度学习方法在图像分类、定位与检测方向的发展。ImageNet‑21K预训练集（约一千四百万张图像，两万一千个类别）至今仍是迁移学习与模型预训练的重要资源。

二、模型评价指标体系

深度学习视觉模型的性能评估需要建立在严谨的统计指标之上。对于分类与检测任务，首先定义四个基本统计量：真正例（TP）表示实际为正例且被模型正确划分为正例的样本数；假正例（FP）表示实际为负例但被误划分为正例的样本数；假负例（FN）表示实际为正例但被误划分为负例的样本数；真负例（TN）表示实际为负例且被正确划分为负例的样本数。这四个量构成混淆矩阵的基础。

基于上述统计量，可以导出若干关键评价指标。精确率定义为TP与TP加FP之和的比值，反映模型预测为正例的样本中真正为正例的比例，表征模型“不误报”的能力。召回率定义为TP与TP加FN之和的比值，反映所有真实正例中被模型成功检出的比例，表征模型“不漏报”的能力。准确率定义为TP与TN之和除以全部样本数，表示整体判断正确的概率，但在类别不平衡时可能失真。

精确率与召回率之间存在内在的折中关系。通过调整分类阈值，可以获得不同的（召回率，精确率）点对，将这些点对绘制在二维平面上即得到P‑R曲线。P‑R曲线的横轴为召回率，纵轴为精确率，曲线整体向右上方凸出时表示模型性能优良。为了定量比较不同模型的表现，定义平均精度（AP）为P‑R曲线下的面积，其数学形式为对每个召回率变化区间上的精确率进行加权求和。对于多类别任务，先分别计算每个类别的AP，再对所有类别取算术平均，得到平均精度均值（mAP）。mAP已成为目标检测领域最通用的综合评价指标，在PASCAL VOC、MS COCO等主流竞赛中被采用。

三、目标检测任务与YOLO方法

目标检测的任务是在给定图像中精确地定位出所有目标物体的位置（通常以轴对齐边界框表示），并同时识别每个目标的类别。与图像分类相比，目标检测面临物体尺寸变化范围大、姿态与视角多变、可能出现于图像任意位置以及单张图像包含多个目标等多重挑战。

在众多目标检测算法中，YOLO（You Only Look Once）提出了一种具有里程碑意义的一阶段检测范式。其核心思想是将目标检测任务重新定义为端到端的回归问题：从输入图像的像素直接回归出边界框坐标、置信度与类别概率。YOLO将输入图像划分为S×S的网格，每个网格负责预测落入该网格内的目标物体。整个前向传播过程仅需对图像进行一次卷积神经网络计算，因此获得了极高的推理速度，能够满足实时检测的需求。损失函数的设计同时考虑了边界框中心坐标与宽高的定位误差、包含物体的置信度误差以及分类误差，通过多任务联合优化实现检测能力的同步提升。尽管早期YOLO版本在定位精度上略逊于基于候选区域的两阶段方法（如Faster R‑CNN），但经过YOLOv2、YOLOv3、YOLOv4等后续版本的持续改进，其在速度与精度的平衡方面已成为工业界应用最广泛的目标检测器之一。

四、语义分割与全卷积网络

语义分割是对图像进行像素级分类的任务，即为图像中的每一个像素分配一个类别标签，例如在自动驾驶场景中区分道路、车辆、行人及路标等。该任务要求模型输出与输入图像尺寸相同的分割图，同时保持精细的空间边界信息。

全卷积网络（FCN）是语义分割领域的开创性工作。其主要创新在于将传统图像分类网络（如AlexNet、VGG）末端的全连接层全部替换为卷积层，从而使得网络能够接受任意尺寸的输入图像，并输出与输入尺寸成比例的特征图。通过进一步采用转置卷积（反卷积）进行上采样，FCN可以将粗粒度的特征图恢复至原始输入分辨率，实现像素级的分类输出。为了克服深层特征图中空间细节丢失的问题，FCN引入了跳跃连接结构，将浅层的高分辨率特征与深层的语义特征相融合，显著改善了分割边缘的精细程度。FCN的提出为后续大量语义分割方法奠定了理论基础。

在FCN之后，DeepLab系列模型进一步发展了语义分割技术。DeepLab v3是目前广泛使用的模型之一，其核心是空洞卷积（或称膨胀卷积）。空洞卷积通过在卷积核元素之间插入零值（即空洞）来扩大感受野，在不增加可训练参数数量的前提下，使得网络能够聚合多尺度的上下文信息。同时，DeepLab v3还引入了图像级特征池化与空间金字塔池化模块，进一步提升了模型对不同尺度物体的分割能力。该模型在PASCAL VOC和Cityscapes等基准数据集上取得了优异的性能，成为语义分割任务中的重要参考方法。

结语

综上所述，从MNIST等小规模分类数据集到ImageNet、COCO等大规模复杂场景数据集，从精确率、召回率等基础指标到mAP综合评价体系，从YOLO一阶段目标检测到FCN与DeepLab系列语义分割模型，深度学习视觉应用已经形成了一套层次分明、相互支撑的技术体系。理解上述数据集的构造特点、评价指标的数学含义以及经典模型的设计动机，对于开展计算机视觉领域的科研与工程实践具有基础而长远的意义。