day49

@浙大疏锦行

1. 预训练的概念
核心定义：先在大规模通用数据集上训练一个基础模型（学习通用特征，如边缘、纹理、形状），再将这个模型的参数迁移到目标任务中，进行微调（Fine-tuning）或直接使用。
本质：利用 “通用数据的特征迁移”，解决目标任务数据量少、训练成本高的问题，是迁移学习的核心方式之一。
作用：大幅降低目标任务的训练时间；提升小数据集任务的模型性能；避免从零训练模型的过拟合风险。

2.经典的预训练模型

3.预训练的策略
（1）冻结预训练层（仅微调头部）：
操作：冻结预训练模型的大部分层（仅保留参数不更新），只修改模型的 “分类头”，仅训练分类头。
适用场景：目标任务数据量少、预训练模型特征足够通用。
（2）全量微调（Fine-tuning）：
操作：解冻预训练模型的部分 / 全部层，让所有层的参数随目标任务更新。
适用场景：目标任务数据量充足，需要模型适配任务的专属特征。
（3）特征提取（Feature Extraction）：
操作：直接用预训练模型的输出作为目标任务的特征，不更新预训练模型参数，仅训练新的分类器。
适用场景：目标任务与预训练任务高度相似，预训练特征可直接复用。

用预训练 ResNet18 完成 CIFAR10 分类

在CIFAR10 对比不同预训练模型（以 MobileNetV2 为例）