在深度学习中，冻结预训练层策略（Freezing Pre-trained Layers）是一种常见的技术，尤其是在使用预训练模型进行迁移学习（Transfer Learning）时。这种策略的核心思想是将预训练模型的一部分层（通常是早期层）冻结，即在训练过程中不更新这些层的权重，而只训练模型的其他部分（通常是新添加的层或模型的后半部分）。
冻结预训练层的原因
1. 保留预训练的特征
预训练模型（如在大规模数据集上训练的模型）通常已经学习到了通用的、低级的特征，如边缘、纹理和形状等。这些特征对于许多任务都是有用的，冻结这些层可以保留这些预训练的特征，避免在新的任务上重新学习。
2. 减少计算成本
冻结预训练层可以显著减少训练过程中的计算成本。因为这些层的权重在训练过程中保持不变，所以不需要计算这些层的梯度，从而减少了反向传播的计算量。
3. 防止过拟合
在小数据集上训练时，模型很容易过拟合。冻结预训练层可以减少模型的可训练参数数量，从而降低过拟合的风险。通过只训练模型的后半部分（通常是新添加的层），可以更有效地利用有限的数据。
4. 快速收敛
冻结预训练层可以帮助模型更快地收敛。因为预训练层已经学习到了有用的特征，所以模型可以在新的任务上更快地适应，而不需要从头开始学习。
冻结预训练层的常见场景
1. 迁移学习
在迁移学习中，通常会使用预训练模型作为起点。例如，在 ImageNet 数据集上预训练的模型可以用于其他图像分类任务。通过冻结预训练层，可以保留预训练模型的通用特征，同时只训练新任务特定的层。
2. 小数据集
当数据集较小时，冻结预训练层可以减少过拟合的风险。通过只训练模型的后半部分，可以更有效地利用有限的数据。
3. 计算资源有限
在计算资源有限的情况下，冻结预训练层可以显著减少训练时间。因为不需要计算冻结层的梯度，所以训练过程更快