011、全参数微调：理论、流程与硬件需求分析

全参数微调：当你的模型开始“闹脾气”

昨天深夜，实验室的GPU服务器又报警了。同事跑过来问我：“为什么我的7B模型全参数微调才跑了三个epoch，显存就炸了？”我看了眼他的配置——单卡24G显存，batch_size设了8，一脸无奈。这不是技术问题，这是对全参数微调缺乏基本认知的典型症状。

全参数微调到底在调什么？

很多人以为微调就是给模型“打补丁”，其实全参数微调更像是给模型做“全身重塑”。与LoRA、Prefix Tuning这些只动部分参数的方法不同，全参数微调会把基础模型的所有参数都放开，让它们在新的数据集上重新学习。这意味着每一层Transformer的权重矩阵、每一个偏置项都要参与梯度计算和更新。

# 典型的全参数微调配置model=AutoModelForCausalLM.from_pretrained("llama-7b")# 关键在这里：所有参数都可训练forparaminmodel.parameters():param.requires_grad=True# 这句打开了潘多拉魔盒# 优化器会看到数百万个待优化参数optimizer=AdamW(model.parameters(