006、参数高效微调（PEFT）入门：LoRA原理与优势

LoRA调参记：一次显存爆炸后的高效微调之旅

那天深夜，实验室的服务器报警灯又亮了——显存再次爆满。屏幕上挂着的是我们尝试全量微调7B模型的残局，48G显存在模型权重和优化器状态的双重夹击下溃不成军。组里刚来的实习生盯着OOM报错发呆，转头问我：“师兄，咱们是不是得申请A100了？”

我摇了摇头，在终端里敲下了另一行命令：“试试LoRA吧，今晚应该能跑完。”

为什么需要LoRA？

传统全量微调有个致命问题：每个任务都要存储一份完整的模型副本。175B的模型微调一次，光是保存权重就要700GB——这还没算训练过程中的优化器状态和梯度。现实中，我们往往只有几块消费级显卡，却要应对层出不穷的下游任务。

参数高效微调（PEFT）的核心思想很朴素：只动一小部分参数。而LoRA（Low-Rank Adaptation）是其中最具工程美感的方案之一。它的直觉来自一个观察：模型在适应新任务时，权重变化具有“低秩特性”。简单说，巨大的权重矩阵ΔW其实用两个小矩阵相乘就能近似表达。

LoRA到底在做什么？

看这段简化代码就明白了：

classLoRALayer(nn.Module):def__init__(self,base_layer,rank=8,alpha=16):super().__init__()self.base_layer=base_layer# 原始预训练权重，冻结不动self.lora_A=nn.Linea