深入理解三种PEFT方法：LoRA的低秩更新、QLoRA的4位量化与DoRA的幅度-方向分解

LLaMA、Mistral、Qwen这些大语言模型动辄数十亿参数，在自定义数据上全量微调代价极高：65B 模型光是 float16 就要消耗掉约 130GB 显存，顶配硬件跑个几天几周很正常而多数下游任务根本用不到那么多参数。

于是研究者们开始思考：能不能只调一小部分参数，效果还不差？答案是可以。这类方法统称为参数高效微调（PEFT）。LoRA、QLoRA、DoRA 各自从不同角度切入这个问题。

 

https://avoid.overfit.cn/post/154732e0b0474f2ea8e2a4dac0d16819