完全开源的语言模型学习记录--Lora-Pre低秩优化器

https://arxiv.org/pdf/2602.24283v1
https://github.com/mrflogs/LoRA-Pre
Taming Momentum: Rethinking Optimizer States Through Low-Rank Approximation

一、一段话总结

本文提出LoRA-Pre，一种面向大模型预训练与微调的低秩优化器，通过证明动量EMA更新等价于在线线性回归，将动量矩阵分解为低秩矩阵乘积以压缩优化器状态，大幅降低内存开销；该方法适配Adam与Muon优化器，在60M–1B参数Llama模型预训练中取得最优困惑度，微调阶段较标准LoRA在Llama3.1-8B提升3.14分、Llama-2-7B提升6.17分，秩效率达基线的8–16倍。

二、思维导图

## **核心创新** - 理论：EMA动量 ≡ 在线线性回归 - 方法：低秩分解压缩动量 - 适配：Adam / Muon优化器 ## **方法细节** - 一阶动量：m = m_B·m_A - 二阶动量：v=(v_B·v_A)°² - 更新规则：牛顿法闭式解 - 超参耦合：(1-γ₁)²=β₁ ## **实验验证** - 预训练：60M/130M/350M/1B Llama - 微调：Llama-2-7B/3.1-8B数学任务 - 秩效率：1/8~1/16秩匹配基线 ## **效果优势** - 预训练：困惑度显著降低 - 微调：精度大幅领先 - 内存：复杂度p×q→(p+q)×r - 兼容：多优化器、多模型规模

三、详细总结

1. 研究背景与动机

大语言模型预训练/微调的核心瓶颈是优化器状态内存开销，Adam/Muon需存储一阶、二阶动量，内存占用达模型权重3倍。现有低秩优化方法依赖周期性子空间更新，易出现误差累积与优化中断，预训练场景适配性差。

2. 核心理论突破

建立动量EMA更新与在线线性回归的数学等价性：

• 动量更新公式可转化为最小化损失：min ⁡ m L ( m ; g ) = 1 2 ∥ m − g ∥ F 2 \min_{m} L(m;g)=\frac{1}{2}\|m-g\|_F^2minm​L(m;g)=21​∥m−g∥F2​
• 证明EMA本质是用梯度流训练线性回归器，为低秩压缩提供理论基础

3. LoRA-Pre方法设计

3.1 低秩动量压缩

• 一阶动量：将全秩矩阵m ∈ R p × q m∈\mathbb{R}^{p×q}m∈Rp×q分解为m B ∈ R p × r m_B∈\mathbb{R}^{p×r}mB​∈Rp×r与m A ∈ R r × q m_A∈\mathbb{R}^{r×q}mA​∈Rr×q，r ≪ m i n ( p , q ) r≪min(p,q)r≪min(p,q)
• 二阶动量：采用v = ( v B ⋅ v A ) ∘ 2 v=(v_B·v_A)^{\circ 2}v=(vB​⋅vA​)∘2重参数化，保证元素恒正
• 内存复杂度：从p × q p×qp×q降至( p + q ) × r (p+q)×r(p+q)×r，实现大幅节省

3.2 优化器适配

• 推出LoRA-Pre Adam与LoRA-Pre Muon两种变体
• 基于牛顿法推导闭式更新规则，无需反向传播，计算高效
• 超参耦合：( 1 − γ 1 ) 2 = β 1 (1-\gamma_1)^2=\beta_1(1−γ1​)2=β1​、( 1 − γ 2 ) 4 = β 2 (1-\gamma_2)^4=\beta_2(1−γ2​)4=β2​，无需额外调参

4. 实验结果

4.1 预训练效果（C4数据集，困惑度越低越好）

4.2 微调效果（MetaMathQA，平均分越高越好）

4.3 秩效率

• 60M模型：rank=16匹配GaLore rank=128，秩效率8倍
• 130M模型：rank=16匹配GaLore rank=256，秩效率16倍

5. 核心贡献

1. 建立EMA动量与在线线性回归的全新理论关联
2. 提出LoRA-Pre低秩优化器，支持预训练+微调全流程
3. 实验验证内存高效、性能领先、秩效率与兼容性优异

四、关键问题与答案

问题1：LoRA-Pre相比传统低秩优化方法（如GaLore）的核心优势是什么？

答案：核心优势是动态连续子空间更新，GaLore等依赖周期性SVD子空间更新，易产生误差累积；LoRA-Pre每步直接更新低秩因子，无延迟、无中断，同时秩效率更高，仅需1/8–1/16秩即可达到基线性能。

问题2：LoRA-Pre如何解决二阶动量压缩的符号问题？

答案：对二阶动量采用重参数化策略，将v vv表示为v = ( v B ⋅ v A ) ∘ 2 v=(v_B·v_A)^{\circ 2}v=(vB​⋅vA​)∘2（哈达玛积平方），确保所有元素为正，满足Adam优化器中v \sqrt{v}v​的计算要求，同时保留低秩结构。

问题3：LoRA-Pre在预训练与微调场景的适用范围与效果差异？

答案：预训练：适配60M–1B参数Llama模型，在C4数据集上困惑度全面超越Adam、Muon、GaLore等基线，大模型优势更明显；微调：适配Llama-2-7B、Llama3.1-8B，数学任务精度显著优于LoRA、DoRA、GaLore，同秩下效果领先。