完全开源的语言模型学习记录--KeepLora

https://github.com/MaolinLuo/KeepLoRA.git
https://openreview.net/forum?id=T3Vc5fkTzV
KeepLoRA: Continual Learning with Residual Gradient Adaptation

KeepLoRA 论文总结

一、一段话总结

本文提出KeepLoRA方法，针对预训练视觉-语言模型的持续学习问题，通过残差梯度自适应与子空间约束，平衡可塑性、前向稳定性与后向稳定性三大核心目标；经SVD分析发现模型主子空间存储通用知识、残差子空间存储任务专属知识，将LoRA更新限制在残差子空间以避免知识干扰，在CLIP、LLaVA模型及MTIL、MLLM-DCL、UCIT基准上取得SOTA效果，代码已开源。

二、思维导图

## **核心定位** - 面向：预训练视觉-语言模型持续学习 - 目标：平衡可塑性、前向/后向稳定性 - 基础：基于LoRA的参数高效微调 ## **核心发现** - 主子空间：存储模型通用预训练知识 - 残差子空间：存储任务专属领域知识 ## **方法设计** - 稳定性：构建统一主子空间（预训练+历史任务） - 可塑性：梯度引导的LoRA初始化 - 执行：冻结LoRA的A矩阵，仅优化B矩阵 ## **实验验证** - 模型：CLIP、LLaVA-1.5-7B - 基准：MTIL、MLLM-DCL、UCIT - 指标：Transfer、Average、Last - 效果：全指标SOTA，遗忘显著降低 ## **核心贡献** - 揭示参数子空间知识分布规律 - 提出残差子空间约束的KeepLoRA - 理论证明最优性，多模型多基准验证

三、详细总结

1. 研究背景与问题

预训练视觉-语言模型（VLM）持续学习需平衡三大冲突目标：

• 可塑性：学习新任务的能力
• 前向稳定性：保留预训练通用知识
• 后向稳定性：不遗忘已学任务
  现有方法存在参考数据依赖、推理开销大、未保护预训练知识等缺陷。

2. 核心发现

通过对模型注意力权重SVD分解分析：

• 主子空间（大奇异值）：编码通用知识，通用数据集性能对其修改鲁棒
• 残差子空间（小奇异值）：编码领域专属知识，专用数据集性能对其修改敏感

3. KeepLoRA方法核心设计

（1）稳定性保障

• 构建统一主子空间：融合预训练参数主子空间Wp与历史任务主导特征方向Mt-1
• 新任务更新限制在正交残差子空间，避免干扰已有知识

（2）可塑性保障

• 用第一步任务梯度初始化LoRA，对齐全参数微调方向
• 梯度投影公式：Ĝt=Gt−WpWp⊤Gt−Mt-1Mt-1⊤Gt

（3）执行流程

1. 梯度投影与SVD初始化LoRA的A、B矩阵
2. 冻结A矩阵，仅优化B矩阵
3. 合并LoRA参数，存储当前任务主导方向

4. 理论证明

• 命题3.1：冻结A矩阵的LoRA等价于子空间内梯度投影更新
• 命题3.2：KeepLoRA的A初始化满足正交约束与任务自适应最优性

5. 实验结果

（1）实验设置

• 模型：CLIP（ViT-B/16）、LLaVA-1.5-7B
• 基准：MTIL（11个分类任务）、MLLM-DCL（5类VQA）、UCIT（6类VQA）
• 硬件：单卡4090、4×H100

（2）关键性能数据

（3）消融实验

相比基础LoRA，KeepLoRA在Transfer+10.7%、Average+16.0%、Last+26.7%。

6. 方法优势

• 无参考数据依赖、无推理额外开销
• 同时保护预训练知识与历史任务知识
• 适配双编码器（CLIP）与编解码器（LLaVA）架构
• 简单易实现，代码开源

7. 结论

KeepLoRA通过残差子空间约束实现持续学习三大目标的平衡，在视觉-语言模型持续学习任务中达到SOTA，可扩展至更大模型与更多任务。

四、关键问题与答案

问题1：KeepLoRA与传统LoRA及O-LoRA、InfLoRA的核心区别是什么？

答案：核心区别在于子空间约束范围与初始化方式。KeepLoRA将更新约束在正交于预训练主子空间+历史任务方向的残差子空间，并用任务梯度初始化；O-LoRA仅约束历史任务LoRA正交，InfLoRA仅约束任务特征正交，二者均未保护预训练主空间知识，KeepLoRA同时兼顾前向与后向稳定性。

问题2：KeepLoRA如何同时实现可塑性与稳定性，理论依据是什么？

答案：可塑性通过梯度引导初始化，使更新方向贴合全参数微调梯度；稳定性通过正交投影避免干扰预训练与历史任务知识。理论依据为命题3.1（冻结A矩阵等价子空间梯度投影）与命题3.2（初始化满足正交约束与最优自适应），形成完整理论闭环。

问题3：KeepLoRA的实验验证覆盖哪些场景，关键指标提升幅度如何？

答案：覆盖图像分类（MTIL）、多模态VQA（MLLM-DCL/UCIT），适配CLIP、LLaVA两类主流视觉-语言模型。关键提升：MTIL基准Transfer+10.7%、Average+16.0%、Last+26.7%；在MLLM-DCL与UCIT均取得全指标SOTA，任务间干扰显著降低。

Transfer / Average / Last这三个指标到底在测什么、为什么这么测。

验证KeepLoRA在平衡持续学习三大核心目标（前向稳定性、后向稳定性与可塑性）方面的有效性。

（i）为量化前向遗忘，我们计算在训练完任务 (t) 后，模型在任务 (t+1,\dots,n) 上的平均准确率，该指标定义为Transfer（迁移度）

（ii）Last（最终性能）指标用于评估持续训练完成后的模型表现，同时反映可塑性与后向稳定性。

（iii）为进一步分析可塑性，图2将本文方法与无约束LoRA进行对比，结果表明：KeepLoRA在以极小代价牺牲自适应能力的前提下，有效保持了稳定性。

Average（平均准确率）指标表示模型在所有已学习任务上的平均精度，可全面衡量稳定性与可塑性之间的平衡。

一句话总览

• Last：最终学得好不好（ plasticity + 后向稳定性）
• Average：全程学得稳不稳（整体平衡）
• Transfer：零射能力丢没丢（前向稳定性）

逐一定义（超级通俗版）

1. Last（最终性能）

测的是：所有任务都学完后，每个任务最终能考多少分。

• 模型按顺序学任务 1→2→3→…→n
• 全部学完后，回头测一遍所有任务
• 每个任务的得分就是它的Last
• 平均所有任务的 Last → 整体Last 分数

作用：
看模型有没有学会新知识，同时有没有忘掉旧知识。
→ 衡量可塑性 + 后向稳定性

2. Average（平均性能）

测的是：从开始到结束，每一步的平均表现。

• 每学完一个任务 i，就测一遍所有任务 1~n
• 把每一步的得分都记录下来
• 最后对所有时间步、所有任务取平均 →Average

作用：
看模型全程稳不稳定，不是只看最后一步。
→ 衡量稳定性 + 可塑性的整体平衡

3. Transfer（前向稳定性 / 零射保持度）

这是 KeepLoRA 最核心、最独特的指标！

测的是：学完当前任务后，对“还没学过的未来任务”的零射性能掉了多少。

• 学完任务 i 后，不去测已经学过的 1~i
• 专门测还没学的任务 i+1 ~ n
• 计算这些未学任务的平均准确率 →Transfer

作用：
看模型有没有破坏预训练模型本来的通用零射能力。
→ 专门衡量前向稳定性 forward stability

三者对比（最清晰版）

结论

这篇论文之所以强，就是因为：

• Last 最高：学得快、记得住
• Average 最高：全程不掉线
• Transfer 最高：不破坏预训练模型的零射能力（其他方法都做不到）

可以直接用纯文本

KeepLoRA完全可以用于 Qwen 文本/多模态模型，原因：

1. Qwen 原生支持 LoRA 微调（所有版本：Qwen、Qwen2、Qwen2.5、Qwen3、Qwen-VL 都支持）
2. KeepLoRA 是基于 LoRA 改进的持续学习方法，不改动模型架构
3. 只需要在 LoRA 训练代码里加子空间投影 + 梯度初始化，就能跑