RoSA: Enhancing Parameter-Efficient Fine-Tuning via RoPE-aware Selective Adaptation in Large Lang...
文章主要内容和创新点总结
主要内容
本文针对大型语言模型（LLMs）全参数微调计算成本过高的问题，聚焦参数高效微调（PEFT）方法的局限性，提出了一种名为RoPE-aware Selective Adaptation（RoSA）的新型PEFT框架。该框架基于旋转位置编码（RoPE）在注意力状态低频维度诱导关键激活的核心观察，通过维度层面的定向增强和层层面的动态适配，实现更具针对性的高效微调。
文章首先分析了现有PEFT方法的两大缺陷：一是忽视LLM组件的内在功能差异，二是忽略不同层的重要性异质性。随后详细阐述了RoSA的两大核心模块：RoPE感知注意力增强（RoAE）模块和动态层选择（DLS）策略。RoAE模块选择性增强RoPE影响下查询（Q）和键（K）状态中的低频组件，强化模型的上下文理解能力；DLS策略基于层归一化（LayerNorm）的梯度范数量化层重要性，通过“利用-探索”机制动态选择并更新最关键的层。
为验证RoSA的有效性，作者在15个常识问答和算术问答基准数据集上进行了大量实验，采用Qwen2.5、Llama-3.1、Gemma2等不同参数规模的骨干模型，与LoRA、DoRA、AdaLoRA等主流PEFT方法对比。实验结果表明，在可比较的可训练参数规模下，RoSA在两类任务中均持续优于基线方法，且在不同模型规模下保持良好的扩展性和鲁棒性。
创新点
- 首次聚焦RoPE诱导的低频注意力组件：在PEFT领域中率先明确考虑RoPE带来的频率结构特性，提出RoAE模块，定向增强对上下文理解至关重要的低频维度，以极高的参数效率