2025_NIPS_C-LoRA: Contextual Low-Rank Adaptation for Uncertainty Estimation in Large Language Models

文章核心总结与翻译

一、主要内容

文章针对低数据场景下大语言模型（LLM）微调时的过度自信问题，提出了上下文低秩适配（C-LoRA）方法。该方法基于贝叶斯框架，通过轻量级上下文模块实现数据依赖的不确定性估计，同时保持参数高效性。实验以LLaMA2-7B为基准，在6个常识推理数据集上验证，C-LoRA在不确定性量化（校准误差ECE、负对数似然NLL）和泛化能力上优于现有方法，且训练效率更高，仅需1500-2000轮迭代即可收敛。

二、核心创新点

1. 提出数据依赖的贝叶斯微调框架，明确建模数据固有的偶然不确定性（aleatoric uncertainty），解决现有方法忽略输入特性影响的缺陷。
2. 设计轻量级LoRA分解结构（插入中间矩阵E），将随机参数复杂度与模型维度解耦，降低计算成本。
3. 引入层级上下文模块，通过自回归方式建模每层LoRA参数的输入依赖分布，实现样本级精准不确定性估计。
4. 采用摊销变分推断优化目标，平衡校准质量与推理效率，无需后验采样也能达到优异性能。

三、关键部分翻译（Markdown格式）

Abstract

低秩适配（LoRA）为大语言模型（