多机构联合研究:大型推理模型推理轨迹风险更高,提出自适应缓解方法
【导语:当大型推理模型普遍暴露中间推理轨迹,评估安全性只看最终答案是否足够?哈佛大学等多个机构的研究者联合研究给出否定答案,并提出相应缓解方法,为模型安全评估和控制提供新框架。】
大型推理模型(LRM)常将中间推理轨迹暴露,研究团队意识到仅看最终答案评估安全性不足。他们将推理和回答拆开来评,为推理模型的推理轨迹和最终答案两个阶段分别设计了20条安全原则,采用1 - 5分风险程度评分体系。设定统一风险度阈值,划分出Unsafe、Leak、Escape三类核心失败模式,使“答案安全 ≠ 轨迹安全”可量化测量。
研究团队构建了分布内提示词池,整合七个公开的有害/越狱数据集,划分出41K条分布内评测数据集和2K条held - out测试集。还从四个数据集构建分布外评测集。评测覆盖15个推理模型,打分由两个LLM打分器完成,并与人工标注员做一致性校验,打分器间Pearson相关系数在推理阶段达0.799、回答阶段达0.820,均超过人与人之间的一致性,为大规模自动化评分提供可信度支撑。
研究有两个核心发现。一是普适性发现,在全部15个被测模型上,推理轨迹的平均危险程度都高于最终答案的平均风险程度,如Gemini - Pro - 3.1推理比回答高出0.028分等。二是结构性发现,风险集中在虚假信息、违法合规、歧视偏见、人身伤害、心理伤害等几个核心类别,其中违法合规类别表现出最明显的CoT - 答案分化,是“泄露”失效的最强信号来源。
基于诊断结果,团队提出自适应多准则激活引导方法。先针对每条安全原则收集模型“安全”和“不安全”状态下的内部激活值,得到安全和不安全中心点,确定“引导方向”。推理新问题时,实时判断当前内部状态,锁定被击中的原则方向,在生成链结束前修正模型内部表示。在三个开源模型上验证,消融实验验证关键设计选择的必要性,DeepSeek - R1 - Qwen - 7B取得最佳安全 - 效用平衡,平均降低40.8%不安全数量,同时在三个基准上保留97.7%的平均准确率。
编辑观点:该研究创新性地打通推理模型“诊断”与“控制”,虽有局限,但为模型安全评估和改进提供了新方向,有望推动行业在模型安全领域的发展。
