当前位置: 首页 > news >正文

多机构联合研究:大型推理模型推理轨迹风险更高,提出自适应缓解方法

【导语:当大型推理模型普遍暴露中间推理轨迹,评估安全性只看最终答案是否足够?哈佛大学等多个机构的研究者联合研究给出否定答案,并提出相应缓解方法,为模型安全评估和控制提供新框架。】


推理模型安全评估新视角:拆分推理与回答阶段

大型推理模型(LRM)常将中间推理轨迹暴露,研究团队意识到仅看最终答案评估安全性不足。他们将推理和回答拆开来评,为推理模型的推理轨迹和最终答案两个阶段分别设计了20条安全原则,采用1 - 5分风险程度评分体系。设定统一风险度阈值,划分出Unsafe、Leak、Escape三类核心失败模式,使“答案安全 ≠ 轨迹安全”可量化测量。

评测数据与设置:多数据集覆盖15个推理模型

研究团队构建了分布内提示词池,整合七个公开的有害/越狱数据集,划分出41K条分布内评测数据集和2K条held - out测试集。还从四个数据集构建分布外评测集。评测覆盖15个推理模型,打分由两个LLM打分器完成,并与人工标注员做一致性校验,打分器间Pearson相关系数在推理阶段达0.799、回答阶段达0.820,均超过人与人之间的一致性,为大规模自动化评分提供可信度支撑。

核心发现:推理轨迹风险更高且集中于特定类别

研究有两个核心发现。一是普适性发现,在全部15个被测模型上,推理轨迹的平均危险程度都高于最终答案的平均风险程度,如Gemini - Pro - 3.1推理比回答高出0.028分等。二是结构性发现,风险集中在虚假信息、违法合规、歧视偏见、人身伤害、心理伤害等几个核心类别,其中违法合规类别表现出最明显的CoT - 答案分化,是“泄露”失效的最强信号来源。

缓解方法:自适应多准则激活引导提升模型安全性

基于诊断结果,团队提出自适应多准则激活引导方法。先针对每条安全原则收集模型“安全”和“不安全”状态下的内部激活值,得到安全和不安全中心点,确定“引导方向”。推理新问题时,实时判断当前内部状态,锁定被击中的原则方向,在生成链结束前修正模型内部表示。在三个开源模型上验证,消融实验验证关键设计选择的必要性,DeepSeek - R1 - Qwen - 7B取得最佳安全 - 效用平衡,平均降低40.8%不安全数量,同时在三个基准上保留97.7%的平均准确率。

编辑观点:该研究创新性地打通推理模型“诊断”与“控制”,虽有局限,但为模型安全评估和改进提供了新方向,有望推动行业在模型安全领域的发展。

http://www.jsqmd.com/news/1148182/

相关文章:

  • 【测试工具】Reqable抓包工具保姆级教程:小白也能轻松上手的HTTP调试神器
  • 开源一个 Android/Rockchip 代码审查 Skill:android-rockchip-reviewer-skill
  • R 4.3.1 + RStudio 2024.09 双平台安装:3个关键配置与1个常见路径错误排查
  • 99.2 分断层第一!2026 四大主流 AI 剪辑工具全维度实测横评
  • 深圳正在成为液冷焊接设备的高地:一条200公里供应链的故事
  • 主流AI获客工具落地昆山市场,豆顶顶多平台资讯矩阵搭建全过程
  • 毕设项目 机器学习服务器异常日志分类(源码+论文)
  • ExplorerPatcher深度解析:Windows 11界面自定义的技术实现与实战指南
  • 【AI大模型进阶】0基础法学课:大模型生成的内容,版权到底算谁的?
  • Windows系统文件ClipSVC.dll丢失找不到问题解决
  • BiliBiliCCSubtitle终极指南:免费快速下载B站CC字幕的完整教程
  • AI 驱动的垃圾信息检测工具:每日拦截 2300 万次浏览,打击虚假行为!
  • 2026年,郑州那些正规的Geo企业究竟藏着怎样的发展密码?
  • 深入理解openeuler/python-multi_key_dict实现原理:从源码看多键映射机制
  • B站AI知识库插件:视频转智能问答的完整技术指南
  • 用友GRP-U8 SQL注入漏洞(QVD-2023-22742)深度分析:从bx_historyDataCheck到5个高危接口
  • HarmonyOS7 电商首页拆解:Flex 嵌套如何撑起完整首页
  • Document Loader与数据预处理
  • RFID固定资产管理系统在制造业的实践与应用
  • Cloudflare向AI公司下通牒,谷歌将面临痛苦抉择,AI行业数据格局或重塑!
  • 萨科微slkor2026年7月6日“每日芯闻”。国际芯闻:
  • 终极指南:Translumo - 免费高效的实时屏幕翻译神器,轻松突破语言障碍
  • Python进阶:迭代器(iterator)的原理与iter/next
  • NAS / 服务器断电数据丢失?UPS 配套 USB关机保护板,市电断电池低自动提示服务器/电脑关机
  • 【MATLAB】嵌入式实时调度与时序优化
  • 高压隔离技术:ISOM8710与PIC18LF25K80的工业应用
  • Xonsh:把 Python 和 Shell 融为一体的命令行体验
  • Three.js 网格地板教程
  • Transformer 模型参数量与计算量(FLOPs)关联分析:6PD 公式详解
  • PyTorch 2.2 与 TensorFlow 2.15 GPU 性能基准测试:矩阵运算速度对比分析