当前位置: 首页 > news >正文

别再被AI骗了,这个分层检索让它不得不诚实

大语言模型能写出流畅的文章,却经常“一本正经地胡说八道”——即所谓的"幻觉"。本文提出了一种"领域感知分层检索"架构,通过四阶段自调节管道,将LLM从"概率猜测者"转变为"事实验证者"。下图为幻觉分类:

核心问题

文章首先系统梳理了幻觉的两大类型:

  • 内在幻觉:扭曲或违背输入源信息
  • 外在幻觉:回答训练数据之外的问题时编造内容

此外,幻觉还可细分为事实性、数值性、逻辑性、常识性、时间性等10种类型。现有方案存在四大痛点:静态审查(对所有回答一视同仁)、缺乏反馈循环、结果不透明、计算成本高昂。

工作原理

该框架采用四阶段管道,通过LangGraph实现:

阶段一:内在验证与早退机制

首先尝试用内部参数记忆回答问题。将答案分解为原子化声明,检查约束违规后,由"内在评判器"评估可信度。若置信度≥阈值τ,直接输出答案,避免不必要的检索开销。

阶段二:自适应搜索路由

当内在置信度不足时,"领域检测器"识别查询所属领域(如医学、法律),优先搜索该领域的权威数据库。若找不到信息,再回退到通用网络搜索,实现“金标准”与“广覆盖”的平衡。

阶段三:纠正性文档评分(CRAG)

对检索到的原始文档进行相关性评分,过滤噪音和无关信息。若文档质量不达标,触发递归循环进入下一搜索层级。

阶段四:外在再生与验证

利用精炼后的上下文重新生成答案,再次分解为原子声明,与检索证据交叉验证。若所有层级耗尽仍未找到支持证据,触发"断路器"返回礼貌的拒绝回答,而非编造信息。

实验结果

在650个query、5个基准测试上的评估显示:

  • 胜率:在TimeQA v2达83.7%,MMLU Global Facts达78.0%,证明在需要精确时间和数值的领域效果显著
  • 事实锚定率:在事实性回答中稳定在78.8%-86.4%
  • 自适应效率:20%的HaluEval查询通过内在早退机制跳过检索,减少延迟

失败模式分析

文章主动揭示了六种主要失败模式:

  1. 开放域参数竞争:常识性问题中,基线模型已具备足够知识

  2. 虚假前提过度宣称:系统未能识别问题本身的虚假前提(如"梅西赢得第二座世界杯")

  3. 模糊性:拒绝回答时过于冗长,不如基线简洁

  4. 检索干扰:检索到相关但偏离主题的文档

  5. 数值精度/数据不匹配:数据源与生成声明的时间或单位不一致

  6. 结构化数据提取错误:小模型误读表格数据

总结

这项工作为大模型幻觉问题提供了一个系统性的工程解决方案。其核心洞察在于:与其让模型"更聪明",不如让它"更诚实" ——在不确定时勇敢说"我不知道"。未来方向包括引入前置"可回答性检查节点",进一步弥合自动化生成与人类级验证之间的差距。

Mitigating LLM Hallucinations through Domain-Grounded Tiered Retrieval https://arxiv.org/pdf/2603.17872

这里给大家精心整理了一份全面的AI大模型学习资源包括:AI大模型全套学习路线图(从入门到实战)、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等,资料免费分享

👇👇扫码免费领取全部内容👇👇

1. 成长路线图&学习规划

要学习一门新的技术,作为新手一定要先学习成长路线图方向不对,努力白费

这里,我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。

2. 大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的,我们精选了一系列深入探讨大模型技术的书籍和学习文档,它们由领域内的顶尖专家撰写,内容全面、深入、详尽,为你学习大模型提供坚实的理论基础(书籍含电子版PDF)

3. 大模型视频教程

对于很多自学或者没有基础的同学来说,书籍这些纯文字类的学习教材会觉得比较晦涩难以理解,因此,我们提供了丰富的大模型视频教程,以动态、形象的方式展示技术概念,帮助你更快、更轻松地掌握核心知识

4. 2026行业报告

行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估,以了解哪些行业更适合引入大模型的技术和应用,以及在哪些方面可以发挥大模型的优势。

5. 大模型项目实战

学以致用,当你的理论知识积累到一定程度,就需要通过项目实战,在实际操作中检验和巩固你所学到的知识,同时为你找工作和职业发展打下坚实的基础。

6. 大模型面试题

面试不仅是技术的较量,更需要充分的准备。

在你已经掌握了大模型技术之后,就需要开始准备面试,我们将提供精心整理的大模型面试题库,涵盖当前面试中可能遇到的各种技术问题,让你在面试中游刃有余。

7. 资料领取:全套内容免费抱走,学 AI 不用再找第二份

不管你是 0 基础想入门 AI 大模型,还是有基础想冲刺大厂、了解行业趋势,这份资料都能满足你!
现在只需按照提示操作,就能免费领取:

👇👇扫码免费领取全部内容👇👇

http://www.jsqmd.com/news/550935/

相关文章:

  • 终极指南:wxappUnpacker 5步快速解包微信小程序源码
  • 智能仓储管理系统:中小企业数字化转型的全面解决方案
  • Minecraft数据救援:从损坏到恢复的技术侦探之旅
  • PPPoE拨号为何偏爱MTU 1492?揭秘MTU设置背后的网络分片奥秘
  • 在团队协作中直接 Clone 主仓库开发?别慌,这才是正确的 PR 提交流程
  • Fire Dynamics Simulator:火灾动力学模拟的技术原理与工程应用
  • QKeyMapper:重新定义设备控制逻辑的开源映射工具
  • Pyenv虚拟环境管理全攻略:从创建到迁移(Ubuntu20.04实战)
  • 3步搞定专业电路图绘制:Draw.io ECE插件让电子工程设计变得简单高效
  • 探索Cadence设计中的芯片世界:从数据手册到硬件实战
  • 静态肖像如何“活“起来?深度解析LivePortrait的3大核心技术突破
  • 快速掌握socat-windows:实用网络数据转发工具完全指南
  • WebLaTeX:重新定义LaTeX创作体验的协作平台
  • 开源阅读APP书源修复完全指南:从应急处理到长效维护
  • Python内存泄漏零容忍方案:从CPython对象模型到实时GC调优的7层架构设计图(工业级实战版)
  • 禁忌搜索算法(TS):从“记忆”到“特赦”的全局寻优艺术
  • Cogito-V1-Preview-Llama-3B模型微调(Fine-tuning)数据准备入门教程
  • 揭秘MODIS LAI算法:那个藏在GEE代码背后的‘查找表’到底是什么?
  • 突破Windows输入限制:揭秘Interceptor驱动级模拟技术实战指南
  • 旧设备复活:使用OpenCore Legacy Patcher开源工具实现Mac系统升级的完整指南
  • 如何15分钟构建专属A股数据仓库:告别重复下载的烦恼
  • 创意无限:用FLUX.2-Klein-Base-9B实现图片风格迁移与季节变换
  • p5.js Web Editor 高效开发指南:从零基础到创意编程实践
  • 利用快马平台AI能力,十分钟快速搭建卓晴智能小车避障原型
  • Office2016/2019用户必看:MathType6.9兼容性终极解决方案(附详细步骤)
  • 从观测方程到雅可比矩阵:深入解析Fast-LIO中h_share_model的数学推导
  • 告别‘Hello World’:用Gin框架从零搭建一个带用户登录和文件上传的Web应用
  • Umi-OCR在Windows 7系统上的全面部署与性能调优指南
  • Windows Cleaner架构解析:基于PyQt5的智能磁盘清理系统技术实现
  • Discord消息批量管理高效工具实战指南:轻松掌控聊天空间