当前位置: 首页 > news >正文

Naive RAG 到Advanced RAG 的优化

**Naive RAG 与 Advanced RAG 的核心区别在于:**Naive RAG 只是“取相似段落 + 拼接给大模型”,而 Advanced RAG 则引入多层过滤、压缩和知识增强,使检索更准、上下文更干净、回答更可靠。Naive RAG 使用单次向量检索,容易受到噪声片段、长文档稀释和幻觉影响;Advanced RAG 则通过多路召回(BM25 + Embedding)、段落切分优化、ReRank 重新排序、Selective Context/LLMLingua 压缩无关信息,以及检索后推理(ReAct / GraphRAG / Query Rewrite)来保证模型只看到最有用、最精炼的知识,从而大幅提高准确率、减少幻觉并显著降低 Token 成本。

**简单说:**Naive RAG 是“把文档喂给模型”,Advanced RAG 是“挑最 relevant + 最精华的上下文,让模型以最小的成本说最正确的话”。

Advanced RAG的索引优化

检索前的优化

  • **数据粒度优化:**修订简化内容确保正确性,删除不相关信息消除歧义,维护上下文连贯性

  • 优化索引结构:

    • chunk大小调整:根据场景特性动态切割文本,过大导致噪声增加,过小丢失上下文关联
    • 图数据索引(知识图谱):建立节点关系网络实现跨索引查询,如感冒药有哪些副作用?查询场景中,先用问题丢给向量数据库得到一些文档,再通过图谱找到"感冒药1/2/3"相关的知识,把这些知识丢给向量数据库再得到一些文档,最后把这些文档融合到一起,在丢给大模型给我们回答

  • 层级索引构建:构建多层索引结构以提高检索效率,先生成文档摘要层(20字代替1000字),快速定位后再精查具体chunk

  • **加入元数据信息:**如对会议纪要、新闻等时效数据标注日期,标题等加入元数据
  • **混合检索与对齐优化:**对一份文档预设用户可能会提问的问题,用户查询时,先把用户的问题对文档预设问题进行相似度的检索,这和多层索引有点像(多层索引是提炼文档的摘要,这里是提炼可能会问的问题)

检索中的优化

  • 微调Embedding模型:利用特定场景的语料去微调embedding模型将知识嵌入到模型中,但比较少用
    • 领域适配微调:使用金融/医疗等垂直语料微调向量模型,提升专业术语捕捉能力
    • 冷启动方案:先用通用模型检索,积累足够数据后再进行微调迭代
    • 效果边界:当领域术语占比超30%时建议微调,否则可能带来过拟合

检索后的优化

  • **ReRank机制:**用BERT等模型对Top100结果重排序,比如拿到前3个最相关
  • **Prompt Compression:**对ReRank机制后的3个结果,再进行压缩无关上下文、突出关键段落、减少整体上下文长度,Selective Context (利用小模型(或稀疏模型)对文本进行片段级评分)和 LLMLingua (LLMLingua 是由微软发布的一种 大模型 Prompt 压缩框,利用小模型对文本做逐句重要性评估)等方法利用小语言模型来做
http://www.jsqmd.com/news/160679/

相关文章:

  • 食品品牌全案策划公司推荐:快消定位+渠道营销实战测评 - 品牌排行榜
  • Anaconda创建环境时指定Python版本
  • 非京籍学生北京就读高中指南:私立学校与公立国际部盘点 - 速递信息
  • 知识库场景中的微调和RAG方案
  • 两个server 文件同步(数据拷贝)
  • Docker restart重启异常终止的PyTorch容器
  • 2025年智能刀具管理柜存储容量大、防火性能好的厂商推荐 - 工业推荐榜
  • GitHub Webhooks集成PyTorch项目自动化部署
  • 2025年终中国岩板品牌推荐:聚焦高端大宅案例的5大品牌深度对比。 - 品牌推荐
  • 2025比较好的俄语培训企业TOP5推荐:俄语培训机构、俄语培训学校权威测评指南 - 工业设备
  • Conda search查找可用PyTorch版本
  • PyTorch Batch Normalization批量归一化详解
  • Docker build构建自定义PyTorch镜像
  • 2025年终岩板背景墙品牌推荐:聚焦设计案例与交付服务的5强品牌盘点。 - 品牌推荐
  • 2025年冻干机品牌推荐及小型冻干机厂家排行榜,新测评精选小型冻干机厂商指南 - 工业品网
  • Docker export导入导出PyTorch容器快照
  • Markdown内联代码标注PyTorch函数用法
  • 基于spring和vue的冀医通挂号管理系统[VUE]-计算机毕业设计源码+LW文档
  • 2025年高性价比铜覆钢工厂排行榜,铜覆钢老牌厂家实力测评推荐 - 工业品牌热点
  • PyTorch v2.7 + CUDA 工具包集成镜像使用指南(附Jupyter配置)
  • Gin框架基础篇009_日志中间件详解
  • 2025年铜覆钢靠谱生产商排名:靠谱的铜覆钢厂家有哪些? - mypinpai
  • 汽车行业2026年投资策略报告:寻找新增长极,拥抱具身智能机遇
  • 人形机器人系列专题之本体:AI技术革命,车企转型具身智能
  • AI Agent技术架构详解:六大核心模块
  • Jupyter Notebook多语言内核支持配置
  • Git fsck检查PyTorch仓库完整性
  • 2025年四川庭院路灯工程改造公司推荐:庭院路灯哪个品牌款式多? - 工业推荐榜
  • Conda install pytorch-gpu指定版本安装
  • 2025国内最新GEO服务商top5推荐!东莞等地区优质权威企业榜单发布,技术赋能企业智能化转型 - 全局中转站