前沿模型系列（三）《检索增强的语言模型》
目录
语言模型基础
1. 语言模型分类：
2. 评价指标：
3. 典型结构：
RAG 技术概述
1. RAG 提出背景：
2. RAG 基本原理：
3. 检索范式
RAG 早期经典工作
1. REALM：
2. Retrieval-in-context LM
3. RETRO
4. kNN-LM
5. 对比
RAG 技术发展
1. 发展阶段：
2. 核心共识：
RAG 最新研究进展
1. 检索过程优化：
2. 知识有效利用：
UltraRAG 开源项目介绍
总结
本文由九格大模型团队讲述 RAG 技术相关基础知识、技术发展历程以及最新研究进展。
语言模型基础
1. 语言模型分类：
• 自回归语言模型：GPT、千问等
• 掩码语言模型：BERT
2. 评价指标：
困惑度（Perplexity）
3. 典型结构：
• Encoder-Decoder 架构
• Encoder-only
• Decoder-only 的区别
RAG 技术概述
1. RAG 提出背景：
• 预训练模型的局限性：知识密集型场景、时效性信息、幻觉问题
2. RAG 基本原理：
• 外部信息以平文本形式存在，通过检索增强模型生成能力
• 基础范式：用户 Query → 检索知识库 → 检索信息与 Query 结合 → 模型生成回答
3. 检索范式
RAG 早期经典工作
1. REALM：
• 掩码模型，检索相关片段拼接后预测
• 检索模型训练：
• 单塔与双塔模型原理
• 对比学习训练 Embedding 模型
• 检索后处理：多次推理与概率平均
• 后续工作：DPR、RAG、Atlas 等面向开放域问答任务
2. Retrieval-in-context LM
•顺序预测模型
•检索对象选择:
• 查询语句长度与噪声问题
• 实验分析：查询语句长度对检索效果的影响
•检索频率优化：
• 提高检索频率对模型性能的影响
• 计算量与检索成本的平衡
•召回文本数量影响：
• 召回数量与模型性能的关系
• 噪声引入与性能下降问题
3. RETRO
4. kNN-LM
5. 对比
RAG 技术发展
1. 发展阶段：
• 2022年：建立 RAG 基本范式
• 2023年：关注检索时机与方式优化
• 近期：结合思维链（CoT）、多模态知识注入
2. 核心共识：
• 基于 Embedding 模型的 Dense Retrieve 成为标配
• 输入范式：输入层直接拼接文本
RAG 最新研究进展
1. 检索过程优化：
•多轮检索（难以避免噪声问题）与自适应检索（信息割裂，缺少交互整合）
• 引入大模型笔记概念：记录检索信息、规划检索过程、减少噪声
2. 知识有效利用：
• 指令跟随能力在知识密集场景下的局限性
• 强化训练方法：DPO、GRPO 等
• RAG-DDR：基于 DPO 的生成链路强化调优
• 后向对齐策略：模块化训练与采样调节
UltraRAG 开源项目介绍
总结
本文讲解了 RAG 技术原理、技术面临的挑战与解决方案，RAG 发展历程与最新研究进展。