当前位置：首页 > news >正文

小白程序员必看：收藏这份RAG大模型核心技术原理详解，轻松入门智能Agent

news 2026/6/12 6:30:35

1. 核心流程全景图

RAG 的生命周期可以严格划分为两个平行的工作流：离线数据处理流（Data Pipeline）和在线检索生成流（Query Pipeline）。

RAG 核心工作流

1.1 离线数据处理流（Data Ingestion）

这个阶段的目标是把人类可读的非结构化文档，转化为机器可高效检索的“数学表示”。

文档加载与解析（Document Loading & Parsing）：

提取业务系统中的数据。对于云效工单，可能涉及请求 API 获取 JSON；对于历史文档，可能是解析 PDF/Word/Markdown。
去除无用信息（清洗 HTML 标签、特殊符号、无关的水印等）。

文本分块（Chunking）：

为什么需要分块？大模型有 Context Window（上下文窗口）限制（如 8K、128K）。我们不可能把整个知识库一次性塞进去。
分块策略：通常按段落、特定长度（如 500 tokens）进行切分，并且块与块之间保留一定的重叠（Overlap，如 50 tokens），避免把一句话从中间截断导致语意丢失。

向量化（Embedding）：

这是 RAG 的灵魂步骤。使用特定的 Embedding 模型（如text-embedding-3-small、bge-m3），将文本块映射为一个高维稠密向量（例如 1536 维的浮点数数组）。
语义空间：在多维空间中，语义相近的文本，它们的向量坐标也距离相近。“服务器宕机”和“机器无响应”在字面上毫无关联，但在向量空间里它们紧紧挨在一起。

存储索引（Vector DB Indexing）：

将“原始文本块 + 对应的向量 + 元数据（Metadata，如工单号、时间、作者）”一并存入向量数据库中，建立 ANN（近似最近邻）索引。

1.2 在线检索生成流（Retrieval & Generation）

当用户（或 Agent 内部组件）发出一个查询时：

问题向量化（Query Embedding）：

把用户的自然语言查询（如：“云效流水线构建卡在 npm install 怎么办？”），使用同一个Embedding 模型转化为向量。

向量检索（Retrieval）：

向量数据库拿着“问题向量”，去海量的“知识块向量”中进行距离计算（通常是余弦相似度 Cosine Similarity）。
召回距离最近的 Top-K（如前 5 个）文本块。

Prompt 拼装（Prompt Augmentation）：

将检索到的 5 个文本块作为Context（背景知识），连同用户的Query，填入预设的 Prompt 模板中。
模板示例：“请根据以下参考资料回答用户问题。如果参考资料中没有答案，请说不知道。参考资料：{Context}；用户问题：{Query}”

大模型生成（Generation）：

大模型读取包含背景知识的 Prompt，进行推理，生成并输出最终答案。

2. 深入理解 Embedding 与相似度

很多初学者对“向量化”感到抽象。可以这样理解：如果我们要描述一个“苹果”，我们可以用[甜度, 红色程度, 硬度, 价格]四个维度来打分，得到一个向量[0.8, 0.9, 0.5, 0.2]。而“香蕉”可能是[0.9, 0.1, 0.2, 0.2]。计算这俩向量的夹角，就能知道这两个东西在概念上有多“像”。

目前的深度学习模型可以将一句话映射为成百上千个维度。