RAG技术

一、RAG概述

LLM基于互联网上海量的信息进行训练，以知识的广度为主、且具有滞后性。但是对于专业性极强的问题或最新的消息，因为训练时并没有使用专门的数据来训练，LLM输出结果并不会很理想，甚至会出现模型幻觉。

RAG出现之前用户只能基于Context记忆向模型输入一些前置知识，使得模型能够回答特定问题，但如果Context太长，由于Encoder无法提取超长时间序列特征，此时Encoder会遗忘部分特征。

RAG的思路是将大量的知识保存到向量数据库，每次提问首先查询数据库得到相关相关的token块，拼接Context、token块、本次提问作为Transformer的输入。（不要妄想重新训练LLM，money扛不住）

二、RAG流程

• 构建向量数据库：分片->索引
• Prompt增强：召回->重排->生成

1.构建向量数据库：

• 分片：TokenSplitter查vocab表将文本转为token序列，然后对token序列进行分片，拆分为多个token块。
• 索引：通过Embedding模型（text-embedding-3-small）将token块转换为向量，将<行唯一ID,向量,token块>作为键值对存入向量数据库。

2.Prompt增强：

• 召回：用户输入文本经过分片索引转为向量，查询向量数据库基于相似度获取一批与用户文本相似度最高的向量，获取其对应的token块。
  • 余弦相似度：计算两个向量夹角的cos值，夹角越小相似度越高。
  • 欧氏距离，计算两个向量终点之间的距离，距离越小相似度越高。
  • 点积：计算向量1在向量2上的投影长度与向量2长度的乘积，点击越大相似度越高。
• 重排：从召回的token块中使用cross-encoder模型再精筛出部分相似度高的块，重排相似度准确率更高，但是耗时长，因此不适用于直接操作整个向量数据库。
• 生成：将用户输入token+token块拼接为Prompt，然后使用LLM的Embedding模型（这里的Embedding是LLM内部的，而索引阶段的Embedding模型是用于构建向量数据库的）将每个token转为向量，最后将矩阵输入模型，得到结果。