大模型：RAG基础介绍

一、RAG的基本介绍

通用大模型存在的一些问题：

• LLM的知识不是实时的，模型训练好之后不具备自动更新知识的能力，会导致部分信息滞后。
• LLM领域知识是缺乏的，大模型的知识来源于训练数据，这些数据主要来自公开的互联网和开源数据集，无法覆盖特定领域或高度专业化的内部知识。
• 幻觉问题，LLM有时会在回答中生成看似合理但实际上是错误的信息。
• 数据安全性。

RAG：检索增加生成技术，利用检索外部文档提升生成结果的质量。即检索增强生成，为大模型提供了从特定数据源检索信息，来修正和补充生成的答案。

可以总结为：RAG = 检索技术 + LLM提示

RAG工作分为两条线：离线准备线、在线服务线

RAG标准流程由索引（Indexing）、检索（Retriever）、和生成（Generation）三个核心阶段组成。

• 索引（Indexing）阶段：通过处理多种来源、多种格式的文档，提取其中的文本，将其切分为标准长度的文本块（chunk），并进行嵌入向量化（embedding），向量存储在向量数据库（vector database）中。
  • 加载文件
  • 内容提取
  • 文本分割，形成chunk
  • 文本向量化
  • 存向量数据库
• 检索（Retriever）阶段：用户输入的查询（query）被转化为向量表示，通过相似度匹配从向量数据库中检索出最相关的文本块。
  • query向量化
  • 在文本向量中匹配出与问句向量相似的top_k个
• 生成（Generation）阶段：检索到的相关文本与原始查询共同构成提示词（prompt），输入大语言模型（LLM），生成精确且具备上下文关联的回答。
  • 匹配出的文本作为上下文和问题一起添加到prompt中
  • 提交给LLM生成答案

二、向量的基础概念

RAG流程中，向量库是一个重要的节点：

离线流程：知识和信息 -> 向量嵌入（向量化） -> 存入向量库

在线流程：用户的提问 -> 向量嵌入（向量化） -> 在向量库中匹配

向量（vector）就是文本的“数字身份证”：它把一段文字的语义信息，转化成一串固定长度的数字列表，让计算机能“看懂”，文字的含义并做相似度计算。

简单来说：就是让计算机更方便的理解不同的文本内容，是否表达的是一个意思。

向量嵌入的过程，我们一般选用合适的文本嵌入模型来完成，具体它怎么转化的其实可以不用深究。

通过余弦相似度算法可以计算得到：A和B的相似度是0.999789，A和C的相似度是0.361446。

由此可以通过精确的数学计算，去匹配2段文本是否描述同一个意思，提高语义匹配的效率和精度。

三、余弦相似度扩展

就是看两个东西 “方向” 像不像，不管长短、不管大小，只看偏不偏。

举个最通俗的例子

• 你有两个向量，相当于两条从原点射出去的线：
• 两条线几乎贴在一起 → 夹角小 → 余弦相似度 接近 1
• 两条线垂直 → 夹角 90 度 → 余弦相似度 接近 0
• 两条线完全反方向 → 夹角 180 度 → 余弦相似度 接近 -1

它只看方向，不看长短！

放实际场景里

• 推荐系统：
  • 你喜欢 A、B、C 三个视频
  • 别人喜欢 A、B、C
  • 你们方向一样 → 余弦相似度高 → 推一样的东西
• NLP、文本相似度：
  • 把句子转成向量
  • 两句话意思越像，向量方向越接近 → 余弦相似度越大

公式懒得记？记住结论就行

• 值越接近 1 → 越像
• 值越接近 0 → 没啥关系
• 值越接近 -1 → 完全相反

余弦相似度 = 只看路子对不对，不看力气大不大。 路子一样，就是兄弟；路子反了，就是对头。