LLM（Large Language Model，大语言模型）训练完后参数就不会再更新，它无法凭空获取训练数据之外最新或专有知识，就好比一个人接触了大千世界后被关进了牢房，它回答问题只能依靠脑海里保存的信息。为了给LLM补充最新的信息，需要依赖RAG（Retrieval-augmented Generation，检索增强生成）。RAG是指根据用户提问从向量数据库、网络等检索相关背景信息，再将背景信息随同用户提问一起输入到LLM，LLM根据背景信息回答用户提问。
传统RAG是先对文档切块，然后对每个块向量化保存到向量数据库，用户的提问也被向量化，匹配向量数据库中相近的几个块，取出这些块的原文作为背景内容再跟用户提问一起输入LLM。这样的RAG就好比一个搜索引擎，而LLM就像被关在牢房接触不到任何外部信息的人，用户的提问随同从搜索引擎查出的前几页内容给到这个牢房里的人(LLM)，LLM回答问题的效果将被限制在RAG的检索效果。
对文档切块会破坏原始上下文信息，一个脱离上下文的文本块几乎是无用的。例如，假设进行RAG的文档是ACME 公司 2023 年 Q2 的财报文件，用户提问：“ACME 公司在2023年Q2的收入增长是多少？”，其中一个文本块是“公司收入相比上一季度增长了3%”，但它脱离了上下文，没有说明是哪个公司、在哪个季度。这种上下文的丢失直接导致检索系统无法准确召回最相关的信息，RAG的检索效果注定不会很好。
为了弥补传统RAG的缺陷，又提出了Agentic RAG。Agentic RAG是先将用户提问输入到LLM，由LLM判断是否需要检索，LLM根据提问生成需要检索的关键词从向量数据库中检索。这就好比把搜索引擎给到那个牢房的里的人，它根据提问自己查询搜索引擎。
LLM的介入改善了检索效果，但Agentic RAG依然没有解决文档切块破坏原始上下文信息的问题，也就是这个RAG依旧是个不好用的搜索引擎。
为了解决上下文丢失的问题，Anthropic 提出了上下文检索（Contextual Retrieval） 。其核心思想非常巧妙：在对文本块进行编码和索引之前，先用 LLM 为每个文本块自动生成一段简短的、包含其核心上下文的摘要，并将这段摘要前置到原始文本块中。
我们来看一个具体的例子：
原始文本块:
"The company's revenue grew by 3% over the previous quarter."
添加上下文后的文本块:
"This chunk is from an SEC filing on ACME corp's performance in Q2 2023; the previous quarter's revenue was $314 million. The company's revenue grew by 3% over the previous quarter."
通过添加这段由 LLM 生成的上下文，原本模糊不清的文本块立刻变得信息丰富且易于检索。当用户查询“ACME Corp Q2 2023 revenue”时，无论是语义检索还是关键词检索，都能轻松地匹配到这个增强后的文本块。
Anthropic 提供了一个高效的 Prompt 模板来生成补充的上下文：
<document>
{{WHOLE_DOCUMENT}}
</document>
Here is the chunk we want to situate within the whole document
<chunk>
{{CHUNK_CONTENT}}
</chunk>
Please give a short succinct context to situate this chunk within the overall document for the purposes of improving search retrieval of the chunk. Answer only with the succinct context and nothing else.
依然反直觉的地方是文档切块。
我认为的理想的RAG：不应该人为对文档切块，而让LLM总结。让LLM读文档，根据文档总结出“观点”，即将文档压缩成很多简短的句子，将这些简单句子向量化。这些“观点”需要有事实支撑，即建立这些简短句子到相关原文的一对多连接。检索时，根据用户的问题的向量与“观点”向量匹配，取出“观点”句子以及支撑观点的原文句子，一起输出到LLM。
就像论文检索。
LLM训练完后不会再更新参数也是个问题，人被关进牢房也能基于提供的信息学到脑子里，但LLM始终就像第一天进入牢房。