LlamaIndex高级使用

什么是 LlamaIndex 在 Rag 发挥的作用 以及与传统 Rag 的区别

1.LlamaIndex 简介

LlamaIndex（原 GPT Index）是一个专门为大模型构建索引、检索和数据管道的框架，核心目标是让 LLM 更好地连接和利用私有数据。

传统 RAG 通常是这样实现的：# 传统 RAG 伪代码
from langchain.embeddings import OpenAIEmbeddings
from langchain.vectorstores import FAISS
from langchain.chains import RetrievalQA# 1. 切分文档
texts = text_splitter.split_documents(documents)# 2. 向量化 + 存储
vectorstore = FAISS.from_documents(texts, OpenAIEmbeddings())# 3. 检索 + 生成
qa_chain = RetrievalQA.from_chain_type(llm=llm,retriever=vectorstore.as_retriever()
)

问题：

• 数据加载、切分、索引需要自己写很多代码
• 检索策略单一（通常是简单的向量相似度）
• 缺乏对数据结构的深度优化
• 难以处理复杂的多模态、多源数据

---

LlamaIndex 在 RAG 中的作用

  1. 数据连接层from llama_index import SimpleDirectoryReader, VectorStoreIndex# 一行代码加载多种数据源documents = SimpleDirectoryReader('data').load_data()# 支持 PDF、Markdown、JSON、数据库、API、Notion 等 100+ 数据源2. 智能索引策略from llama_index import VectorStoreIndex, ListIndex, TreeIndex# 不同索引策略适应不同场景vector_index = VectorStoreIndex.from_documents(documents)  # 向量索引tree_index = TreeIndex.from_documents(documents)           # 树形索引（层次化）list_index = ListIndex.from_documents(documents)           # 列表索引（顺序检索）3. 高级检索能力# 混合检索：向量 + ��键词query_engine = index.as_query_engine(retrieval_mode="hybrid",  # 混合检索similarity_top_k=5,alpha=0.7  # 向量检索权重)# 自动重查询（Query Transformation）query_engine = index.as_query_engine(mode="recursive_retrieve",  # 递归检索use_async=True,)4. 结构化数据解析from llama_index.readers import SimpleReader# 自动识别表格、图表、层级结构documents = reader.load_data(file_path="report.pdf",extract_tables=True,  # 提取表格extract_images=True   # 提取图片)

核心优势示例

传统 RAG 检索（简单向量检索）

只能找到语义相似的片段
query = "公司的财务状况如何？"
返回：提到"财务"的某个片段，可能不准确

LlamaIndex 检索（智能路由 + 多层检索）

自动理解查询意图，选择最优检索路径
query = "公司的财务状况如何？"

1. 识别这是关于财务的查询
2. 路由到财务相关索引（如果有分片）
3. 先检索关键字 + 向量混合
4. 自动重排序结果
5. 返回最相关的财务报表片段

---

什么时候用 LlamaIndex？

✅ 适合使用 LlamaIndex 的场景：

• 数据源复杂（多种格式、多模态）
• 需要高精度检索（医疗、法律、金融）
• 文档结构化程度高（技术文档、财报）
• 需要灵活的检索策略（不只是向量相似度）

❌ 可以用传统 RAG 的场景：

• 简单的文本问答
• 数据源单一（纯文本）
• 快速原型验证

---

总结

LlamaIndex 本质上是 RAG 的"专业版"：

• 传统 RAG：自己搭积木，需要处理每个环节
• LlamaIndex：封装了数据→索引→检索的全流程，提供更智能的检索策略

可以把 LlamaIndex 理解为 "给 LLM 准备数据的操作系统"，让数据检索这件事变得更专业、更高效。