当前位置：首页 > news >正文

【RAG】【vector_stores007】异步索引创建示例

news 2026/6/17 20:24:15

案例目标

本示例展示了如何在LlamaIndex中使用异步方法创建向量索引，以及这种方法相比标准同步方法在性能上的优势。通过对比测试，演示异步索引创建如何显著减少索引构建时间，特别是在处理大量文档时。

技术栈与核心依赖

llama-index- 核心框架，用于构建向量索引和查询引擎
llama-index-embeddings-openai- OpenAI嵌入模型集成
openai- OpenAI API客户端
wikipedia- 用于获取示例数据（维基百科文章）
asyncio- Python异步编程支持

环境配置

在开始之前，需要安装必要的依赖包：

安装依赖

%pip install llama-index llama-index-embeddings-openai openai wikipedia

然后配置OpenAI API密钥：

设置API密钥

import os os.environ["OPENAI_API_KEY"] = "sk-..."

案例实现

1. 导入必要的库

导入库

import time from llama_index.core import VectorStoreIndex, SimpleDirectoryReader from llama_index.embeddings.openai import OpenAIEmbedding from llama_index.core import Settings

2. 配置嵌入模型

配置嵌入模型

Settings.embed_model = OpenAIEmbedding(model="text-embedding-3-small")

3. 加载示例数据

加载维基百科文章

import wikipedia # 获取雅加达的维基百科文章 page = wikipedia.page("Jakarta") text = page.content # 将文本保存到文件 with open("jakarta.txt", "w") as f: f.write(text) # 使用SimpleDirectoryReader加载文档 documents = SimpleDirectoryReader(input_files=["jakarta.txt"]).load_data() print(f"加载了 {len(documents)} 个文档")

4. 标准同步索引创建

标准索引创建

start_time = time.perf_counter() index = VectorStoreIndex.from_documents(documents) duration = time.perf_counter() - start_time print(duration)

5. 异步索引创建

异步索引创建

start_time = time.perf_counter() index = VectorStoreIndex(documents, use_async=True) duration = time.perf_counter() - start_time print(duration)

6. 查询测试

查询测试

query_engine = index.as_query_engine() response = query_engine.query("What is the etymology of Jakarta?") print(response)

案例效果

标准同步索引创建

7.69 秒

使用传统方法创建索引所需时间

异步索引创建

2.37 秒

使用异步方法创建索引所需时间

性能提升

异步索引创建方法比标准同步方法快了约3.2倍，显著提高了索引构建效率。

这种性能提升在处理大量文档或大型文档时尤为明显，因为异步方法可以并行处理嵌入生成和索引构建过程。

查询结果示例

当查询"What is the etymology of Jakarta?"（雅加达的词源是什么？）时，系统返回了详细的回答：

"雅加达"这个名字来源于"Jayakarta"（梵文：जयकर्त），最终来自梵文जय jaya（胜利）和कृत krta（完成、获得），因此Jayakarta翻译为"胜利的行为"、"完整的行动"或"完全的胜利"。这个名字是为了纪念1527年Fatahillah的穆斯林军队成功击败并驱逐了葡萄牙军队。在被称为Jayakarta之前，这座城市被称为"Sunda Kelapa"。