当前位置：首页 > news >正文

RAG-02-元数据索引

news 2026/3/27 4:01:27

步骤：

切割成多个子文件
根据元数据字段规则，为每个子文件增加元数据属性metadata，比如说文件名，语音类型，出版时间，作者等等
存储到向量库中
当检索时，用户的提示词先通过LLM转成固定格式 query和filter，也就是问题和过滤条件的json数据
将提问的json和源文件数据进行比对，相同属性符合的值都过滤
再通过query问题和匹配好的源文件文本向量匹配，得出结论

from langchain_core.documents import Document
from langchain_classic.chains.query_constructor.schema import AttributeInfodocs = [Document(page_content="作者A团队开发出基于深度学习的图像识别系统，在复杂场景下的识别准确率提升250%",metadata={"year": 2025, "rating": 9.3, "genre": "AI", "author": "A"},),Document(page_content="物联网技术成功应用于智能农业监控，作者B主导的项目实现农作物产量提升20%",metadata={"year": 2024, "rating": 9.5, "genre": "IoT", "author": "B"},),Document(page_content="边缘计算平台实现实时数据处理突破，作者C构建的新型架构支持千万级并发计算",metadata={"year": 2023, "rating": 8.8, "genre": "Edge Computing", "author": "C"},),Document(page_content="机器学习模型预测2025年股市趋势，作者A团队构建的模型准确率超95%",metadata={"year": 2024, "rating": 9.0, "genre": "Machine Learning", "author": "A"},),Document(page_content="基于人工智能的心脏病诊断系统在临床应用中达到顶级专家水平，作者B获医疗科技创新奖",metadata={"year": 2025, "rating": 7.2, "genre": "AI", "author": "B"},),Document(page_content="区块链技术在供应链管理中取得突破，作者C设计的新型协议提升供应链透明度30%",metadata={"year": 2024, "rating": 8.9, "genre": "Blockchain", "author": "C"},),Document(page_content="云计算平台实现能效优化，作者A研发的智能调度系统使数据中心能耗降低50%",metadata={"year": 2024, "rating": 8.6, "genre": "Cloud", "author": "A"},),Document(page_content="大数据分析助力环保监测，作者B团队实现污染源识别准确率提升30%",metadata={"year": 2025, "rating": 7.5, "genre": "Big Data", "author": "B"},)
]# 元数据字段定义（指导LLM如何解析查询条件）
metadata_field_info = [AttributeInfo(name="genre",description="Technical domain of the article, options: ['AI', 'Blockchain', 'Cloud', 'Big Data']",type="string",),AttributeInfo(name="year",description="Publication year of the article",type="integer",),AttributeInfo(name="author",description="Author's name who signed the article",type="string",),AttributeInfo(name="rating",description="Technical value assessment score (1-10 scale)",type="float")
]

from langchain_chroma import Chroma
from langchain_community.embeddings.dashscope import DashScopeEmbeddings
from 元数据 import docs, metadata_field_info
from langchain_classic.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import ChatOpenAI
import os
from dotenv import load_dotenv
from config import QIANWEN_CONFIG
load_dotenv()# 本地embedding模型地址
print("\n[3/6] 初始化 Embedding 模型...")
embeddings_model = DashScopeEmbeddings(model="text-embedding-v1",dashscope_api_key=QIANWEN_CONFIG["api_key"]
)
print("✅ Embedding 模型初始化成功")# 文档内容描述（指导LLM理解文档内容）
document_content_description = "Brief description of technical articles"# 步骤 4: 初始化 LLM
print("\n[4/6] 初始化 LLM...")
llm = ChatOpenAI(api_key=QIANWEN_CONFIG["api_key"],base_url=QIANWEN_CONFIG["base_url"],model=QIANWEN_CONFIG["model"],timeout=60,max_retries=3,temperature=0.7
)
print("✅ LLM 初始化成功")
# 创建向量数据库
vectorstore = Chroma.from_documents(docs, embeddings_model)# 创建自查询检索器（核心组件）
"""
SelfQueryRetriever.from_llm解析步骤:
1. 用户的问题("2023年评分超过8分的机器学习论文")LLM 任务(会由底层源码自己实现)：识别用户意图中的显式条件（如“2023年”对应 year=2023）。提取隐式语义关键词（如“机器学习论文”作为向量搜索关键词）。将模糊表述转换为结构化操作符（如“超过8分” → {"$gt": 8}）。{"query": "机器学习论文","filter": {"year": 2023, "rating": {"$gt": 8}}}2. 元数据过滤根据 filter 对向量数据库中的文档元数据进行筛选。(筛选出 year=2023 且 rating>8 的所有文档。)3. 语义搜索在元数据过滤后的文档子集中，用 query 进行向量相似性搜索。4. 结果合并与排序综合元数据匹配度（如完全匹配 year=2023）和语义相关性（向量得分），返回排序后的文档列表"""
retriever = SelfQueryRetriever.from_llm(llm,vectorstore,document_content_description,metadata_field_info,# enable_limit 启用限制查询数量enable_limit=True
)# print(retriever.invoke("作者B在2024年发布的文章"))
# 限定查询的数量需要设置enable_limit=True
print(retriever.invoke("2023年评分超过8分的机器学习论文"))