当前位置：首页 > news >正文

《GraphRAG 评估与调优：告别“凭感觉”，用 RAGAS 量化 AI 的全局认知力》

news 2026/7/17 5:32:28

在之前的系列文章中，我们已经完成了 GraphRAG 的核心构建：从数据清洗、Leiden 社区检测，到层级化摘要生成，再到最后的“图+向量”混合存储架构。

此时，一个强大的 GraphRAG 系统已经在你手中成型。但作为工程师，我们面临最后一个，也是最棘手的问题：如何证明它比传统 RAG 更好？

如果只是凭感觉说“回答得更全面了”，这在工程上是站不住脚的。我们需要量化指标，需要科学的评估体系。今天，我们将进入 GraphRAG 系列的收官之作，聊聊如何对这套复杂的系统进行“体检”与调优。

正文

在传统的 RAG 评估中，我们通常关注“检索准确率”和“答案相关性”。但在 GraphRAG 中，由于引入了图谱结构和层级摘要，评估的维度变得更加复杂。

我们不仅要问“答案对不对”，还要问“答案全不全”、“逻辑深不深”。

1. 为什么传统评估指标失效了？

传统的 RAG 评估主要依赖向量相似度。如果你的系统召回了 Top-5 个切片，且这些切片与标准答案高度重合，分数就会很高。

但在 GraphRAG 中，我们引入了**全局搜索（Global Search）**模式。

场景：用户问“这份财报中关于‘风险’的整体描述是什么？”
传统 RAG：可能会召回 5 个包含“风险”关键词的具体段落（如汇率风险、法律风险），但漏掉了管理层讨论中的宏观风险。
GraphRAG：可能会直接调取“风险管理”这个社区的摘要，答案非常全面，但其中包含的词汇可能与标准答案（由人工撰写的摘要）不完全重合。

这时候，如果用传统的 BLEU 或 ROUGE 评分，GraphRAG 的得分反而可能更低。我们需要引入更先进的评估框架，比如RAGAS。

2. 引入 RAGAS：四大核心指标

RAGAS 是目前评估 RAG 系统最主流的框架，它通过 LLM 来评估 LLM，非常适合 GraphRAG 这种复杂场景。我们需要重点关注以下四个指标：

上下文召回率（Context Recall）：
- 定义：检索到的上下文是否包含了回答问题的所有必要信息？
- GraphRAG 的意义：这是 GraphRAG 的主战场。由于引入了社区摘要，GraphRAG 在这个指标上通常应该显著优于传统 RAG，特别是在回答“总结”、“概括”类问题时。
上下文精确率（Context Precision）：
- 定义：检索到的上下文中，有多少是真正有用的？（也就是噪声多不多）
- GraphRAG 的意义：图谱遍历有时会拉取到大量无关的关联实体。如果这个分数低，说明你的图谱剪枝做得不够好，或者 Leiden 算法的分辨率参数设置得太低，导致社区太杂乱。
答案忠实度（Answer Faithfulness）：
- 定义：生成的答案是否忠实于检索到的上下文？有没有产生幻觉？
- GraphRAG 的意义：检验 LLM 在综合“向量切片”和“图谱摘要”时，是否出现了逻辑矛盾。
答案相关性（Answer Relevance）：
- 定义：答案是否直接回答了用户的问题？
- GraphRAG 的意义：确保模型没有因为上下文太长而“跑题”。

3. 实战：构建“黄金数据集”

评估的第一步，是构建一个高质量的测试集（Golden Dataset）。对于 GraphRAG，建议包含两类问题：

细节类问题（针对局部检索）：
- 例：“A 公司的 CEO 是谁？”
- 目的：验证向量检索和实体对齐的准确性。
全局类问题（针对 GraphRAG 特性）：
- 例：“A 公司与 B 公司在供应链上有哪些潜在的合作与竞争关系？”
- 目的：验证社区摘要和图遍历的能力。这是传统 RAG 的弱项，却是 GraphRAG 的得分点。

Python 评估代码示例（基于 RAGAS）：

fromdatasetsimportDatasetfromragasimportevaluatefromragas.metricsimportcontext_recall,faithfulness# 准备数据data_samples={'question':['A 公司和 B 公司的关系是什么？'],'answer':['A 公司是 B 公司的上游供应商，且双方存在专利诉讼。'],'contexts':,# 这里填入 GraphRAG 检索到的上下文'ground_truth':['A 是 B 的供应商，且双方有法律纠纷。']}dataset=Dataset.from_dict(data_samples)# 执行评估score=evaluate(dataset,metrics=[context_recall,faithfulness])print(score)

4. 调优指南：当分数不理想时怎么办？

评估是为了优化。根据 RAGAS 的反馈，我们可以对症下药：

如果“上下文召回率”低：
- 诊断：说明关键信息没被捞出来。
- 调优：检查 Leiden 算法的分辨率参数（Resolution Parameter）。参数过大，社区太细碎，信息被割裂；参数过小，社区太巨大，摘要可能丢失细节。尝试降低分辨率，让社区合并得更大一些。
如果“上下文精确率”低：
- 诊断：检索了一堆废话。
- 调优：优化实体提取的 Prompt，减少噪声实体的生成；或者在图遍历（Graph Traversal）时，限制跳数（Max Hops），避免关联到太远的无关节点。
如果“答案忠实度”低：
- 诊断：模型在瞎编。
- 调优：这通常是因为输入给 LLM 的上下文太长（Token 超限），导致模型“遗忘”了前面的指令。尝试优化层级摘要的压缩率，或者在 Prompt 中加强“只依据参考材料回答”的约束。