Lychee-Rerank-MM入门必看：图文检索评估指标（NDCG@10/MRR）计算示例

Lychee-Rerank-MM入门必看：图文检索评估指标（NDCG@10/MRR）计算示例

1. 为什么需要图文重排序？从粗排到精排的跃迁

你有没有遇到过这样的情况：在图文检索系统里，用向量相似度做初筛后，前10个结果里明明有高度相关的图片或文本，却排在第7、第8位？而排在第1、第2位的，看起来只是表面匹配——比如搜索“雪山日出”，返回的却是“雪地滑雪”或“城市日落”。这不是模型能力不行，而是传统双塔结构的局限：它擅长快速召回，但缺乏对查询意图和文档细节的深度语义理解。

Lychee-Rerank-MM正是为解决这个问题而生。它不替代初检模型，而是作为“精排裁判”，在已召回的候选集上重新打分排序。就像招聘流程中的终面环节——简历筛选（粗排）筛出50人，终面官（重排序模型）再花15分钟逐个深聊，最终确定3个最匹配的人选。这种两阶段架构，在保持系统响应速度的同时，显著提升结果相关性。

特别值得注意的是，Lychee-Rerank-MM不是简单的文本重排模型，而是真正意义上的多模态重排序器。它能同时“看懂”文字描述和图像内容，并理解二者之间的细粒度对齐关系。例如，当查询是“穿汉服的女孩在樱花树下微笑”，它不仅能识别出“汉服”“樱花”“微笑”这些关键词，还能判断图中人物姿态是否自然、背景虚化是否恰当、服饰纹样是否符合历史特征——这种理解深度，是纯文本模型无法企及的。

2. Lychee-Rerank-MM是什么：基于Qwen2.5-VL的通用精排引擎

2.1 模型本质与定位

Lychee-Rerank-MM是一个面向工业级图文检索场景的通用重排序模型，其核心是基于Qwen2.5-VL-7B-Instruct进行监督微调的多模态大语言模型。它不生成新内容，也不做端到端检索，而是专注一件事：对给定查询（Query）和一组候选文档（Documents）进行精细化相关性打分。

你可以把它想象成一个“多模态评分专家”：输入一段指令（如“请根据商品图和描述，找出最相似的竞品”）、一个查询（可以是文字或图片），以及若干候选文档（支持文字、图片、图文混合），它会输出每个文档与查询的匹配得分（0–1之间的浮点数），分数越高，表示越相关。

2.2 关键技术参数一览

这个模型由哈工大深圳NLP团队研发，已在MIRB-40等权威多模态重排序基准上验证效果。在T→I（文本查图）任务上达到61.18分，远超多数专用小模型——这说明它不是靠堆参数取胜，而是通过高质量指令微调和对比学习，真正掌握了跨模态语义对齐的能力。

3. NDCG@10与MRR：图文检索效果怎么才算好？

3.1 别再只看准确率了：为什么传统指标不适用图文检索

很多刚接触重排序的朋友会问：“我跑完模型，直接看top-1准确率不就行了？”——这是个常见误区。在图文检索中，用户通常不会只看第一个结果，而是会浏览前5–10个。更重要的是，相关结果可能不止一个，且重要程度不同。比如搜索“糖尿病饮食指南”，排名第一的可能是权威三甲医院发布的PDF，第二名是营养师短视频，第三名是科普公众号长文——它们都相关，但价值权重不同。

这就引出了两个被工业界广泛采用的核心评估指标：NDCG@10（Normalized Discounted Cumulative Gain at 10）和MRR（Mean Reciprocal Rank）。它们不只关注“对不对”，更关注“排得够不够好”。

3.2 NDCG@10：衡量排序质量的黄金标准

NDCG@10的核心思想是：越相关的结果排得越靠前，得分越高；且第一名的相关性比第十名重要得多。它通过“折损”（Discounting）机制体现这一点——位置越靠后，其相关性贡献越小。

我们用一个具体例子来说明：

假设你对某个查询标注了10个候选文档的相关性等级（0=不相关，1=一般相关，2=高度相关，3=完美匹配）：

计算步骤如下：

1. 计算DCG@10：对每个位置i，得分 = 相关性等级 / log₂(i+1)，然后累加
   DCG = 3/1 + 2/log₂3 + 3/log₂4 + 1/log₂5 + 0/log₂6 + 2/log₂7 + 1/log₂8 + 0/log₂9 + 2/log₂10 + 1/log₂11 ≈ 12.47
2. 计算IDCG@10（理想排序下的DCG）：把相关性等级从高到低排列再计算
   IDCG = 3/1 + 3/log₂3 + 2/log₂4 + 2/log₂5 + 2/log₂6 + 1/log₂7 + 1/log₂8 + 1/log₂9 + 0/log₂10 + 0/log₂11 ≈ 14.21
3. NDCG@10 = DCG / IDCG ≈ 12.47 / 14.21 ≈ 0.878

关键洞察：NDCG值介于0–1之间，越接近1越好。0.878意味着当前排序质量达到了理想状态的87.8%。如果模型把两个“3分”结果互换位置，NDCG会明显上升；但如果只是把两个“1分”结果调换，则影响微乎其微——这正是它合理的地方。

3.3 MRR：衡量首个正确答案有多快

MRR关注的是用户最关心的问题：“我什么时候能看到第一个靠谱结果？”它计算所有查询的首个相关结果排名的倒数的平均值。

继续上面的例子：假设该查询下，相关结果（相关性≥2）出现在第1、第2、第3、第6、第9位，则：

• 第1位相关 → 倒数 = 1/1 = 1.0
• 第2位相关 → 倒数 = 1/2 = 0.5
• 第3位相关 → 倒数 = 1/3 ≈ 0.33
• 第6位相关 → 倒数 = 1/6 ≈ 0.17
• 第9位相关 → 倒数 = 1/9 ≈ 0.11
  MRR = (1.0 + 0.5 + 0.33 + 0.17 + 0.11) / 5 ≈ 0.42

MRR值同样在0–1之间。0.42意味着平均而言，用户需要往下翻到第2–3个结果才能看到第一个高质量答案。在电商搜索中，MRR每提升0.1，点击率往往提升5–8%——这就是它被搜索引擎公司奉为关键指标的原因。

4. 手把手计算：用Lychee-Rerank-MM跑通NDCG@10与MRR全流程

4.1 准备工作：获取真实标注数据与候选集

要计算NDCG和MRR，你必须有两样东西：带人工标注的相关性等级的数据集，以及待评估的候选文档列表。这里我们以公开数据集MIRB-40中的一个子集为例（实际使用时可替换为你自己的业务数据）：

# 示例：构造一个图文检索query及其10个候选文档 query_text = "一只橘猫坐在窗台上，阳光洒在它身上" query_image_path = "/data/test/orange_cat_window.jpg" candidates = [ {"id": "doc1", "text": "橘猫在窗台晒太阳的照片", "image": "/data/cands/cat1.jpg", "relevance": 3}, {"id": "doc2", "text": "一只黑猫在沙发上睡觉", "image": "/data/cands/black_cat.jpg", "relevance": 0}, {"id": "doc3", "text": "橘猫特写，毛发清晰可见", "image": "/data/cands/cat2.jpg", "relevance": 2}, # ... 共10个候选，含相关性人工标注 ]

注意：Lychee-Rerank-MM支持四种模态组合，因此query和每个candidate可以是纯文本、纯图片，或图文混合。本例中我们使用“文本查询 + 图文候选”的典型场景。

4.2 调用Lychee-Rerank-MM获取模型打分

启动服务后，我们通过HTTP API批量提交请求。以下代码使用Pythonrequests库实现：

import requests import json def rerank_batch(query, candidates, instruction="Given a web search query, retrieve relevant passages that answer the query"): """ 调用Lychee-Rerank-MM服务进行批量重排序 :param query: 查询（str 或 image path） :param candidates: 候选列表，每个元素为dict，含text/image字段 :param instruction: 任务指令 :return: 按得分降序排列的候选列表 """ url = "http://localhost:7860/api/rerank" # 构造请求体 payload = { "instruction": instruction, "query": query, "documents": candidates } response = requests.post(url, json=payload, timeout=120) if response.status_code == 200: return response.json()["results"] else: raise Exception(f"API调用失败: {response.status_code}, {response.text}") # 调用示例 try: ranked_results = rerank_batch( query=query_text, candidates=[ {"text": c["text"], "image": c["image"]} for c in candidates ] ) print("模型返回的排序结果（按得分降序）：") for i, r in enumerate(ranked_results[:5]): print(f"{i+1}. {r['document_id']} -> 得分: {r['score']:.4f}") except Exception as e: print(f"调用异常: {e}")

运行后，你会得到类似这样的输出：

模型返回的排序结果（按得分降序）： 1. doc1 -> 得分: 0.9721 2. doc3 -> 得分: 0.8945 3. doc7 -> 得分: 0.8210 4. doc5 -> 得分: 0.7653 5. doc9 -> 得分: 0.7128

4.3 计算NDCG@10与MRR：纯Python实现（无依赖）

有了模型排序结果和人工标注，就可以计算指标了。以下代码完全自包含，无需额外安装库：

import math def calculate_ndcg_mrr(ranked_ids, relevance_dict, k=10): """ 计算NDCG@k和MRR :param ranked_ids: 模型返回的文档ID列表（按得分降序） :param relevance_dict: {doc_id: relevance_score} 字典 :param k: 计算截断位置 :return: (ndcg, mrr) """ # 获取前k个结果的相关性等级 y_true = [] for doc_id in ranked_ids[:k]: y_true.append(relevance_dict.get(doc_id, 0)) # 计算DCG@k dcg = 0.0 for i, rel in enumerate(y_true): if rel > 0: dcg += rel / math.log2(i + 2) # i从0开始，log2(1+1)=log2(2) # 计算IDCG@k：对相关性等级降序排列 ideal_rels = sorted(relevance_dict.values(), reverse=True)[:k] idcg = 0.0 for i, rel in enumerate(ideal_rels): if rel > 0: idcg += rel / math.log2(i + 2) ndcg = dcg / idcg if idcg > 0 else 0.0 # 计算MRR：找第一个相关（relevance>=2）的排名 rr = 0.0 for i, doc_id in enumerate(ranked_ids): if relevance_dict.get(doc_id, 0) >= 2: # 设定相关阈值为2 rr = 1.0 / (i + 1) break mrr = rr return round(ndcg, 4), round(mrr, 4) # 使用示例 ranked_ids = [r["document_id"] for r in ranked_results] # 提取ID顺序 relevance_dict = {c["id"]: c["relevance"] for c in candidates} ndcg_10, mrr = calculate_ndcg_mrr(ranked_ids, relevance_dict, k=10) print(f"NDCG@10 = {ndcg_10}") print(f"MRR = {mrr}")

输出结果可能为：

NDCG@10 = 0.8923 MRR = 0.5000

这意味着：模型排序质量达到理想状态的89.23%，且首个高相关结果出现在第2位（1/2=0.5）——这是一个相当优秀的工业级表现。

5. 实战技巧：如何用好Lychee-Rerank-MM提升你的NDCG与MRR

5.1 指令工程：一句话提升3–5个点NDCG

Lychee-Rerank-MM是“指令感知”模型，不同指令会引导它关注不同维度。不要总用默认指令！根据你的业务场景选择或定制：

• 电商商品搜索：用"Given a product image and title, retrieve visually and semantically similar items"
  → 更强调外观相似性与属性一致性，NDCG@10通常比默认指令高3.2点
• 知识库问答：用"Given a question, retrieve factual and concise passages that directly answer it"
  → 抑制冗长、模糊的答案，MRR提升显著（首个答案更准）
• 社交媒体内容推荐：用"Given a user's post image and caption, retrieve engaging and contextually relevant posts"
  → 引入“engaging”“contextually”等词，让模型更关注传播潜力而非字面匹配

实测建议：在你的测试集上，用A/B测试对比3–5条不同指令，选NDCG@10最高的那条作为线上配置。这比调参见效更快。

5.2 批量模式：为什么它能让MRR更稳定？

单文档模式（一次查一个query+一个doc）适合调试，但线上服务务必用批量模式。原因有二：

1. GPU利用率更高：单次请求可能只用到20%显存，而批量处理能将利用率拉到85%+，吞吐量提升3倍以上；
2. 排序相对性更强：模型在同一批候选中打分，天然具备横向比较能力。例如，当两个候选都含“橘猫”，模型会更细致地区分“窗台”vs“地板”、“阳光”vs“阴影”的差异，使分数分布更合理，从而提升NDCG。

调用方式只需将documents字段传入一个列表即可，服务端自动启用批处理逻辑。

5.3 避坑指南：影响指标计算准确性的3个隐形陷阱

• 陷阱1：未对齐ID
  人工标注的doc_id与模型返回的document_id格式不一致（如一个带前缀img_，一个不带），导致relevance_dict查不到值。解决方案：预处理阶段统一ID命名规范，或在calculate_ndcg_mrr中增加容错映射。

• 陷阱2：相关性等级定义模糊
  标注者对“2分”（一般相关）理解不一，有人认为“同物种不同姿态”算2分，有人认为必须“同场景同姿态”。解决方案：制定《相关性标注指南》，配10张示例图说明各等级边界，并做标注一致性检验（Kappa系数>0.8）。

• 陷阱3：忽略图文模态差异
  纯文本查询时，给图文候选打分，模型可能过度依赖文本描述而忽略图像质量。解决方案：对图文候选，强制要求text和image字段均非空；对纯文本候选，只传text字段——让模型明确知道输入模态。

6. 总结：从理解指标到驱动业务增长

回顾全文，我们做了三件事：
第一，厘清了Lychee-Rerank-MM的定位——它不是万能检索器，而是专精于“精排”的多模态语义裁判；
第二，拆解了NDCG@10与MRR这两个核心指标的本质：NDCG衡量整体排序质量，MRR聚焦首个优质结果的到达效率；
第三，给出了可落地的计算全流程：从准备标注数据、调用API、到纯Python实现指标计算，每一步都有代码和解释。

值得强调的是，这些指标不是终点，而是起点。当你发现NDCG@10卡在0.85上不去时，可以回溯分析：是哪些类型的查询拖了后腿？是长尾词、多义词，还是复杂视觉概念？进而针对性优化指令、补充训练数据，或调整前端召回策略。这才是评估指标的真正价值——它是一面镜子，照见系统瓶颈；也是一把尺子，丈量每一次迭代的进步。

现在，你已经掌握了用Lychee-Rerank-MM构建专业图文检索评估体系的能力。下一步，就是把它用在你的业务数据上，跑出属于你自己的NDCG和MRR。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。