lychee-rerank-mm保姆级入门：3步搞定图文内容相关性打分

lychee-rerank-mm保姆级入门：3步搞定图文内容相关性打分

你是不是经常遇到这样的烦恼？在搜索引擎里输入“猫咪玩球”，结果出来的图片有的是狗，有的是玩具，真正贴切的没几张。或者，在公司的知识库里找一份“2024年Q3销售报告”，搜出来的文档五花八门，得自己一个个点开看哪个才是对的。

这就是典型的“找得到但排不准”问题。传统的检索系统能帮你找到一堆可能相关的结果，但哪个最相关、最有用，它就不管了。今天要介绍的lychee-rerank-mm，就是专门解决这个痛点的“智能排序官”。它不负责大海捞针，只负责在你捞上来的“鱼”里，帮你把最大、最肥的那条挑出来，并且，它看得懂文字，也看得懂图片。

别被“多模态重排序模型”这个名字吓到，其实用起来超级简单。这篇文章，我就带你用最直白的方式，3步上手，让它立刻为你工作。

1. 第一步：启动服务（比打开一个App还简单）

首先，确保你已经获取并运行了lychee-rerank-mm镜像。这个过程通常是一键完成的。

启动服务只需要一条命令，打开你的终端（命令行窗口），输入：

lychee load

然后，喝口水，等待大约10到30秒。你会看到终端里滚动一些信息，最后出现类似Running on local URL: http://0.0.0.0:7860的提示。看到这个，就说明服务已经成功在后台跑起来了。

这里有个小提示：第一次运行可能会稍慢一点，因为它需要把模型从硬盘加载到内存里，这是正常现象。之后再用，速度就会快很多。

2. 第二步：打开操作界面（一个清爽的网页）

服务启动后，它就在你的电脑本地（localhost）建立了一个网页服务。你不需要写任何代码去调用它。

打开你常用的浏览器（Chrome， Firefox， Edge都可以），在地址栏输入：

http://localhost:7860

按下回车，一个干净、直观的Web操作界面就会出现在你面前。这个界面就是你和lychee-rerank-mm对话的窗口。整个界面主要分为三大块：

• Query（查询）框：在这里输入你的问题或搜索词。
• Document（文档）框：在这里放入你想要评估的候选内容（文字或图片）。
• 功能按钮：比如“开始评分”、“批量重排序”等。

看到这个界面，最复杂的部分已经结束了。

3. 第三步：开始使用（单点测试和批量排序）

界面有了，我们来实际用一下。lychee-rerank-mm最核心的两个功能：单文档评分和批量重排序，我们分别来试试。

3.1 功能一：单文档评分（判断“这个答案对吗？”）

这个功能用来快速判断一段给定的内容（文档）是否与你的问题（查询）高度相关。就像老师快速判断学生的答案是否切题。

操作步骤：

1. 在Query框里，输入你的问题。例如：北京是中国的首都吗？
2. 在Document框里，输入你要评估的文本。例如：是的，北京是中华人民共和国的首都。
3. 点击蓝色的开始评分按钮。

结果怎么看？几乎瞬间，你会看到评分结果。它会返回一个0到1之间的分数。

• 分数 > 0.7：通常意味着高度相关，这个答案很可能直接解决了你的问题。
• 分数在0.4到0.7之间：中等相关，这个答案可能部分相关，或者提供了背景信息。
• 分数 < 0.4：低度相关，这个答案可能文不对题，可以忽略。

在上面的例子里，你大概率会得到一个接近0.95的高分，因为文档完美地回答了查询。

不只是文字：更厉害的是，Document框里不仅可以放文字，还能上传图片！比如：

• Query:上传一张猫的照片
• Document: 你上传一张猫咪的图片。 模型会分析图片内容，并判断这张图片与“猫的照片”这个查询的匹配程度。同样，你也可以进行“图文混合”评估，比如Document里既有文字描述，又配了图。

3.2 功能二：批量重排序（给一堆结果“排座次”）

这是lychee-rerank-mm的看家本领。当你的检索系统、推荐系统一次性返回了10个、20个可能的结果时，用它来给这些结果按相关性从高到低排个序。

操作步骤：

1. 在Query框里，输入你的问题。例如：什么是人工智能？
2. 在Documents框里（注意是复数），输入所有候选文档，每个文档之间用三个减号---分隔。

   人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。 --- 今天天气真不错，适合去公园散步。 --- 机器学习是人工智能的一个分支，它使计算机能够在没有明确编程的情况下进行学习。 --- 苹果是一种常见的水果，富含维生素。

3. 点击批量重排序按钮。

结果怎么看？系统会重新整理你的输入框，在最相关的文档前面标上1.， 第二相关的标上2.， 以此类推。同时，每个文档后面会显示其得分。

对于上面的例子，结果很可能会是：

1. 人工智能是研究、开发...（得分最高）
2. 机器学习是人工智能的一个分支...（得分次高）
3. 今天天气真不错...和苹果是一种常见的水果...（得分很低，顺序可能随机）

这样，你一眼就能看到哪些内容是真正有用的，无需再人工筛选。

3.3 进阶技巧：让它更懂你（自定义指令）

lychee-rerank-mm内部有一个默认的“任务指令”，告诉模型它要做什么。默认指令是：Given a query, retrieve relevant documents.（给定一个查询，检索相关文档）。

但你可以根据不同的使用场景微调这个指令，让模型的表现更精准。在Web界面上找到“Instruction”输入框，修改它：

• 如果你在做搜索引擎：可以改为Given a web search query, retrieve relevant passages.
• 如果你在做问答系统：可以改为Judge whether the document answers the question.
• 如果你在做客服：可以改为Given a user issue, retrieve relevant solutions.

这个小改动，有时能让模型的排序结果更贴合你的业务逻辑。

4. 总结

看到这里，你已经掌握了lychee-rerank-mm最核心的用法。我们来快速回顾一下：

1. 启动：一行命令lychee load，等它跑起来。
2. 访问：浏览器打开http://localhost:7860。
3. 使用：
   • 单点测试：在Query和Document里分别输入内容和问题，点“开始评分”，看分数。
   • 批量排序：在Query输入问题，在Documents用---分隔多个候选内容，点“批量重排序”，看自动排序结果。
   • 玩转多模态：Document里可以放纯文字、纯图片，也可以图文混排。
   • 优化效果：根据你的场景（搜索、问答、客服等），尝试修改Instruction指令。

这个工具的本质，是为你的检索系统加装了一个“智能大脑”，让它不仅能找到，更能找准。无论是优化站内搜索、提升客服机器人答案质量，还是管理混杂着图片和文本的知识库，lychee-rerank-mm都能成为一个即插即用的得力助手。

现在，就打开你的浏览器，输入http://localhost:7860，开始你的第一次智能排序吧！

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。