gte-base-zh中文Embedding效果对比：gte-base-zh vs. bge-zh vs. m3e实测

gte-base-zh中文Embedding效果对比：gte-base-zh vs. bge-zh vs. m3e实测

最近在折腾中文文本嵌入模型，想找一个效果好、部署又简单的方案。网上看了不少评测，发现大家讨论比较多的有阿里巴巴的gte-base-zh、智源的bge-zh，还有MokaAI的m3e。光看评测数据总觉得不够直观，干脆自己动手，把这三个模型都部署起来，用同样的测试集跑一遍，看看实际效果到底怎么样。

今天这篇文章，我就来分享一下这次实测的过程和结果。我会先带大家快速部署gte-base-zh模型，然后对比它在语义相似度任务上的表现，看看和bge-zh、m3e相比，到底谁更胜一筹。如果你也在为RAG系统、语义搜索或者文本分类任务选型，这篇文章应该能给你一些参考。

1. 快速上手：部署gte-base-zh模型

gte-base-zh是阿里巴巴达摩院训练的一个中文文本嵌入模型。简单来说，它的作用就是把一段文字转换成一串数字（向量），这样计算机就能通过计算这些数字之间的距离，来判断两段文字在意思上是不是相近。这个模型在大量中文文本对上训练过，适用范围挺广的，比如做信息检索、语义搜索或者给搜索结果重新排序都行。

下面我就用Xinference这个工具，带你一步步把它跑起来。

1.1 环境准备与模型启动

首先，你需要确保gte-base-zh的模型文件已经下载到本地。这个模型默认会放在/usr/local/bin/AI-ModelScope/gte-base-zh这个目录下。如果没有，你可能需要先根据官方指引下载模型。

部署的核心是使用Xinference来启动模型服务。你只需要在命令行执行一条简单的命令：

xinference-local --host 0.0.0.0 --port 9997

这条命令会在本地的9997端口启动一个推理服务。但是，要让我们下载好的gte-base-zh模型也能通过这个服务被调用，还需要一个额外的启动脚本。这个脚本通常位于/usr/local/bin/launch_model_server.py。运行这个脚本，它就会把gte-base-zh模型注册到Xinference服务里。

第一次加载模型可能需要几分钟，因为要把模型从硬盘读到内存里，耐心等一下就好。

1.2 验证服务与使用Web界面

怎么知道模型启动成功了呢？最直接的方法是查看日志文件：

cat /root/workspace/model_server.log

如果看到日志里显示模型加载完成、服务启动成功的相关信息，那就没问题了。

更直观的方法是使用Xinference提供的Web界面。在浏览器中打开Xinference服务地址（通常是http://你的服务器IP:9997），就能看到一个管理界面。

在界面上找到gte-base-zh模型，点击进入它的详情页。这里通常会有一个“示例”或“测试”区域。

1. 你可以在输入框里填入你想测试的文本，比如“今天天气怎么样”和“明天的气候如何”。
2. 点击“相似度比对”或类似的按钮。
3. 系统会分别计算这两段文本的向量，然后给出一个相似度分数（比如0.92）。这个分数越接近1，说明两句话意思越像。

通过这个界面，你可以快速感受模型的效果，非常方便。

2. 同台竞技：设计对比评测方案

部署好gte-base-zh之后，下一步就是让它和bge-zh、m3e这两个热门选手比一比。为了公平，我们需要一个统一的评测方案。

我设计了一个简单的测试流程，主要关注语义文本相似度这个核心任务。毕竟，这是嵌入模型最基础、也最常用的能力。

2.1 测试数据集与评价指标

我准备了几组具有不同特点的句子对，来全面考察模型：

1. 同义句：表达相同意思的不同说法。例如：“苹果公司发布了新手机” 和 “iPhone的新机型由苹果推出”。（期望相似度很高）
2. 相关但不相同句：话题相关，但具体信息或角度不同。例如：“我喜欢吃苹果” 和 “苹果是一种健康的水果”。（期望相似度中等）
3. 不相关句：主题完全不同的句子。例如：“编程需要学习算法” 和 “今天超市西红柿打折”。（期望相似度很低）
4. 带有否定和反义的句子：考验模型对逻辑的理解。例如：“这部电影很有趣” 和 “这部电影很无聊”。（期望相似度低）

评价指标很简单，就是看模型给出的余弦相似度分数是否与我们人类的直觉判断相符。同时，我们也会直观地感受一下模型推理的速度。

2.2 对比测试方法

为了确保对比的公平性，三个模型都采用相同的部署方式（这里以Xinference为例，其他模型同理）和调用接口。测试代码骨架如下：

import requests import json def get_embedding(text, model_url): """调用部署好的模型API获取文本向量""" payload = { "model": "gte-base-zh", # 这里替换为对应的模型名 "input": text } response = requests.post(f"{model_url}/v1/embeddings", json=payload) return response.json()["data"][0]["embedding"] def calculate_similarity(vec1, vec2): """计算两个向量的余弦相似度""" # 这里简化实现，实际可使用numpy dot_product = sum(a*b for a, b in zip(vec1, vec2)) norm_a = sum(a*a for a in vec1) ** 0.5 norm_b = sum(b*b for b in vec2) ** 0.5 return dot_product / (norm_a * norm_b) # 测试句子对 test_pairs = [ ("苹果公司发布了新手机", "iPhone的新机型由苹果推出"), ("我喜欢吃苹果", "苹果是一种健康的水果"), ("编程需要学习算法", "今天超市西红柿打折"), ("这部电影很有趣", "这部电影很无聊") ] # 分别对每个模型进行测试 model_urls = { "gte-base-zh": "http://localhost:9997", "bge-zh": "http://localhost:9998", # 假设bge-zh部署在9998端口 "m3e": "http://localhost:9999" # 假设m3e部署在9999端口 } results = {} for model_name, url in model_urls.items(): scores = [] for text1, text2 in test_pairs: vec1 = get_embedding(text1, url) vec2 = get_embedding(text2, url) score = calculate_similarity(vec1, vec2) scores.append(score) results[model_name] = scores

通过这段代码，我们就能批量获取三个模型在同一组测试集上的表现分数。

3. 实测结果：三大模型效果横评

运行完测试代码，我们得到了具体的分数。下面我把结果整理出来，并加上我的分析和观察。

3.1 语义相似度得分对比

为了更清晰地对比，我把测试结果汇总成了下面的表格：

结果分析：

1. gte-base-zh：在“同义句”识别上表现最突出，得分最高，这说明它在捕捉句子核心语义和实体方面很精准。对于“反义句”，它也能给出相对较低的分数，区分出了语义对立。但在“相关句”上，分数比bge-zh略低，可能它对这种上下文相关性捕捉的侧重点不同。
2. bge-zh：在“相关句”上表现最好，得分最高。这意味着它可能更擅长理解句子之间较宽泛的话题关联性。不过，在“不相关句”和“反义句”上，它的分数相对偏高一些，区分度稍弱。
3. m3e：在“不相关句”和“反义句”上给出了最低的分数，显示出很强的区分能力，能很好地把意思不同或相反的句子分开。但在“同义句”上得分稍低，可能还有优化空间。

3.2 推理速度与资源消耗

除了准确性，在实际项目中，推理速度和资源占用也是关键考虑因素。

• 推理速度（平均单句）：在相同的CPU环境下，三个模型的速度都在几十到几百毫秒级别，对于大多数应用来说都是可接受的。细微的差别可能取决于模型参数量的大小和具体的优化。
• 模型大小：gte-base-zh和bge-zh的base版本大小通常在几百MB级别。m3e根据其不同版本（如base, large）会有所变化。模型大小直接关系到内存占用和加载时间。
• 易用性：三者都提供了Hugging Face或ModelScope的标准接口，并且能很好地与Xinference、FastAPI等工具集成，部署难度相当。

3.3 各自的特点与适用场景

根据上面的测试，我们可以简单总结一下它们的特点：

• gte-base-zh：精准型选手。在核心语义匹配和实体识别上很扎实，适合对准确性要求高的场景，比如问答系统里精确匹配答案段落，或者去重任务。
• bge-zh：关联型选手。更擅长发现文本之间宽泛的相关性，适合需要召回相关文档的场景，例如在搜索引擎的第一阶段，把可能相关的文章都找出来。
• m3e：区分型选手。在辨别不同和相反语义上表现突出，适合用于文本分类、聚类或需要清晰边界的任务，比如情感分析（区分正面/负面）、主题划分等。

没有绝对的“最好”，只有“最适合”。你的选择应该取决于你的具体任务最看重什么。

4. 总结：如何选择你的中文Embedding模型？

经过这一轮的实测对比，相信你对gte-base-zh、bge-zh和m3e这三个模型有了更直观的了解。我们来回顾一下重点，并给你一些选择的建议。

4.1 核心结论回顾

1. gte-base-zh部署简单：通过Xinference可以快速拉起服务，并有Web界面供测试，对于想快速验证效果的开发者非常友好。
2. 三者各有千秋：
   • 追求同义替换精准度，gte-base-zh是稳妥的选择。
   • 希望广泛召回相关文本，bge-zh可能效果更佳。
   • 需要清晰区分不同类别文本，m3e的区分能力值得考虑。
3. 性能均可接受：在常规的语义相似度计算任务上，三个模型的推理速度都能满足大部分在线业务的需求。

4.2 选型实践建议

面对具体项目时，你可以这么考虑：

• 如果你的场景是“检索增强生成（RAG）”：通常分为“召回”和“精排”两步。在“召回”阶段，可以考虑使用bge-zh来扩大检索范围，确保不遗漏相关文档；在“精排”阶段，可以使用gte-base-zh对召回的结果进行更精确的重排序，把最相关的放在最前面。
• 如果你在做文本分类或聚类：m3e强大的区分能力可能会带来更好的类别边界，值得优先尝试。
• 如果你需要高精度的语义匹配：比如法律条文匹配、专利查重，gte-base-zh的精准特性会更合适。
• 当你资源有限时：不妨从模型大小和社区活跃度入手，选择一个文档齐全、社区支持好的模型，能帮你节省不少调试时间。

最后，最好的方法就是像我们今天做的一样——用你自己的业务数据做一次小规模的实测。构造一些典型的正例和负例，分别跑一下几个模型，看看哪个在你自己的任务上表现最好，这个结果往往比任何通用评测都更有说服力。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。