Elasticsearch搜索算法深度剖析：BM25算法原理及与TF-IDF对比实战指南

前言

在 Elasticsearch 搜索引擎中，相关性算分是决定搜索结果排序是否精准的核心。在 ES 5.x 版本之前，默认使用TF-IDF算法作为相关性评分标准；从 5.x 版本开始，官方将默认评分算法切换为BM25，一直沿用至今。

很多开发者在使用 ES 进行搜索开发时，只知道_score是相关性分数，却不了解 BM25 是什么、比 TF-IDF 好在哪里、为什么能成为现代搜索引擎的标准算法。

本文将从定义、核心原理、计算公式、流程图、与 TF-IDF 的对比、改进点等维度，用通俗易懂的方式深度讲解 BM25 算法，帮助你彻底掌握 ES 搜索排序的底层逻辑。

一、BM25 算法核心认知

1.1 什么是 BM25？

BM25（Best Match 25）是一种基于概率框架的文本相关性检索算法，是目前 Elasticsearch、Lucene、Solr、PostgreSQL 等主流搜索引擎/数据库的默认相关性算分算法。

简单理解：
BM25 = 优化升级后的 TF-IDF
它保留了 TF-IDF 的核心思想（词频、逆文档频率），同时解决了 TF-IDF 的天然缺陷，让搜索排序更精准、更稳定。

1.2 BM25 适用场景

• 全文检索相关性排序
• 多字段搜索权重计算
• 长文本/短文本混合搜索
• 企业级精准搜索业务

1.3 BM25 整体工作流程

流程说明

1. BM25 先计算每个搜索词的稀有度权重（IDF）
2. 再计算词在文档中的出现频率（TF）
3. 加入长度归一化，让短字段权重更高
4. 对 TF 做饱和限制，避免关键词重复导致分数虚高
5. 最终生成相关性分数，完成排序

二、BM25 算法核心公式与组成部分

ES 中使用的是BM25 标准公式，结构清晰、可解释性强：

2.1 BM25 核心公式

Score = Σ( IDF(q) * TF(d,q) * (k1 + 1) / ( TF(d,q) + k1 * (1 - b + b * |d| / avgdl ) ) )

2.2 公式中 5 大核心组件

1. IDF(q)
   逆文档频率，代表查询词的稀有程度，越稀有的词权重越大。
2. TF(d,q)
   词频，代表查询词在文档中出现的次数。
3. k1
   词频饱和系数（ES 默认 1.2），控制词频对分数的影响上限。
4. b
   长度归一化系数（ES 默认 0.75），控制文本长度对分数的影响。
5. |d| / avgdl
   文档长度 / 平均文档长度，用于短文本加权。

三、传统 TF-IDF 算法回顾

TF-IDF 是最经典的检索算法，由两部分组成：

3.1 TF-IDF 公式

Score = TF(q,d) × IDF(q)

• TF：词在文档中出现次数越多，分数越高
• IDF：词在全库中越少，分数越高

3.2 TF-IDF 的致命缺陷

1. 词频无上限，会无限增长
   关键词重复越多，分数越高，容易被恶意刷词干扰。
2. 不考虑文档长度
   长文章容易因为词多而排名虚高。
3. 无饱和机制
   词频达到一定次数后，相关性不再提升，但分数仍在涨。
4. 长文本权重过高
   正文长文本分数 > 标题短文本，不符合搜索习惯。

四、BM25 相比 TF-IDF 的 5 大核心改进（重点！）

BM25 完全解决了 TF-IDF 的缺陷，这也是 ES 官方切换默认算法的根本原因。

改进 1：词频 TF 具有饱和机制（最核心改进）

• TF-IDF：词频越高，分数无限上涨
• BM25：词频达到一定阈值后，分数不再增长，趋于平稳
• 效果：避免关键词堆砌导致排名异常，搜索更公平

改进 2：加入文档长度归一化

• BM25 会判断文档是长还是短
• 文档越短，权重越高
• 效果：标题（短）匹配 > 正文（长）匹配，符合人类搜索习惯

改进 3：IDF 计算更平滑、更稳定

• BM25 优化了 IDF 公式，避免极端值
• 对高频词、低频词的权重分配更合理

改进 4：可调节参数（k1、b），业务适配性更强

• k1：控制词频影响程度
• b：控制长度归一化强度
• 可根据业务场景动态调优，TF-IDF 不支持

改进 5：抑制长文本虚假相关性

• TF-IDF：长文章容易因为词多排第一
• BM25：自动降低长文本权重，避免“水文章”排在前面

五、BM25 与 TF-IDF 全方位对比表

六、如何在 ES 中查看/配置 BM25 参数？

6.1 查看索引默认相似度算法

GET/your_index/_settings?include_defaults=true

结果中会显示：

"similarity": { "default": "BM25" }

6.2 自定义 BM25 参数（高级调优）

PUT/my_index{"settings":{"index":{"similarity":{"default":{"type":"BM25","k1":1.2,"b":0.75}}}}}

• 标题类短字段：b调小（如 0.5）
• 正文类长字段：b调大（如 0.8）

七、为什么 ES 一定要替换成 BM25？

1. TF-IDF 太容易被作弊：重复关键词就能刷排名
2. BM25 更符合真实搜索习惯：标题匹配优先、短文本优先
3. 长文本不会虚高：大幅提升搜索体验
4. 工业级标准：全球所有主流搜索引擎都使用 BM25

八、总结

BM25 是基于概率模型的新一代相关性检索算法，是 TF-IDF 的全面升级版，也是 Elasticsearch 5.x 之后的默认算分核心。

它保留了 TF-IDF 的词频、稀有度思想，同时新增词频饱和、长度归一化、可调参数三大核心能力，彻底解决了 TF-IDF 的缺陷，让搜索结果更精准、更稳定、更符合用户习惯。

对于搜索开发工程师而言，理解 BM25 是进阶 ES 高手、优化搜索相关性、解决排序问题的必备基础。

总结

1. BM25是 ES 5.x+ 默认相关性算分算法，基于概率模型
2. BM25 继承 TF-IDF 思想，但解决了其所有缺陷
3. 最关键改进：词频饱和机制 + 文档长度归一化
4. 优势：排序精准、抗干扰、可调参、适合生产环境
5. 结论：现代搜索引擎已全面抛弃 TF-IDF，全面使用 BM25