当前位置：首页 > news >正文

RAG（三）检索（1）关键词检索（BM25）

news 2026/4/28 13:41:02

关键词检索（BM25）

1、api

api接口

BM25Okapi

调参

BM25 最核心的参数是这几个：

参数	含义	影响
k1	控制词频饱和程度	越大，词频重复出现的影响越明显
b	控制文档长度惩罚	越大，长文档惩罚越明显
discount_overlaps	是否忽略重叠 token	处理同义词、叠加 token 时很有用

k1

默认值通常是 1.2
控制“同一个词重复出现多次”时的加分程度
k1 越大，重复词的影响越强
k1 越小，重复词的边际收益越快饱和

b

默认值通常是 0.75
控制文档长度归一化
b = 0 时基本不做长度惩罚
b = 1 时长度惩罚更强

一般来说：

标题、名字、短字段：b 可以适当大一点
长文档：b 不要过大，否则容易过度惩罚

discount_overlaps

这个参数在 Lucene / Elasticsearch 里比较常见。
如果文本分析器产生了重叠 token，比如同义词扩展、叠加 token，是否把这些 token 算进文档长度，就由它控制。

demo

import jieba from rank_bm25 import BM25Okapi corpus = [ "苹果有什么营养", "苹果手机电池怎么保养", "水果营养成分表" ] tokenized_corpus = [jieba.lcut(doc) for doc in corpus] bm25 = BM25Okapi(tokenized_corpus) query = "苹果的营养价值" tokenized_query = jieba.lcut(query) top_docs = bm25.get_top_n(tokenized_query, corpus, n=2) print(top_docs)

['苹果手机电池怎么保养', '苹果有什么营养']

2、倒排索引存储在哪里

可以是Elasticsearch / OpenSearch / Lucene 这类系统

使用步骤

1、切片

BM25 不要求你必须切片，但实际项目里通常会切，因为：

整篇文档太长，检索粒度太粗
章节/段落更容易命中
返回上下文更精准

{
"doc_id": "info.md",
"chunk_id": "info.md_0001",
"section_title": "登录流程",
"content": "用户输入账号密码后进行验证码校验。"
}

2、写入索引

字段	作用
doc_id	原始文档标识
chunk_id	片段标识
file_name	文件名
section_title	章节标题
content	要检索的正文
tags	可选标签
path	文件路径或来源路径

其中最关键的是 content，因为 BM25 主要就是对这个文本字段做词项匹配和打分。

可以分成 3 类来看：

数据	存什么	存在哪
原文	info.md 的正文、标题、元数据	_source、stored fields、业务库、文件系统
倒排索引	分词后的 term、doc id、词频、位置、归一化信息	Lucene 的索引文件里
BM25 参数	k1、b、discount_overlaps	索引配置 / similarity 配置

Elasticsearch 官方文档说明了，text / keyword 字段支持 similarity，默认就是 BM25。
倒排索引里会保存文档编号、词频、位置等信息，BM25 依赖这些信息来打分。
Lucene 的 codec 体系则负责把 postings lists、norms、stored fields 等索引数据编码到磁盘文件中。
而 Elasticsearch 的索引数据则写在节点的 path.data 目录里。