ES|QL 近似查询：百倍加速背后的优化原理与实践指南
在大数据分析领域，速度与精度往往难以兼得。Elasticsearch 查询语言（ES|QL）即将在 9.4 版本中引入一种革命性的优化策略——近似查询。它通过放宽结果必须精确的约束，实现了数十甚至上百倍的性能提升，尤其适合 LLM Agent 工作流与实时仪表盘场景。本文将深入剖析其语法、实现原理、性能表现及最佳实践，帮助你快速上手这一强大特性。
[AFFILIATE_SLOT_1]为什么需要近似查询？
在 Elasticsearch 中，STATS 命令允许你对海量数据进行聚合与分组，本质上是执行 MapReduce 操作。然而，当数据集达到数亿行时，精确计算的开销会急剧上升。近似查询的核心思想是：放弃绝对精确，换取与数据规模解耦的性能。其精度主要取决于数据特征与查询本身，而非原始数据量。
对于使用 Go、Java、Python、TypeScript 或 C++ 构建数据管道的开发者而言，这意味着你可以将原本需要数秒的聚合查询压缩到毫秒级，而误差仍在可控范围内。
️ 语法与行为：一行代码开启加速
启用近似查询极其简单——只需在查询前添加一行配置：
SET approximation=true;
// The query you want to approximate
FROM data | commands | STATS x=agg(...) | commands之后，像往常一样编写 STATS 管道即可。系统会自动为每个聚合结果附加额外列：
- _approximation_confidence_interval(count)：默认表示中心 90% 置信区间。
- _approximation_certified(count)：标记结果是否通过统计检验，即分布是否符合预期。
以下是一个具体示例，展示精确查询与近似查询的差异：
FROM sales | WHERE @timestamp >= NOW()-1w| STATS count = COUNT() BY item_category| SORT count DESC| LIMIT 5精确结果可能如下：
item_category | count
---------------------+------
Household Essentials | 5165
Kitchen | 2132
Storage | 1121
Home Decor | 877
Furniture | 357启用近似后，结果会变为：
item_category | count | _approximation_confidence_interval(count) | _approximation_certified(count)
--------------+-------+-------------------------------------------+--------------------------------
Essentials | 5150 | [5100, 5250] | true
Kitchen | 2150 | [2100, 2200] | true
Storage | 1120 | [1100, 1150] | true
Home Decor | 880 | [860, 900] | true
Furniture | 330 | [310, 350] | true可以看到，count 变成了估计值，并附带了置信区间与认证标识。未被认证的结果通常仍然准确，但其统计特性尚未通过验证。
⚙️ 实现原理：采样 + 外推 + Bootstrap
近似查询的执行流程分为三步：
- 随机采样：通过
number_of_rows参数确定采样比例，仅处理部分数据。 - 外推放大：使用采样概率的倒数对聚合结果进行放大，得到点估计值。
- 置信区间计算：采用偏差校正并加速的 Bootstrap（BCa）方法，将数据分为 B 个桶，依次计算区间。
重写后的查询大致如下：
FROM sales | SAMPLE probability| WHERE @timestamp >= NOW()-1w| STATS count = TO_LONG(COUNT() / probability) BY item_category| SORT count DESC| LIMIT 5采样概率的计算方式为：
FROM sales | WHERE @timestamp >= NOW()-1w| STATS total_row_count = COUNT()| EVAL probability = number_of_rows / total_row_count而用于置信区间计算的近似查询结构为：
FROM sales | SAMPLE p| WHERE @timestamp >= NOW()-1w| EVAL bucketId = RANDOM(B) // B is the number of buckets| STATS count = TO_LONG(COUNT() / p)count_0 = TO_LONG(COUNT() / p) WHERE bucketId==0(...)count_B-1 = TO_LONG(COUNT() / p) WHERE bucketId==B-1BY item_category| WHERE count >= 10| SORT count DESC| LIMIT 5| EVAL ci = CONFIDENCE_INTERVAL(count, count_0, ..., count_B-1),certified = CERTIFIED(count, count_0, ..., count_B-1)| DROP bucketId, count_0, ..., count_B-1⚠️ 注意：如果查询可以通过索引汇总统计信息直接计算（例如某些简单计数），规划器会自动跳过采样，执行精确查询。这类查询的置信区间长度恒为 0，表示结果完全精确。
性能实测：ClickBench 上的极致加速
我们在 ClickBench 基准测试（约 1 亿行数据）上进行了验证。硬件配置为 Elastic Cloud Hosted 实例（4 vCPU，29GB 内存）。结果分为四类：
| 类别 | 描述 | 加速倍数 |
|---|---|---|
| 1️⃣ 索引重写 | 使用汇总统计信息，结果精确 | 等价（开销约 10-15%） |
| 2️⃣ 表现优异 | 快速且准确 | 平均 23×（含置信区间），72×（仅点估计） |
| 3️⃣ 高基数分区 | 快速但可能遗漏分区 | 平均 11× |
| 4️⃣ 严格过滤 | 略慢于精确查询 | 慢约 14%（绝对耗时 370ms） |
| 查询 | 基线 / 毫秒 | 带 CI 的近似 / 毫秒 | 不带 CI 的近似 / 毫秒 |
|---|---|---|---|
| 3 | 1725 | 145 | 15 |
| 10 | 4340 | 1721 | 56 |
| 13 | 32912 | 6106 | 3821 |
| 21 | 46739 | 3284 | 2139 |
| 22 | 252505 | 6478 | 5019 |
对应查询示例：
// Query 3
FROM hits | STATS s = SUM(AdvEngineID),c = COUNT(*),a = AVG(ResolutionWidth)
// Query 10
FROM hits | STATS s = SUM(AdvEngineID),c = COUNT(*),a = AVG(ResolutionWidth) BY RegionID| SORT c DESC| LIMIT 10
// Query 13
FROM hits | WHERE SearchPhrase != ""| STATS c = COUNT(*) BY SearchPhrase| SORT c DESC| LIMIT 10
// Query 21
FROM hits | WHERE URL != ""| STATS l = AVG(LENGTH(URL)), c = COUNT(*) BY CounterID| WHERE c > 100000| SORT l DESC| LIMIT 25
// Query 22
FROM hits | WHERE Referer != ""| GROK Referer """%{URIPROTO}://(?:www\.)?%{URIHOST:k}"""| WHERE k IS NOT NULL| STATS l = AVG(LENGTH(Referer)), c = COUNT(*) BY k| WHERE c > 100000| SORT l DESC| LIMIT 25以下是查询 13 中精确值与近似值的对比效果：
| 查询 | 基线 / 毫秒 | 带 CI 的近似 / 毫秒 | 不带 CI 的近似 / 毫秒 |
|---|---|---|---|
| 15 | 8256 | 1187 | 124 |
| 17 | 70641 | 2109 | 982 |
对应查询示例：
// Query 15
FROM hits | STATS c = COUNT(*) BY UserID, SearchPhrase| SORT c DESC| LIMIT 10
// Query 17
FROM hits | EVAL m = DATE_EXTRACT("minute_of_hour", EventTime)| STATS c = COUNT(*) BY UserID, m, SearchPhrase| SORT c DESC| LIMIT 10⚠️ 限制与最佳实践
目前不支持以下查询类型：
- 使用
TS、FORK或JOIN的查询 - 包含两个及以上
STATS命令的管道 - 聚合函数：
ABSENT、PRESENT、DISTINCT_COUNT、MIN、MAX、TOP、ST_CENTROID_AGG、ST_EXTENT_AGG
最佳实践：
- 如果查询过滤条件非常严格（匹配行极少），建议直接使用精确查询，避免采样开销。
- 对于高基数的
BY分组，可通过增加采样规模提升精度：
SET approximation={"rows":12345678};
FROM data | commands | STATS x=agg(...) | commands- 某些函数（如
SIN、COS）会改变数据分布，导致置信区间失去意义。此时认证标识会失效，建议谨慎使用。
高级用户也可直接使用 SAMPLE 命令获得点估计：
FROM data | SAMPLE 0.01 | STATS DISTINCT_COUNT(value)总结
ES|QL 近似查询通过智能采样与统计外推，在保持结果可用的前提下实现了 10-250 倍 的性能提升。其精度与数据集大小无关，尤其适合大规模聚合与实时分析场景。只需一行 SET approximation=true;，即可在 Go、Java、Python、TypeScript 或 C++ 驱动的数据管道中享受这一优化。下一篇文章将深入探讨其理论基础与统计验证，敬请期待。