Prometheus CPU 飙升 PromQL 排查思路
如果node_cpu_seconds_total计算的值是正常的，这就说明数据源本身没问题，问题很可能出在Prometheus查询和聚合逻辑上。既然原始指标是正常的，但最终图表显示所有VM CPU 100%，就需要重点排查几个关键点：
🎯 核心问题定位
1. 检查当前使用的PromQL（最可能的问题点）
请分享你现在使用的CPU使用率查询语句，很可能存在以下问题：
常见错误写法：
# 错误1：没有按时间范围聚合 (1 - avg by (instance) (node_cpu_seconds_total{mode="idle"})) * 100 # 这样会直接使用瞬时值，而不是变化率 # 错误2：rate() 函数使用不当 100 - (avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[1m]))) * 100 # 如果数据采集有间隔，短时间窗口可能不稳定 # 错误3：聚合维度错误 100 - avg(rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100 # 没有按instance聚合，可能把空闲CPU平均后得到错误结果正确写法应该是：
# 标准CPU使用率计算公式 100 - (avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100)2. 快速验证方法
在Prometheus UI中执行以下查询，对比结果：
# 查询1：查看各个mode的真实分布 sum by (mode, instance) (rate(node_cpu_seconds_total[5m])) # 这个查询会显示每个实例在不同CPU mode下的时间占比 # 正常情况下，idle应该是最大的，其他mode（user, system, iowait等）总和应该很小如果idle显示正常（比如95%+），但其他mode加起来很小，说明：
- 可能是
mode="steal"（虚拟化环境中的CPU争用）异常高 - 或者某个mode被错误地排除在计算之外
3. 检查Grafana面板设置
如果是在Grafana中看到的异常，检查：
面板配置检查清单：
- 查询类型：确保是"Range"而不是"Instant"
- 时间范围：检查是否设置了过短的时间范围
- 步长(Step)：如果step设置太大，可能会导致数据点稀疏，Grafana会进行插值，可能产生错误曲线
- Legend格式：检查是否所有instance都正确显示
4. 验证其他相关指标
看看这些指标是否也异常：
# 检查系统负载（如果CPU真的100%，负载应该很高） node_load1 # 检查CPU等待时间（如果CPU真的100%，这个应该很低） rate(node_cpu_seconds_total{mode="iowait"}[5m]) * 100 # 检查CPU steal时间（如果是虚拟化环境） rate(node_cpu_seconds_total{mode="steal"}[5m]) * 1005. Grafana特有的问题
有时是Grafana的配置问题导致显示异常：
可能的情况：
- 面板使用了错误的单位：比如用了"percent"但实际数据是0-1的范围
- 数据转换问题：检查Transform选项卡，看是否有不必要的转换
- 查询缓存：尝试刷新Grafana缓存或使用无缓存模式查看
🚀 快速诊断步骤
- 执行这个诊断查询：
# 查看各mode的真实分布 sum by (mode) (rate(node_cpu_seconds_total[5m]))如果看到idle明显很高（>95%），但图表显示CPU 100%，那100%是查询语句问题。
- 检查steal time：
如果是虚拟化环境，stealmode过高可能导致CPU计算偏差：
# 查看steal time rate(node_cpu_seconds_total{mode="steal"}[5m]) * 100如果steal time突然飙升，说明宿主机资源竞争严重，但虚拟机实际负载并不高。
- 对比两个查询：
# 查询A：你当前使用的（错误的） 你的当前查询 # 查询B：标准正确的 100 - (avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100)在Prometheus UI中同时运行，对比结果。
💡 最常见的解决方案
如果发现是查询语句问题，修正为：
# 最终推荐使用的CPU使用率公式 (100 - (avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100))或者更完整的版本（包括所有非空闲模式）：
100 - (avg by (instance) ( rate(node_cpu_seconds_total{mode="idle"}[5m]) ) * 100)