线上生产系统 OOM 监控、定位与解决全流程

线上生产系统 OOM 监控、定位与解决全流程

#（生产实战版 · 可直接当架构笔记/面试手册）

一、OOM 常见表现

1. 应用突然CPU 飙升/波动大
2. FullGC 频繁，单次耗时很长
3. 接口大量超时、拒绝服务
4. 日志出现java.lang.OutOfMemoryError
5. 容器/机器内存持续上涨不回落
6. 线程死锁、死循环导致内存暴涨

常见 OOM 类型：

• Java heap space（堆溢出，最多）
• GC overhead limit exceeded（GC 太忙，回收不回来）
• Direct buffer memory（堆外内存）
• Metaspace（元空间溢出，类太多）
• Unable to create new native thread（线程太多）
• Out of swap space（机器物理内存耗尽）

二、事前监控（必须做，预防 > 定位）

1. JVM 监控指标（必监控）

• 堆内存使用量（Old/Eden/Survivor）
• FullGC 次数、耗时
• YGC 次数、耗时
• 堆外内存使用
• 线程数 / 活跃线程数
• 类加载数量
• GC 停顿时间

2. 常用监控工具

• Prometheus + Grafana（指标大盘）
• Arthas（线上实时诊断）
• jprofiler/YourKit（离线分析）
• ELK（日志异常关键字告警）
• SkyWalking/Pinpoint（APM 全链路）

3. 必须开启的 JVM 参数

# 发生 OOM 时自动导出 dump-XX:+HeapDumpOnOutOfMemoryError-XX:HeapDumpPath=/data/jvm/dump/# 打印 GC 日志-Xloggc:/data/jvm/gc.log