一次生产故障完整复盘：Linux 排查全流程实录
文章目录
- 引言
- 一、故障全览：时间线与因果链
- 二、逐阶段深入：每个决策背后的原理
- 阶段一：CPU 飙升——先确认热点进程
- 阶段二：内存增长——区分正常缓存与泄漏
- 阶段三：OOM Kill——理解选择逻辑
- 阶段四：磁盘写满——理解写入在哪里发生
- 阶段五：SSH 失联——控制台是最后的安全网
- 阶段六：数据抢救——先保现场，再救数据
- 三、根因分析：为什么从一条慢查询蔓延到系统瘫痪
- 四、改进清单：每一项对应根因链上的一个断点
- 五、复盘工具链：按场景整理
- 六、知识串联：这篇文章整合了前面哪些内容
- 总结
引言
某台跑着 MySQL + Nginx 的 CentOS 7 服务器，凌晨 03:17 收到 Zabbix 告警——CPU 使用率瞬间破 90%。从登录服务器到服务完全恢复，一共用了 47 分钟。这 47 分钟里，CPU 飙升只是开场，内存泄漏是推手，OOM Kill 触发了连锁反应，磁盘写满导致远程连接彻底断开，最后靠 IPMI 控制台才挤进服务器救出数据。
前面十三篇文章拆开了讲 CPU、内存、IO、网络、systemd、安全加固的知识点。这一篇把它们串起来：每个决策都有时间窗口的压力，没有机会回头重来。
一、故障全览：时间线与因果链
先建立整体视图，理解这条链才能明白每一步为什么要那样走。