被告警吵醒太多次，我做了个让告警自动修复的监控工具

被告警吵醒太多次，我做了个让告警自动修复的监控工具

标签：运维 / 监控 / AIOps / DevOps / 开源
分类：运维
摘要：一个人管着好几台服务器、每周至少被叫醒一次——这是独立开发者和小团队的真实处境。本文介绍开源项目 VigilOps：如何用 AI 根因分析 + 自动修复 Runbook，把凌晨告警从"手动排查30分钟"变成"2分钟自动处理"。

写给一个人管着好几台服务器、每周至少被叫醒一次的你。

那个熟悉的夜晚

手机震动。

不是闹钟，是告警。

你眯着眼睛看屏幕：CPU 使用率 95%，nginx 响应超时。时间：凌晨 3:17。

你爬起来，打开电脑，ssh 上去，top 一看，几个进程占着资源，但说不清为什么。tail -f /var/log/nginx/error.log，日志刷得飞快，里面有报错，但报错指向另一个服务。你去看那个服务的日志，又发现它在等数据库连接。数据库呢？连接池满了。

二十分钟过去了。你重启了几个服务，告警消了。

你不知道根本原因是什么。你只知道重启有用。

你关上电脑，躺回床上，脑子还是转着。明天还要上班。

这不是意外，这是你的日常。

监控工具的本质局限

我用过 Grafana、Zabbix、Prometheus，这些工具都挺好。Grafana 的图表漂亮，Prometheus 的数据采集稳定，Zabbix 配置灵活。

但它们有一个共同点，也是一个共同的局限：

它们告诉你哪里坏了，不告诉你为什么坏，更不告诉你怎么修。

你盯着 Grafana 的折线图，看到 CPU 在某个时间点突然飙升。然后呢？你打开终端，开始猜。