Agent 一接告警平台就开始重复升级故障：从 Incident Lease 到 Escalation Dedup 的工程实战

很多团队把告警 Agent 的问题归因到模型不够聪明，真正把值班同学逼疯的，往往不是误判，而是同一故障被重复升级。一次数据库抖动，Agent 在 3 分钟里连开 4 次升级流程，群里消息刷屏，值班电话重复打，最后人反而不敢再信系统。⚠️ 根因通常不在推理，而在升级动作缺少执行所有权。

告警平台接入 LLM 或规则 Agent 后，链路会变长：抓告警、查上下文、判断等级、派单、升级、回写状态。很多系统已经有incident_id，却依旧会重复升级，原因在于事件标识存在，不等于执行所有权存在。同一事件在重试、并发消费者、人工回写、Webhook 重放下，都可能让多个执行流同时认为“现在该我升级了”。📌

问题不是升级逻辑，而是升级权没有被占住

很多实现只做两件事：查当前状态，若仍未恢复就调用升级接口。这种写法在生产里会暴露竞态。两个 Worker 同时读到pending_escalation，都触发升级；或者第一次升级成功后，回写状态慢了 2 秒，第二次重试又把同一事件升级一遍。🧨 如果没有带过期时间的 ownership 机制，Agent 就只能靠运气避免重入。

更糟的是，告警平台本身也会放大重复。Webhook 重放、消息队列 at-least-once、人工补点，都会制造多条“合法请求”。这里真正需要的不是更复杂的 prompt，而是Incident Lease + 结果账本：先拿租约，再执行升级；执行后记录 outcome，后续相似动作只能读账本。🛡️

一套能落地的防重升级方案

先把执行权单独建模。每次 Agent 尝试升级故障前，不是直接调 API，而是先对incident_id + escalation_level申请一把短租约，TTL 常设成 90 到 180 秒。拿到租约的执行流，才允许继续调用。🔒

lease_key=f"incident:{incident_id}:level:{target_level}"lease=kv.acquire_lease(lease_key,owner=run_id,ttl=120)ifnotlease.acquired:return{"status":"skipped","reason":"lease_held"}outcome=ledger.lookup(lease_key,window="30m")ifoutcomeandoutcome["status"]=="sent":return{"status":"deduped","ticket":outcome["ticket_id"]}result=pager.escalate(incident_id=incident_id,level=target_level)ledger.record(lease_key,status="sent",ticket_id=result.ticket_id)

关键不只是acquire_lease，而是租约和账本都以“升级目标”作为幂等键。否则同一故障从 L1 升到 L2、再升到 L3 时，系统会把正常升级也误判成重复。✅

值班平台最好把三类状态显式展示出来：lease_held、deduped、sent。这样值班同学一眼就能知道，这次没有再次升级，而是系统认定它已经做过。👀

深度思考：很多 Agent 事故其实是状态机事故

笔者认为，告警 Agent 最容易被误诊成“模型乱决策”，但大量线上故障最后都落在状态机设计太松。模型判断是否升级，最多决定方向；真正让事故扩大的，是系统没有定义谁有资格升级、升级过没有、多久内不该再升。🧭 把这三件事补齐后，即便模型偶尔多想一步，系统也会把副作用拦在外层。

接下来 3 到 6 个月，Agent 接入值班和运维平台会越来越常见，但成熟产品不会再只强调自动研判，而会把lease、幂等账本、回放审计、人工接管边界一起做成标配。📈 对团队来说，优先级不该是“让 Agent 更积极升级”，而是“让每一次升级都只发生一次”。

写在最后

告警 Agent 真正难的不是触发升级，而是在混乱时刻仍然只升级一次。如果一套系统还没有 Incident Lease、升级去重窗口和结果账本，它离稳定值班还差最后一道硬门槛。💡 你们的告警平台现在是如何避免重复升级的？欢迎在评论区聊聊踩过的坑；如果这篇文章对你有帮助，也欢迎点赞、收藏、关注。