生产事故止血：先缩小影响面，再追根因
生产事故止血：先缩小影响面，再追根因
一、事故现场最怕一边排查一边扩大损失
生产事故发生时，大家很容易急着找根因。日志翻一堆，监控看一屏，群里不断猜。问题是，根因分析需要时间，用户影响却在持续扩大。事故处理第一步不是写出完美解释，而是止血。
止血的目标是缩小影响面：降级、限流、回滚、切流量、关闭开关、暂停任务。先让损失别继续扩大，再慢慢查根因。这个顺序很朴素，但事故现场最容易忘。
我经历过一次记忆深刻的事故：凌晨 1 点报警响了，错误率飙升。三个人同时开始翻日志——一个人在查数据库慢查询，一个人在查最近发布记录，一个人在群里问"有没有人改过配置"。四十分钟过去了，错误率从 3% 升到了 15%，用户已经在社交媒体上开骂。最后是运维在群里说了一句"要不先把那个新功能开关关掉？"关掉后，错误率 2 分钟恢复到正常水平。根因是两天后复盘才查清的——某个缓存批量刷新任务和查询请求产生了竞争。但这个根因并不需要在那四十分钟里查出来。止血和根因分析是两个阶段的事，放在一起就是在耽误时间。那次之后我们定了规矩：事故发生后前 10 分钟只做止血动作，谁查根因谁就是在耽误抢救。
二、止血动作要按风险从低到高排列
低风险动作优先，比如关闭新功能开关、降低后台任务并发、切回旧配置。高风险动作如数据库回滚、批量修数据，要更谨慎。
flowchart TD A[事故告警] --> B[确认用户影响] B --> C[选择低风险止血] C --> D{影响是否下降} D -->|是| E[进入根因分析] D -->|否| F[升级止血动作] F --> G[回滚或切流量] G --> E每个止血动作都要有验证指标。动作做了，错误率是否下降，延迟是否恢复，投诉是否减少。没有验证，就不知道是不是有效。止血不是凭直觉操作——它是有假设、有验证的工程动作。
三、提前准备止血开关
止血不能全靠临时改代码。关键能力要提前准备开关和回滚路径。
type KillSwitch struct { Name string Enabled bool Reason string } func ShouldBypassAI(sw KillSwitch) bool { return sw.Enabled && sw.Name == "ai_generation_bypass" }开关要有审计。谁开的，为什么开，什么时候关。临时开关最怕开了没人记得关。建议给所有开关设置"最长开启时间"——72 小时自动报警提醒，7 天自动恢复。止血开关是应急手段，不是长期降级方案。
四、止血期间也要保留证据
回滚、重启、清缓存都可能破坏现场证据。止血前后要保存关键日志、指标截图、配置版本和变更记录。否则事故恢复了，复盘却没材料。
还要明确指挥。事故群里如果每个人都在发命令，很容易互相覆盖。一个人负责决策，一个人负责操作，一个人负责记录，效率会高很多。这个角色分配不是"更正规"，而是"更快速"——没有指挥的团队在事故现场的表现往往是一群人各忙各的，没有人看整体。
最后，根因分析不要在止血前抢戏。系统还在流血时，争论"到底是谁的锅"没有意义。先保护用户，再保护现场，最后再写复盘。
止血动作要有预案等级。一级动作可以由值班直接执行，比如关闭非核心开关；二级动作需要负责人确认，比如回滚主版本；三级动作涉及数据修复或大范围切流量，要进入事故指挥流程。权限和责任提前写清，现场才不会卡住。
还要保留反向操作。打开限流后怎么恢复，切到备用集群后怎么切回，关闭功能后如何验证重新开启。很多事故恢复后留下半套临时配置，下一次问题就从这里开始。
止血不等于沉默。对外状态页、客服话术、内部同步都要跟上。技术动作缩小影响，沟通动作降低误解。用户不需要知道所有细节，但需要知道系统正在恢复。客服话术提前准备好，事故时不用现场编，直接粘贴。
最后，复盘要检查止血速度。根因当然重要，但从告警到确认影响、从确认到执行止血、从止血到恢复，这些时间更能反映工程成熟度。很多团队复盘只分析根因，不分析响应速度，下次事故发生时该慢还是慢。
止血动作也要演练。开关能不能生效、回滚脚本有没有权限、备用链路是否还活着，不能等事故时才验证。演练不需要大张旗鼓，小范围定期跑一遍关键动作就能发现很多坑。很多团队不是没有预案，而是预案里的步骤第一步就执行不了。
数据类事故要更谨慎。接口错误可以限流，数据写错不能随便批量修。先冻结写入、备份现场、确认影响范围，再设计修复脚本。修数据前必须有回滚方案和抽样校验。
止血清单要写进 Runbook。事故现场不要靠人临时想。Runbook 里列出可用开关、负责人、风险等级和验证指标，执行起来才不会乱。
止血动作还要有时间预估。降级后预计多久恢复、回滚后多久生效、切流量后多久全部迁移。有时你以为已经止血了，实际只是新配置还没生效。验证不是看"动作做了没有"，而是看"指标降了没有"。
五、总结
生产事故处理要先止血，再追根因。按风险选择降级、限流、回滚、切流量等动作，并用指标验证效果。提前准备开关和回滚路径，止血期间保留证据。事故现场不需要英雄故事，需要能缩小影响面的工程动作。好的止血能力不是聪明人的临场发挥，而是提前准备的预案被冷静地执行。