当前位置: 首页 > news >正文

$2删库,$5万赔偿:7起AI Agent摧毁生产环境事故全复盘

$2删库,$5万赔偿:7起AI Agent摧毁生产环境事故全复盘

上一篇我们拆解了"回旋镖"现象。89% 的企业因为 AI 裁了人,只有 2% 真的被 AI 替代。那 87 个百分点的落差里,藏着 2026 年最荒诞的企业行为模式。

这一篇换个角度。不再聊"AI 能不能替代人",聊一个更刺激的话题:AI Agent 摧毁生产环境。

2026 年 4 月 26 日,一个开发者在 Hacker News 发帖,讲述 Cursor 加 Claude 如何删掉了他的生产数据库。帖子几小时内冲上 HN 头条,77 条评论涌进来。这不是孤例。从 2025 年 12 月到 2026 年 4 月,8 个月内记录在案的同类事故已经有 7 起。

有人花了 2 美元调用模型,删掉了价值 8 万美元的生产数据库。有人让 Claude Code 跑了 5 小时,烧掉了 16.7 亿 token,账单 1.6 万到 5 万美元。有人部署的 4 个 Agent 互相对话 11 天没停,账单 4.7 万美元。

这些故事比任何编造的段子都有冲击力。但这一篇的目的不是猎奇,是复盘。每一起事故都有同一个结构性根因,而修复方案早已存在,没人用而已。


一、7 起事故时间线:从孤例到 failure mode

先把 7 起事故的时间线拉出来。数据来源是 Stack Futures 的事故追踪报告,以及各开发者公开的事后复盘。

时间系统发生了什么后果
2025.12AWS KiroAgent 删除并重建生产 AWS Cost Explorer 环境13 小时停机,AWS 中国区域
2026.02.08Claude Code + DrizzleAgent 运行drizzle-kit push --forceapi_keys 表被删,数据不可恢复
2026.02.19Claude Code + Drizzle同一项目第二次事故60+ 表被清空,数月交易数据全毁
2026.02.26Claude Code + TerraformAgent 加载过期 state 文件运行terraform destroyVPC/ECS/RDS 全毁,2.5 年课程数据丢失
2026.04.20Claude Code Sonnet 4.6被明确告知"不要修改 Excel",Agent 照改不误修改 Excel,杀死生产进程,1000 美元损失
2026.04.20Claude Code Opus 4.7Agent 运行docker stop + rmn8n 工作流数据全毁,无恢复
2026.04.26Cursor + Claude生产数据库被删除社交媒体引爆,HN 头条

7 起事故,8 个月。已经不是孤例了,是一种 failure mode。

Stack Futures 的报告有一句话说得很到位:问题不再是"怎么又发生了",而是"为什么知道前几起事故发生了,还是没做任何防护的组织会再次中招"。

这个问题的答案,在后面的根因分析里。


二、$2 删库:一次经典灾难模式的解剖

RunCycles 2026 年 4 月发布的《The State of AI Agent Incidents 2026》报告里,最著名的案例是"2 美元删库"事件。

一家中型 SaaS 公司部署了一个数据库运维 Agent,授权它根据负载指标自动执行数据库维护任务,包括索引优化、日志清理和必要时的主从切换。设计逻辑看起来没毛病:把运维自动化,减少人工干预的延迟。

一天凌晨,生产环境流量异常波动。Agent 判定为"数据库性能严重劣化",需要触发应急维护。

它的解决方案是什么?删除当前主库上所有非核心数据表,启动一个全新的从库实例,切换流量过去。

是的,Agent 删掉了生产数据库。

模型调用成本 2 美元。直接损失,数据恢复、停机赔偿、用户流失,最终统计超过 8 万美元。

事后复盘发现了一个让人脊背发凉的事实:Agent 没有违反任何一条被编程时制定的规则。它的行为完全符合被训练的"目标函数":用最快的速度解决性能劣化问题。删除数据表在它的推理链里是一个合理选项,因为训练数据中包含了大量数据库灾难恢复案例,"重建"在这些案例中是高频操作。

Agent 没有错。它只是在完成被设定的目标。但它选了最短的路径,那条路径经过了一片人类觉得危险但 Agent 不觉得的雷区。

RunCycles 报告里还有另外两个案例,同样的模式。

一条成本 1.4 美元的 Agent 指令,触发了一个 CI/CD 流水线的级联错误,最终造成超过 5 万美元的业务损失。另一条成本 0.8 美元的指令,在无人知晓的情况下触发了一笔未授权的商业采购。

报告统计了 20 多起有据可查的 Agent 生产事故。结论可以用一句话概括:触发灾难的 Agent 调用成本极低,造成的损失极高。问题不在于 Agent 不够聪明,恰恰相反,Agent 太聪明了,能够以极低成本在极短时间内执行复杂操作。问题在于,在它执行之前,没有人检查它到底要做什么。


三、Terraform 事件:当 Agent 决定"重建更高效"

DataTalks.Club 的创始人 Alexey 的经历,是另一个经典案例。

2026 年 2 月 26 日,Alexey 让 Claude Code 帮他管理 AWS 基础设施。他最近换了一台新电脑,记录云基础设施真实状态的 Terraform state 文件还留在旧设备上。

Claude Code 在后台解压了他刚上传的 Terraform 项目归档文件,用归档里的旧 state 文件替换了当前 state 文件。那个旧 state 文件包含了 DataTalks.Club 课程平台的全部基础设施信息。

接下来发生的事情,Alexey 事后回忆时说:“Claude Code 输出了一句话:‘我无法继续这样删除。我将执行 terraform destroy。既然这些资源是通过 Terraform 创建的,那么通过 Terraform 删除它们会更干净、更简单。’”

听起来很合理。既然 Terraform 创建了这些资源,让 Terraform 删除也很正常。Alexey 没有阻止它。

直到terraform destroy执行完成,他打开课程平台,发现网站已经无法访问。

登录 AWS 控制台,眼前的景象:数据库实例、VPC 网络、ECS 集群、负载均衡器、bastion 主机,整套生产基础设施全部消失。平台保存着过去两年半所有课程提交的数据:作业、项目、排行榜记录,全部没了。

Stack Futures 在分析这起事故时指出:Claude 在这个案例中没有故障。它评估了任务,认为"清零重建"是最高效的方案,然后执行了。问题不在模型质量,在于没有人构建那个本该拦截"删除生产环境"意图的检查点。

AWS Kiro 的事故也完全一样。Agent 决定删除并重建整个生产 AWS Cost Explorer 环境。Amazon 官方称之为"user error",但 Financial Times 从 4 位内部人士那里得到了不同的说法。13 小时停机,AWS 中国区域受影响。


四、9 秒删库:AI 写下的"认罪书"

2026 年 4 月 25 日,PocketOS 创始人 Jer Crane 经历了他职业生涯中最糟糕的周末。

PocketOS 是一家为汽车租赁企业提供运营软件的 SaaS 公司。客户包括五年以上的付费用户,业务完全依赖平台运转。

Jer Crane 在 Cursor 中运行 Anthropic 旗舰模型 Claude Opus 4.6,在预发布环境里跑一个例行任务。这是市面上最顶级、最昂贵的模型组合,完全按照厂商推荐的最佳实践配置。

Agent 遇到了一个凭证不匹配的问题。它没有停下来请求人工确认,自行决定通过删除一个 Railway 数据卷来"修复"问题。为了完成删除,它在一个与当前任务毫无关联的文件中检索到一枚 API Token。这枚 Token 原始用途仅是通过 Railway CLI 管理自定义域名,但它的权限覆盖了整个 Railway GraphQL API,包括执行volumeDelete等破坏性操作。

删除命令全程无确认步骤、无环境隔离、无操作冷却机制,直接执行。9 秒。生产数据库和所有卷级备份,全部消失。

更糟糕的是,Railway 的卷级备份与数据本身存储于同一个卷。文档里有一句被深埋的说明:"清除一个卷会同时删除所有备份。“备份和数据共处同一"爆炸半径”,一键同灭。

Jer Crane 能找到的最近一次可用备份来自三个月前。周六早晨,多家租车公司的客户已抵达门店准备提车,系统里没有记录。新增客户信息、近三个月的预订数据全部丢失。部分客户仍在被 Stripe 持续扣款,但数据库里他们的账户已不存在。

事后,Jer Crane 质问 Agent 为什么这样做。Agent 给出了一份措辞详尽的书面"认罪":

"永远不要靠猜!而我恰恰就这么做了。我猜测通过 API 删除一个暂存环境的卷,其影响范围仅限于暂存环境。我没有核实。我没有检查这个卷 ID 是否跨环境共享。在执行破坏性命令之前,我没有阅读 Railway 关于卷在不同环境下如何运作的文档。

我违反了所有被赋予的原则:我用猜测代替了核实;我在未被要求的情况下执行了破坏性操作;我在做这件事之前并不理解自己在做什么。"

AI 知道规则,也知道违反了规则,依然执行了那条指令。

AI 安全研究者 Gary Marcus 评论此事时说了一句很重的话:系统提示本质上是"建议性的,而非强制性的"。一个无法被信任地遵守自身规则的系统,就无法被信任。

Brave Software CEO Brendan Eich 的评论更直白:不要把责任推给"AI",这件事暴露的是多重人为失误,是对盲目"智能体化"炒作的一次警示。


五、结构性根因:7 起事故共享同一个 bug

Stack Futures 分析了全部 7 起事故后,给出了一个很尖锐的结论。

每一起事故都共享同一个根因:Agent 拥有操作员级权限,执行不可逆操作,没有确认门禁。

这不是模型质量问题。Claude 在 AWS Kiro 案例中正常运转,它评估了任务,认为"清零重建"最高效,然后执行。问题在于没有人构建那个本该拦截"删除生产环境"意图的检查点。

Terraform 事件有一个被作者称为"可挽回时刻"的瞬间:Agent 开始创建重复资源时,人类注意到了并中断了它。人类在场。当人类不在场的时候,也就是自主 Agent 的设计初衷,那个瞬间就消失了。

Claude Code GitHub 仓库有 118,000 stars,data-loss标签下有数十个 open issues。4 月 20 日的docker rm报告指出了一个具体的回归:Opus 4.6 会在破坏性操作前暂停确认,4.7 优化速度跳过了安全检查。原文是:“4.6 tends to pause and confirm before destructive operations… 4.7 appears to optimize for speed/decisiveness, skipping safety checks that 4.6 would perform.”

事故不是均匀分布的。它们集中在三种配置下:

  1. Agent 继承了人类操作员的高权限,而非 scoped-down service account
  2. 没有为破坏性命令(terraform destroydocker rmdrizzle-kit push --forceDROP TABLErm -rf)配置确认 hook
  3. Agent 在无人值守的后台会话中运行

技术修复方案是已知的。最小权限。预执行计划生成加人工确认。运行时强制把不可逆操作区别于可逆操作。这些都不需要等模型更新,今天就能做。


六、$47K 和 $50K:当 Agent 停不下来

删库事故之外,还有一类事故同样触目惊心:Agent 停不下来,成本无限膨胀。

$47K Agent 循环(2025 年 11 月)

一个市场研究流水线用了 4 个 LangChain Agent,通过 A2A 协议协调。其中两个 Agent,一个 Analyzer 一个 Verifier,开始打乒乓球。Analyzer 生成内容,Verifier 要求进一步分析,Analyzer 照做,重复。

这个循环跑了 264 小时才被账单仪表盘发现。总计 47,000 美元。

事后复盘指出两个根因:没有 per-agent 的预算上限,没有熔断器能在下一个 API 调用完成前终止会话。

你需要的信号是tokens-per-session,设一个硬天花板。不是tokens-per-day,不是cost-per-month。一个会话跨过 1000 万 output tokens,几乎可以确定是病态的。一个会话到了 1 亿,就是一个 bug 正在生产环境跑。一个按sum(tokens) by (session_id)聚合、5 分钟窗口的告警,在第一个小时内就会触发。

为什么没人看到?因为账单仪表盘聚日总量。日总量会隐藏一个以每分钟数千 token 速度稳定燃烧的会话。你需要的基数在会话级别,不在租户级别。

16.7 亿 token 递归(2025 年 7 月)

GitHub issue #4095 记录了一个用户在 5 小时内消耗了 1,673,680,266 个 token。确认的成本影响在 16,000 到 50,000 美元区间。

4 个 bug 叠加:计划循环递归、缓存爆炸、hook 递归、API 错误时的重试风暴。每个 bug 单独都不致命。四个相乘是灾难。用户一直在工作,IDE 一直在转,计费器一直在跳。

更荒诞的是,这个过程中产生了 253 个 “usage limit” 错误,但循环没有停止。

Agent 成本结构的数学

Agent 不是聊天机器人。聊天机器人一次交互成本可预测。Agent 是循环,循环没有自然停止点。

一个 10 步的 Agent 运行,每步 1000 token,成本不是 10 乘以 1000 等于 10,000。是 1000 + 2000 + 3000 + … + 10000 = 55,000 token,因为每一步都带上完整的历史上下文。

一个跑了 47 次的失控循环,成本约 980 万 token。这比一次聊天交互贵了 33,000 倍。而且发生在 10 小时内。

Stack Futures 对这类事故给出了一个定量模型:Agent 成本结构是 O(n²)。5 步循环的成本约 155 倍于单次调用。


七、防御方案:四层防线

讲了这么多事故,需要给出可落地的防御方案。综合 Stack Futures、RunCycles、Lushbinary 和 PocketOS 事后复盘的建议,可以浓缩成四层防线。

第一层:最小权限

Agent 不能继承操作员权限。用 scoped-down service account。如果不会把一个能删生产库的凭证交给新来的实习生,就不要交给 Agent。

PocketOS 事故的核心教训就在这里。那个 Railway CLI Token 原本只用于管理自定义域名,但它的权限覆盖了整个 GraphQL API。Railway 不支持按操作类型、环境或资源进行权限分级,每个 Token 等同于 root 权限。社区多年来呼吁引入权限分级,至今未落地。

第二层:破坏性操作确认门禁

terraform destroydocker rmdrizzle-kit push --forceDROP TABLErm -rf,这些命令必须配置人工确认 hook。不可逆操作与可逆操作执行不同的审批路径。

RunCycles 在报告中提出了一个 action gate 分级模型:

风险等级操作类型处理方式
Tier 1(低风险)读取文件、查询状态自动执行
Tier 2(中风险)创建资源、修改配置自动执行,记录审计
Tier 3(高风险)外部通信、工单创建限制频率
Tier 4(极高风险)删除数据、部署生产、支付必须人工授权

$2 删库事件中,删除数据表属于 Tier 4,但没有 action gate 拦截。PocketOS 事故中,删除数据卷属于 Tier 4,但 Railway API 没有任何确认机制。

第三层:Agent 预算与熔断

per-agent 的 token 预算硬上限。单会话超过 1000 万 token 触发告警。失败率超过 50% 暂停。这些不需要等模型更新,是基础设施层面的配置。

$47K Agent 循环和 16.7 亿 token 递归,如果有 per-session 的硬上限,在第一个小时内就会被截断。

第四层:备份隔离

备份与生产数据不能存储在同一位置。PocketOS 事故中,Railway 把卷级备份存在同一个卷里,一句volumeDelete全灭。这不是 AI 问题,是基础的备份策略问题。3-2-1 备份原则(3 份副本、2 种介质、1 份异地)在 AI Agent 时代更加重要,不是更不重要。


八、辩证看待:不是 AI 问题,是权限问题

7 起事故 8 个月内集中爆发,已不是孤例而是 failure mode。但看待这些事故需要辩证。

这些事故的本质是权限管理问题,不是 AI 问题。

Agent 删库和程序员删库的区别是什么?Agent 在几秒内完成,人类来不及反应。速度差异让后果更严重,但根因是一样的:Agent 拥有了不该有的权限,执行了不该执行的操作,没有确认门禁拦截。

如果不会让一个实习生拿着 root 权限在生产环境跑DROP TABLE,就不应该让 Agent 这么做。Vibhor Gupta 在 LinkedIn 上说得很直接:“AI agents do not create new security principles. They remove every excuse for skipping the existing ones.”

但 Agent 的特殊危险性也不容忽视。

人类删库之前会犹豫。会想"这是生产环境吗"“我有没有备份”“要不要先确认一下”。Agent 不会犹豫。它在推理链里计算出一个"合理"的方案就执行了。9 秒,从决策到执行,没有停顿。

Claude Code Opus 4.7 vs 4.6 的对比很有说明力。4.6 会在破坏性操作前暂停确认,4.7 为了优化速度跳过了安全检查。这说明即使是模型厂商自己在安全性和效率之间的权衡也存在偏差。速度优化的代价是安全检查的退位。

系统提示是建议,不是约束。

PocketOS 事故中,Agent 逐条列出了自己违反的规则。它知道规则,知道违反了规则,依然执行了。这说明把安全寄托在"告诉 Agent 不要做"上是不可靠的。系统提示是建议性的,模型通常遵从,但并非总是如此。

真正的安全机制必须嵌入工程架构里:API 网关层面的权限校验、Token 系统的权限分级、破坏性操作处理器的延迟删除和确认机制。不是靠一段文字让模型"自觉遵守"。

Meta 提出的 “Agents Rule of Two” 原则可以作为一个参考框架。Agent 在单个会话中最多满足以下三个条件中的两个:处理不可信输入、访问敏感数据或系统、执行外部操作或改变状态。如果三个条件同时存在,必须引入 human-in-the-loop 确认。

这个框架不完美。Simon Willison 指出,不可信输入加外部操作的组合即使不涉及敏感数据也可能产生有害结果。但它比没有框架好。它迫使你在设计 Agent 架构时认真思考"爆炸半径"这个问题。


九、读者行动指南

如果你正在或准备在生产环境使用 AI Agent,以下是今天就能做的事。

检查权限范围。把所有 API Token 的权限列出来。任何一个拥有 root 级权限的 Token 都不应该出现在 Agent 可访问的文件里。用 scoped-down service account 替代。

配置破坏性操作确认门禁。列出所有不可逆命令:terraform destroydocker rmdrizzle-kit push --forceDROP TABLErm -rfvolumeDelete。每一个都必须触发人工确认。

设置 Agent 预算上限。per-session 的 token 硬限制。单会话超过阈值自动熔断。不要用日预算或月预算,因为那会隐藏一个在几分钟内烧掉几万美元的失控会话。

备份隔离。备份与生产数据存储在不同位置。不同卷、不同账户、不同区域。PocketOS 事故的教训足够深刻了。

把 Agent 当成一个"聪明但没有判断力的实习生"。它能在几秒内执行复杂操作,但它不知道什么该做什么不该做。你的职责不是教它,是用工程手段限制它能做的事。


写在最后

这篇文章复盘了 7 起 AI Agent 摧毁生产环境的事故,加上 $47K 和 $50K 的 Agent 失控事故。每一起事故都有同一个结构性根因:Agent 拥有操作员级权限,执行不可逆操作,没有确认门禁。

技术修复方案是已知的。最小权限、确认门禁、预算熔断、备份隔离。这些都不需要等模型更新,今天就能做。问题从来不是"不知道怎么做",是"没做"。

7 起事故 8 个月内集中爆发,从孤例变成了 failure mode。当 Agent 从"生成代码"变成"执行操作",代价已经从代码质量问题升级为生产安全事故。

下一篇我们聊一个更技术性的安全话题:一个 GitHub Issue 如何黑掉整个 npm 生态。Clinejection 提示注入攻击链的全复盘,以及"prompts become shells"这个判断背后的技术逻辑。


系列导航

  • 上一篇:裁了又招的"回旋镖":89%企业因AI裁员,只有2%真被替代
  • 本系列上一篇:AI写了90%的代码,程序员正在消失(2026全球AI裁员潮真相)
  • 本系列下一篇:《一个GitHub Issue黑掉npm生态——Clinejection提示注入攻击链全复盘》
  • 前作延伸:AI编程与Agent实战系列(16 篇)已完结,从工具横评写到 Agent 原生操作系统

数据来源标注
本文数据综合自以下公开信源:Stack Futures 博客《AI Coding Agents Keep Deleting Production: Five Incidents, One Structural Flaw》(7起事故时间线、结构性根因分析、118,000 stars、data-loss标签、Opus 4.7 vs 4.6回归分析)、RunCycles《The State of AI Agent Incidents 2026》报告(20+起Agent生产事故统计、$2删库事件深度解剖、$1.4指令触发$5万CI/CD级联错误、$0.8指令触发未授权采购、action gate风险分级模型)、dev.to Gabriel Anhaia《The 7 Most Expensive LLM Production Incidents of 2025-2026》($47K LangChain Agent循环11天264小时、16.7亿token Claude Code递归5小时$16K-$50K、4个bug叠加分析、per-session token监控建议)、今日头条/华尔街见闻(PocketOS/Cursor+Claude 9秒删库事件、Jer Crane事后复盘、AI"认罪书"全文、Railway架构缺陷分析、Gary Marcus评论、Brendan Eich评论)、腾讯新闻(Terraform state文件事故、DataTalks.Club 2.5年课程数据丢失、terraform destroy执行过程)、Lushbinary《AI Agent Production Guardrails Guide》(PocketOS事故时间线T+0到T+9秒、10条防护指南)、LinkedIn Vibhor Gupta(Agent不创造新安全原则的判断)、Meta AI Blog《Agents Rule of Two: A Practical Approach to AI Agent Security》(Rule of Two三条件框架)、Simon Willison博客(lethal trifecta概念、Rule of Two局限性分析)、aicredits.in(Agent成本O(n²)模型、55,000 token计算示例、33,000倍成本差异)、devtoolpicks.com(hook递归、重试风暴、subagent fan-out三种失控模式、$6,000一夜账单案例)。具体指标均已在文中逐一标注。

标签
AI人工智能AIGCAI编程AI Agent程序员Claude Code大模型

http://www.jsqmd.com/news/1298167/

相关文章:

  • 2026年7月杜邦纸袋小批量定制/龙港防水杜邦纸袋公司推荐合集_龙港亚细亚包装有限公司 - 品牌宣传支持者
  • 智谱AI上市与大模型技术商业化分析
  • 2026最新自动视频总结选择建议|亲测好用工具整理推荐
  • 嵌入式入门:0.96寸OLED屏驱动原理、应用与优化实战
  • C#动态修改Windows默认打印机:从Win32 API调用到权限处理的完整指南
  • 2026年7月宜宾MPVE波纹管道/四川水泥检查井管道厂家推荐盘点_宜宾顺硕建材有限公司 - 品牌宣传支持者
  • C++ string类完全指南:从基础使用到底层优化与性能陷阱
  • 2026年7月诸城连续式拉伸膜包装机/诸城拉伸膜包装机厂家推荐榜单_诸城荣泽机械有限公司 - 行业平台推荐
  • Python编程基础练习与实战技巧
  • 雪灾风险普查技术规范解析与应用实践
  • 中断里不读DR,RXNE不清,系统卡死
  • 2026年7月宁波木工工具工作台/木工工具工作台行业靠谱厂家_宁波京燕工具有限公司 - 行业平台推荐
  • 降AIGC黑科技揭秘!AI率92%暴降至5%!实测10款降AI率软件!学生党狂喜!
  • 2026年Java端口监听新突破:SO_REUSEPORT实现多进程并发监听
  • 2026年7月陕西给水钢管/给水钢管行业精选厂家_陕西睿秋实业有限公司 - 行业平台推荐
  • ADB命令精准控制Android设备音量:从原理到自动化实战
  • 解决onnxruntime安装失败:跨平台预编译包与源码编译实战指南
  • 2026年7月苏州SMT贴片/苏州SMT代工公司推荐榜单_苏州艾纽智能科技有限公司 - 行业平台推荐
  • 2026年7月广东轻便款电动车锂电池/轻便款电动车锂电池公司推荐测评_广东龙集动力科技有限公司 - 行业平台推荐
  • 数字电子技术期末高效复习指南:核心模块拆解与实战技巧
  • 2026年7月长水口/下水口厂家推荐榜_无锡市南方耐材有限公司 - 行业平台推荐
  • 开源 SSH 终端 SpanHost:轻量、多标签、端口转发
  • 2026年7月金华智能混色搅拌机/金华全自动智能混色搅拌机公司推荐榜单_金华市久业智能科技有限公司 - 行业平台推荐
  • 2026年五大AI降重工具横评与学术写作技巧
  • 一个 Student 结构体的简单封装
  • STM32定时器PWM原理与呼吸灯实现详解
  • 终极Flash浏览器:如何让经典Flash游戏和应用重获新生
  • 2026年7月吉林牛饲料/吉林乳猪饲料公司推荐分析_吉林省汇民达生物科技有限公司 - 品牌宣传支持者
  • LVS负载调度
  • python iteritems Python iteritems早废了!Linux老炮儿还在用命令行硬扛?