Havenlon | 杂谈：AI 时代最危险的幻觉，不在模型里
导语｜企业已经学会防范模型幻觉，却还没有学会防范自己对 AI 能力的误判。前者制造错误信息，后者制造错误组织。
一、真正在扩散的，是经营幻觉
AI 会产生幻觉，这已经不是新闻。整个行业为此建立了大量防线：检索增强、评测体系、规则约束、人工复核、工具调用、交叉验证。人们知道模型会错，所以会防模型。
真正麻烦的是另一种幻觉——它不发生在模型里，而发生在会议室里：管理者开始把 AI 展现出来的能力，当成组织已经拥有的能力。
一个 Demo 跑通，项目被认为接近完成；一个 Agent 连续执行几十次没有出错，有人开始讨论无人化；一个模型准确率达到 95%，有人开始计算可以裁撤多少岗位；一名工程师借助 AI 三天完成过去三周的工作，于是整个研发周期被要求按同样比例压缩。
这些判断未必错误，问题在于它们发生得太早。技术只证明了"某件事可以发生"，经营系统却已经按照"它可以稳定发生"重新配置预算、人员和流程。
更隐蔽的是，人对 AI 的误判从不会被归档为"错误"。它会被称作战略判断、效率目标、组织升级、降本增效、数字化转型。一旦进入管理体系，它产生的就不再是一条错误回答，而是预算削减、交付周期、人员编制、销售承诺，最终变成一家公司的现实。
模型幻觉制造错误信息，管理幻觉制造错误组织。
以下是这种幻觉在企业中最常见的六种形态。
二、完成度幻觉：Demo 第一次长得像系统
过去做复杂软件，早期阶段通常很难看：页面没完成，流程跑不通，数据是假数据。管理者很容易意识到距离生产环境还很远——难看本身就是一种诚实的进度信号。
AI 取消了这个信号。今天一个很小的团队，甚至一个人，几天内就能做出一套极具说服力的系统：它能对话、能调用工具、能生成报告、能操作数据库、能控制浏览器、能跑完一条完整工作流。在会议室里，它几乎不出错。
AI 让"能力出现"与"系统成熟"，第一次在视觉上难以区分。
于是组织很容易跳过中间最困难的部分：可靠性、异常处理、权限边界、数据污染、成本波动、模型退化、上下文漂移、安全、审计、追责与恢复机制。
Demo 之所以漂亮，是因为它只演示 happy path。而真实世界从不按 happy path 运行——输入不完整、数据过期、接口失败、第三方服务不可用、用户行为异常、权限冲突、规则互相矛盾。工程的价值，大部分恰恰存在于 happy path 之外。
因此 AI 时代最常见的误判是：因为第一版做得极快，就以为最后一公里也变短了。事实往往相反。第一公里被压缩之后，最后一公里才第一次真正暴露出来。
三、准确率幻觉：95% 本身没有意义
管理层喜欢数字，准确率尤其令人安心。90%、95%、98%、99%，越接近 100，越像在接近可靠。
但商业系统真正要问的不是"它平均多正确"，而是——
它错的时候，错在哪里？
一套整理会议纪要的 AI，95% 已经相当优秀；一套控制付款的 AI，95% 完全不可接受。同一个概率，在不同场景中的商业含义完全不同。因为企业承担的从来不是平均错误率，而是错误后果。
频次同样会改变性质。99.9% 听起来很高，但在一百万次操作中意味着一千次异常。如果其中任何一次能够直接改变资金、数据、权限或物理设备状态，99.9% 就不再是一个安全数字，而是一个危险数字。
所以 AI 的风险管理不能停留在传统软件可用性思维上。真正该写进评审清单的是四个问题：错误能否被发现？能否在执行前被阻止？发生之后能否恢复？最坏情况是什么，由谁承担？
这些问题的答案，比 benchmark 再提高两个百分点重要得多。
四、速度幻觉：生产变快了，现实没有变宽容
AI 最显眼的能力是速度：代码、文档、设计、分析、方案，都生成得更快。于是一个自然的推论出现——既然工作变快了，组织就应该整体变快。
这个推论忽略了一个基本事实：企业的运行速度从来不只由生产速度决定，它同时取决于判断、协调、审批、验证、责任与市场反馈。
AI 可以一分钟生成十套方案，但企业仍必须决定哪一套值得承担后果。AI 可以一天写完过去一个月的代码，但系统上线后出现事故，排查与修复的时间不会因此缩短。AI 可以让公司每天产出一万条内容，但消费者的注意力没有增加一分钟。
AI 减少的是生产摩擦，不是决策责任。
稀缺资源正在迁移。过去企业缺的是生产能力，未来企业越来越缺的是高质量判断。这会导致一个看似反常的现象：工具越来越多，产出越来越快，管理成本反而上升——因为十倍的方案、代码与建议，同时意味着十倍需要被筛选、验证和承担责任的对象。
如果管理体系没有同步升级，AI 越强，组织制造噪音的能力也越强。
五、无人化幻觉：被拿走的，是简单的那部分
"无人化"是 AI 商业叙事里最诱人的词：同样的收入，更少的人，更低的人力成本。
这确实可能发生。但今天多数所谓的无人化，实际做的是另一件事——把简单任务从人的工作中移除，剩下最麻烦的部分。
客服是最典型的例子。AI 可以承接查订单、改地址、看物流、解释基础规则，人工坐席数量确实会下降。但最终流向人工的，会越来越集中于投诉、争议、欺诈、赔偿、跨系统故障，以及高价值客户的复杂情绪。问题数量下降了，每个问题的责任密度却上升了。
工程师同样如此。模板代码、接口封装、测试与文档可以被自动生成，人真正要处理的逐渐变成架构决策、复杂并发、系统边界、故障恢复、安全与数据一致性。留下来的不是"剩余的 20%"，而可能是过去全部工作中最难的 20%。
最容易被自动化的部分，往往也是最便宜的部分。
因此，用"AI 自动化了多少任务"直接推导"应该减少多少人"，等于把任务数量等同于人力价值。现实并不线性。
六、成本幻觉：Token 很便宜，错误执行从不便宜
单次模型调用可能只要几分钱，一条 Agent 工作流几毛钱。从财务模型看，AI 的边际成本低得惊人。
但企业真正的 AI 成本不在 Token，而在错误。一份错误摘要几乎没有后果；一条错误投放浪费预算；一份错误合同产生法律风险；一次错误的数据库操作造成数据损坏；一笔错误付款是直接的资金损失；一个错误的工业控制动作，会进入物理世界。
当 AI 从"生成信息"走向"执行动作"，需要计入财务模型的变量就变了：
不是 Cost per Token，而是 Cost of Wrong Action。
配套的问题也随之改变：单次错误行动的成本是多少？错误是否可逆？能否在执行前被拦截？哪些动作必须人工确认？哪些边界在任何情况下都不可突破？
很多公司今天仍把 AI 当作一种更便宜的软件能力。但当它拥有行动能力，它实际上已经变成风险基础设施——两者需要完全不同的管理方式。
七、信任幻觉：危险的不是 AI 太弱，而是它已经足够强
能力不足的系统通常不会造成最大风险，因为没有人会信任它。正确率只有 60% 的 AI，没人敢让它负责关键资金；经常胡说八道的 Agent，也拿不到生产权限。
真正复杂的阶段，是 AI 已经很好用：连续几个月没有明显问题，覆盖绝大多数任务，员工开始依赖，管理层开始信任，流程开始围绕它设计，人工检查逐渐减少。
可靠性会转化为信任，而信任会转化为权限。
这是所有高风险系统共同的规律：一个系统表现得越稳定，人越容易撤掉原本用来防止异常的机制——直到那个极低概率的事件出现。
所以 AI 治理真正要解决的，几乎不可能是"如何让模型永不犯错"，而是"如何保证模型犯错时，错误不能无限扩散"。这要求三重分离：能力与权力分离，生成与执行分离，判断与最终授权分离。
这不是因为 AI 不可信，恰恰是因为 AI 会越来越可信。历史上真正危险的系统，往往不是不可靠的系统，而是可靠到让所有人停止防备的系统。
八、从"AI 能做什么"到"AI 可以做到哪一步"
过去两年，企业问得最多的是：AI 能做什么？这是一个能力问题。接下来更重要的问题会变成：AI 可以做到哪一步？这是一个边界问题。
两者看似接近，代表的却是完全不同的管理哲学。前者不断推动权限扩大，后者迫使组织重新设计责任结构。
真正成熟的 AI 企业，不会追求让 AI 获得无限自主权，而会做相反的事：让能力尽可能强，同时让边界尽可能清晰。允许它分析、规划、调用工具、自动执行，但关键动作必须有独立验证，高风险结果必须有最终约束，系统必须知道何时停止，异常必须能被阻断，执行必须可追溯，责任必须有归属。
成熟的自动化不是"没有人"，而是不再需要人盯着正常流程，但必须有人定义异常发生时系统不可越过的边界。
回到开头。管理幻觉的本质，是一种提前兑现：技术刚证明"可能"，经营系统已经把它记作"确定"，如同把尚未产生的收益提前计入利润表。而现实一定会来结算这笔账——工程复杂度不会因为 Demo 漂亮而消失，责任不会因为自动化而消失，尾部风险不会因为平均准确率高而消失，物理世界也不会因为模型进步而降低错误成本。
模型幻觉通常只影响一个答案，可以用技术修复；管理幻觉一旦进入组织，会影响资源、流程、人员与战略，往往要等现实付出成本之后才被纠正。
真正成熟的企业，最终不会用"用了多少 AI"来证明自己先进。它们会理解一个更困难的问题：
技术能力可以指数增长，商业确定性只能一点一点被证明。