自动化越强，人为什么反而要更强：AI 质控中的自动化反讽
本文以 Lisanne Bainbridge 1983 年发表于Automatica的经典论文Ironies of Automation为主线，并结合近期人机协同与社会技术安全研究，讨论医学影像 AI 质控系统真正困难的部分：不是把正常流程自动化，而是让人在异常时仍有能力、信息和权限接管。
一个违反直觉的命题
通常的自动化叙事是：机器承担更多工作，人承担更少工作。但 Bainbridge 指出的恰恰相反——自动化首先拿走容易、频繁、可练习的部分，把困难、罕见、边界模糊的异常留给人。于是人平时只需监看，真正被召回时却必须完成最复杂的诊断和恢复。
这不是简单的“人会不会信任 AI”，而是工作系统的结构性矛盾：
- 自动控制越成熟，人工实际操作越少，手工技能和系统心智模型越容易退化；
- 系统越可靠，异常越少，持续监控越难维持有效注意；
- 自动化只能处理设计者已经形式化的情形，而人通常在规则失效、信息不完整时才被要求接管；
- 人需要通过操作和反馈理解系统，但自动化同时切断了这种学习回路。
这篇只有数页的论文成为经典，不是因为它预见了某一种技术，而是因为它揭示了自动化系统中长期存在的控制论问题：谁在闭环中获得反馈，谁就能保持控制能力；谁长期被移出闭环，谁就很难在关键时刻突然恢复能力。
论文的原始结论
Bainbridge 讨论的是工业过程控制与飞行自动化，而不是医学 AI。论文的原始论点包括：高度自动化系统仍然是人机系统；人工接管需要比正常操作更高的技能；长期不用会使操作技能和知识检索能力衰退；低事件率的持续监控不符合人的注意机制；设计者自身的错误也会被固化进自动化系统。
这里必须划清边界：论文没有验证 LLM、多智能体或医学影像质控，也没有直