人工智能的混乱局面：错位如何随着模型智能和任务复杂度的增长而扩展？

随着人工智能能力不断增强，我们开始将更具通用性和更高风险的任务委托给它们。任务范围的扩大，也使得失败的风险变得更加严峻。

因此，理解能力极强的 AI 模型将如何失败至关重要：它们是否会系统性地追求我们未曾预期的目标？还是会表现得一团糟，采取毫无目的、不合逻辑的行动？我们通过对 AI 模型产生的误差进行偏差-方差分解，将这一问题操作化：针对某项任务，AI 的不连贯性是通过测试时随机性来衡量的，即任务结果中由方差而非偏差所导致的误差比例。

在我们测量的所有任务和前沿模型中，模型用于推理和行动的时间越长，其失败模式就变得越不连贯。不连贯性随模型规模的变化方式取决于具体实验。

然而，在几种情况下，规模更大、能力更强的模型比小模型更不连贯。因此，仅靠扩大规模似乎不太可能消除不连贯性。

相反，随着能力更强的 AI 去执行更困难、需要更多连续动作和思考的任务，我们的研究结果预示着，它们的失败将伴随着更不连贯的行为。

这表明，未来 AI 有时会造成工业事故（由于不可预测的错误行为），但不太可能持续追求一个与人类意图不符的错位目标。这提高了针对奖励攻击或目标指定错误的对齐研究的相对重要性。