The Bitter Lesson优雅中译（苦涩的教训）

作者：Rich Sutton
时间：2019年3月13日

七十年来，人工智能研究教会我们的最大一课是：那些善于利用算力的通用方法，终将脱颖而出，且优势极为显著。

根本原因在于摩尔定律，更准确地说，在于单位算力成本持续指数级下降这一普适规律。多数AI研究都隐含一个假设：智能体可用的算力是固定的——在这种前提下，融入人类知识几乎是提升性能的唯一手段。然而，只要把时间线拉得比一个普通研究项目稍长一些，规模大得多的算力就会不可避免地变得触手可及。

研究者们为了在短期内看到成效，总想借助自身对特定领域的人类知识。但从长远来看，唯一真正重要的，是对算力的运用。这两条路并非天然对立，可在实践中，它们往往彼此排斥。投入一方的时间，就意味着从另一方抽走的时间。人们对某种方法投入越深，心理上的承诺就越难放下。更何况，依赖人类知识的方法往往会让系统变得复杂臃肿，反而更难与那些善于发挥算力的通用方法相融合。

AI研究者们迟来地领悟这一苦涩教训的例子，数不胜数。回顾其中几个最典型的案例，颇受启发。

以计算机国际象棋为例。1997年，击败世界冠军卡斯帕罗夫的方法，其核心是大规模、深度的搜索。当时，多数计算机象棋研究者对此颇感失望——他们一直更青睐那些利用人类对棋局特殊结构之理解的方法。然而，当一种基于搜索的简单方法，辅以专用硬件和软件，展现出摧枯拉朽般的效能时，这些基于人类知识的研究者却不愿接受失败。他们固执地认为，“蛮力”搜索虽然赢了，但那不过是一种取巧，并非通用策略，更不是人类下棋的方式。他们原本期待基于人类理解的方法能赢，结果自然大失所望。

计算机围棋的发展，也上演了同样的剧本，只是晚了二十年。早期的努力全在想方设法绕开搜索，尽可能利用人类对游戏的理解和特殊特征。可一旦大规模搜索被有效运用，那些精心设计的人类知识立刻显得微不足道，甚至成了绊脚石。在这个过程中，通过自我对弈来学习价值函数也至关重要——自我对弈学习和通用学习，同搜索一样，都能充分利用大规模算力。无论是围棋还是国际象棋，研究者最初都试图用人类的理解来减少对搜索的依赖，最终却都是通过拥抱搜索和学习才取得了真正的突破。

语音识别领域亦是如此。上世纪七十年代，DARPA赞助的一场早期竞赛中，一方是大量融入人类知识（如对单词、音素、人声道的理解）的特殊方法，另一方则是更依赖统计学和计算的新方法（基于隐马尔可夫模型）。最终，基于统计的方法战胜了基于人类知识的方法。这引发了自然语言处理领域的深刻转向——随着时间的推移，统计与计算逐渐成为绝对主导。深度学习在语音识别中的崛起，不过是这一趋势的最新注脚。深度学习方法更少依赖人类知识，却使用更多算力，在海量训练集上学习，从而实现了性能的飞跃。

计算机视觉也沿着同样的轨迹演进。早期的方法热衷于寻找边缘、广义圆柱体或SIFT特征来解题。而今天，这些方法早已被淘汰。现代深度学习神经网络，仅仅使用卷积和少许不变性概念，就取得了远胜从前的结果。

这是一个沉痛的教训。作为一个领域，我们尚未真正领悟，仍在不断重蹈覆辙。要认清并避免这一点，我们必须正视它的诱惑所在。我们终须明白：把自己以为的思考方式硬生生地塞进系统，终究走不远。

这苦涩的教训，源自一段反复验证的历史观察：

第一，AI研究者总想把知识嵌入他们的智能体；
第二，这在短期内总是有效的，也能给研究者带来满足感；
第三，但从长远看，它终将陷入瓶颈，甚至阻碍进步；
第四，真正的突破，永远来自那条相反的路——通过搜索与学习，让算力不断扩展。

这种成功，总是带着苦涩，常常令人难以消化——因为它的胜利，恰恰是踩在我们钟爱的、以人类为中心的方法之上。

从这苦涩的教训中，我们应当领悟两点。

第一，通用方法拥有极其强大的力量——那些能够随着算力增长而持续扩展的方法，才是未来的方向。目前看来，能够如此无限扩展的两种方法，便是搜索与学习。

第二，人类心智的实际内容，复杂到无可救药。我们不应再试图寻找简化心智内容的简单途径——比如试图用简单的方式去理解空间、物体、多智能体或对称性。所有这些，都是外部世界固有的、无穷无尽的复杂性。它们不该被我们硬编码进系统——因为它们的复杂永无止境。相反，我们应当构建的，是那些能够发现并捕捉这种任意复杂性的元方法。

这些方法的核心，在于它们能够找到好的近似解——但寻找的过程，必须由我们的方法来完成，而不是由我们亲手去做。我们需要的，是能够像我们一样去发现的AI，而不是一个装满了我们已经发现的东西的容器。把我们已有的发现硬塞进去，只会让我们更难看清——发现本身，究竟应该如何发生。

译者说明

本文翻译自 Rich Sutton 于 2019 年 3 月 13 日发表的经典文章The Bitter Lesson。翻译力求在忠实原文的基础上，兼顾中文的流畅与节奏感，避免生硬的直译腔。核心术语（如“算力”、“通用方法”、“搜索与学习”、“元方法”）在全文中保持统一，关键论断以加粗标注，便于读者把握文章精髓。