当前位置：首页 > news >正文

oka架构

news 2026/7/21 22:33:15

去年Rich Sutton 在 Alberta Plan for AI 会议上的演讲: 通往强 AI 的路径是强化学习，而非大语言模型

一、为什么需要 Oak 架构

AI 的目标是理解人类思维、并放大人类能力，这是堪比生命起源的智识里程碑。但当前 AI 的发展路线（以大语言模型为代表）偏离了真正智能的本质。

当前 AI 的核心问题：

维度	现状（LLM 路线）	Sutton 的主张
学习时机	Design time（设计阶段训练）	Run time（运行时在线学习）
知识来源	大量离线训练数据	纯粹从运行时经验中学习
领域依赖	高度依赖特定领域数据	Domain general，不内置任何领域知识
抽象能力	固定架构，无法随经验增长	开放式的抽象层次，按需构建

“The biggest bottleneck is we have inadequate learning algorithms.”

二、Oak 架构的三大设计目标

Domain general（领域通用）：架构本身不应包含任何特定于某个世界的知识
Experiential（从经验中学习）：心智应从运行时经验中生长，而非从特殊训练阶段产生
Open-ended（开放式）：抽象的复杂度和层次无上限，仅受计算资源限制

Design time vs Run time

Design time（设计阶段）：在工厂里被构建，内置领域知识
Run time（运行时）：智能体在世界中交互、从经验中学习、针对所处世界的特定部分做规划

大语言模型的一切工作都在 design time 完成，部署后不再学习。Oak 架构则相反，所有重要的事情都要在 run time 完成——在线、在岗（on the job）

Big World（庞大世界）假设

智能体相对它所面对的世界是渺小的，无法在工厂中预知世界的一切细节。因此：

想学到任意开放式的抽象，必须在 runtime 完成
必须由世界本身告诉智能体哪些抽象是对的

三、两个关键设计问题的回答

Sutton 连续抛出两个问题来约束 Oak 的设计哲学：

问题 1：智能体的设计是否应该反映它将被使用的世界？

如果追求性能：应该内置领域知识，让它能立刻表现良好
如果追求概念简洁性（理解心智如何运作）：不应该

Oak 的选择：后者。设计应该与具体世界无关，仅基于原理而非错综复杂的领域细节。

引用 Sutton 自述的"苦涩的教训"（Bitter Lesson）精神：

“The actual contents of minds are part of the arbitrary, intrinsically complex outside world. They are not what should be built in as their complexity is endless. Instead, we should build in only the meta methods that can find and capture this arbitrary complexity. We want agents that can discover like we can, not which contain what we have already discovered.”

问题 2：智能体应该从特殊训练数据中学习，还是只从运行时经验中学习？

Oak 的选择：仅从运行时经验学习（entirely experiential）。

论证逻辑：

某些事情必须在 runtime 做（学到的抽象会改变、做世界模型、规划……）
如果这些事情能在 runtime 做，那么所有事情都应该在 runtime 做
这样能得到一个概念上更简洁的设计

四、Oak 名称的由来

O来自Options andKnowledge。

Option（选项）：在 Sutton 的定义中，option 是 (policy, termination) 这一对——一个行为策略，加上一个决定何时停止该行为的条件（他故意省略了 initiation set）
Knowledge（知识）：在 Oak 中，智能体将拥有大量 options，知识就是"跟随某个 option 会发生什么"

通过学习 options 及其后果，智能体构建出高层转移模型（high-level transition model），从而能以更大跳跃做规划，并沿世界的关节处切割（carve the world at its joints）。