当前位置：首页 > news >正文

Karpathy重磅论文拆解：从上下文工程到 AI Agent DAG

news 2026/7/30 2:08:25

Karpathy最近丢出了一份 9 页的 PDF 文档，详细阐述了从Context Engineering（上下文工程）到 Agent DAG（智能体有向无环图）的演进路径。

核心观点极其犀利：“别再只盯着模型本身了，真正的胜负手在于架构。”

他做了一个疯狂的实验：把自己的一个已经手搓优化过的代码库（nanochat）丢给 AI Agent，让它自己跑。结果如何？

2天时间，跑了 700次实验；
发现了4个连 Karpathy 本人都没注意到的代码 Bug；
将模型训练速度从 2.02 小时压缩到了1.80 小时（提升 11%）。
这个仓库发布仅 4 个月，狂揽 90,900 颗 Star。

Karpathy 认为，Prompt Engineering 已经过时了，现在的核心是Context Engineering（上下文工程）。

如果把 LLM 比作 CPU，上下文窗口就是内存（RAM）。以前的做法是每次对话都重新加载信息，而现在的做法是建立一个死循环：

Agent 修改代码；
运行测试（固定预算，比如 5 分钟）；
如果分数变高，Git 提交；如果分数变低，Git 回滚。

这就是著名的Ratchet（棘轮）机制——只进不退。

Karpathy 在文档中给出了非常具体的工程化路径。如果你想让你的 Agent 从聊天机器人进化为autonomous researcher（自主研究员），请严格按以下步骤执行：

第一步：寻找单一评分指标

没有评分器，就没有循环。你需要找一个能用一个数字自动衡量的任务。

错误示范：“帮我优化这段代码，让它更好。”（太主观）
正确示范：“运行测试套件，目标是让执行时间低于 100ms。”（单一数字，自动判定）

第二步：物理隔离“评分文件”

这是最关键的一步，防止 Agent “作弊”。

不可变文件：存放数据准备和评分逻辑。Agent 绝对不能触碰这个文件，否则它会为了高分而修改评分标准。
可编辑文件：这是 Agent 的“游乐场”，它只能修改这里的代码。

第三步：锁定“时间预算”

给每次尝试设定固定的时间（比如 5 分钟）。为什么？只有时间固定，不同尝试之间的分数才具有可比性。如果一次跑 1 分钟，一次跑 1 小时，分数就没有意义了。

第四步：注入“永不暂停”指令

在program.md（给 Agent 的指令文件）中，必须写入这句咒语：

"NEVER STOP: 不要问人类是否继续，不要问是不是好的停止点。除非被手动中断，否则一直工作。如果没有思路了，就去读论文、读代码，尝试更激进的架构修改。"

大多数 Agent 失败的原因就是太“礼貌”了，总是停下来问“还要继续吗？”。你要的是机器，不是客服。

第五步：睡眠时运行，醒来读 Diff

让它在晚上跑。第二天早上，不要看 Agent 生成的“总结小作文”（那是生成的文本，可能撒谎），直接看 Git Diff。代码改了什么，就是什么。

第六步：从“单循环”到“DAG”

当一个 Agent 跑通后，再引入第二个 Agent。注意：必须给每个 Agent 分配独立的 Git Worktree（工作树）。如果它们共用一个文件夹，会互相覆盖代码，导致灾难。最终，你会形成一个Agent DAG（有向无环图）——就像一个没有分支、没有 PR、没有合并冲突的 GitHub，只有不断生长的代码 lineage（血统）。

Karpathy 的这份文档传达了一个明确的信号：AI 的竞争焦点已经从模型大小转移到了系统架构。

不要试图去训练一个更聪明的模型，而是去构建一个更聪明的循环。