收藏!从「外挂」到「脑子」一文读懂LLM Agent进化逻辑,小白也能看懂大模型
本文介绍了上交大和中科院团队的综述论文《Externalization in LLM Agents》,提出大模型Agent的核心进化在于将认知负担从模型中"搬出去",即通过外化记忆、技能和协议来提升可靠性。文章将Agent发展分为三个时代:能力在权重里、能力在上下文里、能力在Harness里,并详细阐述了外化记忆、技能和协议的概念及其重要性。此外,还介绍了Harness如何将三者缝合起来,以及未来几个有趣的方向,如具身智能里的同构、自进化Harness和从私有脚手架到共享基础设施。文章最后强调,Agent能力是一个可以被系统化设计的工程问题,这对实际做Agent开发的人来说非常重要。
最近刷到一篇来自上交大和中科院团队的综述,发表于2026年4月,题目叫Externalization in LLM Agents,说的是一个很有意思的视角:大模型Agent的核心进化,不是在把模型做得更大,而是在把认知负担一件一件地"搬出去"。
读完之后觉得这个框架真的很有解释力,结合最近做Agent开发的感受,整理成这篇文章。
先说个反直觉的结论
很多人觉得,Agent能力强不强,关键看底座模型好不好。这话没错,但不够准确。
论文里给了一个很直白的观察:实际系统里很多可靠性的提升,根本没有改模型参数。是通过加持久化记忆、整理可复用的技能文件、标准化工具接口、约束执行流程、给行为打日志……来实现的。
问题的核心从"模型多能"变成了"模型外面那圈东西有多好"。
这个框架,论文叫做Externalization(外化),借的是认知科学家Norman的"认知制品"理论。
核心洞察其实很朴素:制品的力量不在于它给你加了什么能力,而在于它改变了任务本身的形态。购物清单不是扩大了人类的记忆容量,它把"回忆"这件困难的事,变成了"对照"这件容易的事。地图不是让人变成导航达人,它把隐藏的空间关系,变成了眼睛直接可见的结构。
LLM Agent的基础设施,做的是同一件事。
三层演进:从权重到上下文,再到Harness
论文把近几年大模型Agent的发展,分成了三个时代。
第一层:能力在权重里。模型越大越好,知识都烧进参数里,想更新一个事实就要重新训练。那时候大家的思路就是堆参数、堆数据、搞对齐。这没什么问题,但问题在于知识、流程、策略都被锁死在一个静态的模型文件里,想查、想改、想针对不同用户差异化,都很难。
第二层:能力在上下文里。Chain-of-Thought、RAG、ReAct……这些方法的共同逻辑是:不改模型,而是把任务需要的信息、推理步骤,在调用前塞进去。这把"模型记住了吗"这个召回问题,变成了"把答案放在眼前,模型能用吗"的识别问题,效率高多了。但上下文窗口是有限的,而且是一次性的,会话结束就忘,多智能体协同也没有公共的接口标准。
第三层:能力在Harness里。这就是现在正在发生的事。可靠性越来越依赖于模型外面的那圈持久化设施:记忆库、技能文件、协议层、沙箱、审批门、日志系统……模型仍然是推理引擎,但"智能"不再只住在模型里。
外化的三个维度
论文把需要从模型里"搬出去"的负担,分成三类。
记忆:把状态搬出去
裸模型没有记忆。每次对话都是白纸开始。用户的偏好、上次任务的进度、已经踩过的坑,都要靠提示词手动携带,这既浪费Token,也不可靠。
外化记忆之后,记忆系统接管了这件事。论文把需要存的状态分成四层:当前任务的工作上下文、历史执行的情节记忆、跨任务的语义知识、跟特定用户绑定的个性化偏好。
从架构上,系统也从"整个历史塞进提示词"进化到"按需检索",再到"分层管理、主动遗忘",最新的方向甚至是用强化学习来优化检索策略。
关键洞察:记忆好不好,不在于存了多少,而在于能不能在对的时候把对的东西调出来。让当前决策"看得清楚",才是记忆系统的真正目标。
技能:把流程搬出去
模型每次执行任务,都要从权重里"临时发明"一套工作流。步骤顺序、遇到分支怎么选、什么情况下停止……每次都可能不一样。长任务、多步骤任务里,这种不稳定性是真实的痛点。
外化技能,就是把"这类任务该怎么做"写成一个显式的、可复用的制品——比如一个SKILL.md文件,说清楚适用场景、执行步骤、约束条件、注意事项。
技能不只是"提示词",也不只是"工具"。工具暴露的是"能做什么操作",协议规范的是"怎么调用这个操作",技能编码的是"这类任务应该怎么完成",是更高层的程序性知识。
论文提了一个很有意思的机制叫Progressive Disclosure(渐进展开):先只把技能名字和摘要给模型看,只有真的需要的时候,才把完整的步骤指南加载进来。这样避免了一上来就把上下文塞满没用的细节——Claude Code的技能系统就是这个思路。
协议:把交互搬出去
模型跟外部工具、其他Agent交互的时候,如果全靠自由发挥生成格式,非常脆弱。工具接口变了、另一个Agent的理解方式不同,都可能导致整个链路崩掉。
协议把这件事变成了结构化的契约:字段类型是什么、调用的状态机是什么、权限边界在哪、怎么发现有哪些能力可以用。
MCP(Anthropic推的Model Context Protocol)是Agent-工具协议里最具代表性的,解决的就是"每个工具都要单独适配"的问题。A2A(Google)、ACP(IBM)解决的是Agent之间怎么标准化协作。AG-UI、A2UI解决的是Agent执行状态怎么标准化暴露给前端界面。
这些协议的价值,不只是让调用更整齐,而是把"格式对不对、权限够不够、状态机走到哪"这些判断,从模型的推理任务里移除掉,交给运行时来强制保证。
Harness:把三者缝合起来的那一层
记忆、技能、协议各自解决了一块,但它们各自为政就是一堆散件。把它们缝合成一个能跑起来的系统,靠的是Harness。
论文把Harness的核心职责拆成六个维度:
执行循环与控制流,负责"感知—检索—规划—行动—观察"这个循环的调度,同时设置最大步数、递归深度、资源上限,防止无限循环或爆费。
沙箱与执行隔离,决定Agent能碰什么、不能碰什么,让副作用可控、失败可回滚。
人工审批门,对敏感操作或高风险步骤暂停等待确认,自主程度是可配置的参数,不是非此即彼的开关。
可观测性与结构化反馈,每次调用、每个工具调用、每次记忆读写都留下结构化日志,一方面用于调试和审计,另一方面把失败记录写回记忆,为技能优化提供依据。
配置、权限与策略编码,把"能做什么、不能做什么、在什么条件下可以"从提示词里抽出来,变成可版本管理、可分层继承的声明式规则。
上下文预算管理,记忆检索、技能加载、协议schema、工具描述都在抢同一个Token窗口,Harness负责在不同执行阶段动态分配,而不是让它们无序地互相挤占。
三者之间的联动
论文里有一张循环图,把记忆、技能、协议之间的流向画得很清楚,这里用文字说一下:
记忆积累的执行轨迹,经过蒸馏,能变成可复用的技能;技能执行产生的新轨迹,又写回记忆,让技能有了自我修正的依据。技能最终要通过协议绑定到可执行的工具或子Agent上,才能真的跑起来;而协议调用的结果,又要被规范化地写入记忆,才能支撑后续的决策。记忆里的历史经验,还能影响协议路由的选择,比如某个工具反复失败,系统可以学会优先走别的路。
这个闭环系统有个好处,也有个风险。好处是能够自我强化:更好的记忆带来更好的技能,更好的技能积累更丰富的记忆。风险是错误也会自我放大:一条被污染的记忆,可能蒸馏出一个有缺陷的技能,这个技能的执行结果再进一步污染记忆。单靠某一个模块自己的质量控制,没法打断这个级联——这是Harness层面必须要管的问题。
往后看:几个有意思的方向
论文末尾谈了几个前沿方向,选几个我觉得比较值得关注的说一下。
具身智能里的同构。VLA模型(视觉-语言-动作模型)的演进,正在复刻数字Agent的这套外化逻辑。原来想用一个大模型端到端解决感知、规划、执行,现在越来越多的系统把高层规划交给LLM/VLM,把底层的精细操作交给专门的VLA技能模块,两者之间用结构化协议通信。这跟大脑皮层和小脑的分工异曲同工。
自进化Harness。现在修记忆策略、改技能文件、优化执行逻辑,主要还是靠人工。如果把Harness的配置本身也变成可程序化修改的对象,Agent系统就能在三个层面自我进化:策略层(调整检索粒度、技能排序规则)、管线层(重新安排调度策略)、边界层(决定什么时候新增一个外化模块,什么时候裁掉一个冗余的)。这很诱人,但风险也在这里——失控的自进化,可能引入新问题的速度比解决旧问题还快。
从私有脚手架到共享基础设施。现在大多数外化设施是一个Agent一套,但协作链路变长之后,共享记忆、共享技能库、统一协议的需求会越来越强。这时候技能文件开始类似于"开源库",记忆系统开始类似于"共同知识库",而配套的版本管理、权限审计、溯源机制,也就变成了Agent生态的治理基础设施。
最后
这篇论文提供的最有价值的视角,是把"Agent能力"这个模糊的概念,拆解成了一个可以被系统化设计的工程问题:哪些认知负担应该留在模型里,哪些应该搬出去,搬出去之后用什么形式组织,不同形式之间怎么联动,联动过程怎么被治理。
这对实际做Agent开发的人来说,比单纯比较模型benchmark要有用得多。模型好坏当然重要,但很多时候系统可不可靠,靠的是外面那圈东西设计得好不好。
那么如何学习大模型 AI ?
对于刚入门大模型的小白,或是想转型/进阶的程序员来说,最头疼的就是找不到系统、全面的学习资源,要么零散不成体系,要么收费高昂,白白浪费时间走弯路。今天就给大家精心整理了一份全面且免费的AI大模型学习资源包,覆盖从入门到实战、从理论到面试的全流程,所有资料均已整理完毕,免费分享给各位!
核心包含:AI大模型全套系统化学习路线图(小白可直接照做)、精品学习书籍+电子文档、干货视频教程、可直接上手的实战项目+源码、2026大厂面试真题题库,一站式解决你的学习痛点,不用再到处搜集拼凑!
👇👇扫码免费领取全部内容👇👇
1、大模型系统化学习路线
学习大模型,方向比努力更重要!很多小白入门就陷入“盲目看视频、乱刷资料”的误区,最后越学越懵。这里给大家整理的这份学习路线,是结合2026年大模型行业趋势和新手学习规律设计的,最科学、最系统,从零基础到精通,每一步都有明确指引,帮你节省80%的无效学习时间,少走弯路、高效进阶。
2、大模型学习书籍&文档
理论是实战的根基,尤其是对于程序员来说,想要真正吃透大模型原理,离不开优质的书籍和文档支撑。本次整理的书籍和电子文档,均由大模型领域顶尖专家、大厂技术大咖撰写,涵盖基础入门、核心原理、进阶技巧等内容,语言通俗易懂,既有理论深度,又贴合实战场景,小白能看懂,程序员能进阶,为后续实战和面试打下坚实基础。
3、AI大模型最新行业报告
无论是小白了解行业、规划学习方向,还是程序员转型、拓展业务边界,都需要紧跟行业趋势。本次整理的2026最新大模型行业报告,针对互联网、金融、医疗、工业等多个主流行业,系统调研了大模型的应用现状、发展趋势、现存问题及潜在机会,帮你清晰了解哪些行业更适合大模型落地,哪些技术方向值得重点深耕,避免盲目学习,精准对接行业需求。值得一提的是,报告还包含了多模态、AI Agent等前沿方向的发展分析,助力大家把握技术风口。
4、大模型项目实战&配套源码
对于程序员和想落地能力的小白来说,“光说不练假把式”,只有动手实战,才能真正巩固所学知识,将理论转化为实际能力。本次整理的实战项目,涵盖基础应用、进阶开发、多场景落地等类型,每个项目都附带完整源码和详细教程,从简单的ChatPDF搭建,到复杂的RAG系统开发、大模型部署,难度由浅入深,小白可逐步上手,程序员可直接参考优化,既能练手提升技术,又能丰富简历,为求职和职业发展加分。
5、大模型大厂面试真题
2026年大模型面试已从单纯考察原理,转向侧重技术落地和业务结合的综合考察,很多程序员和新手因为缺乏针对性准备,明明技术不错,却在面试中失利。为此,我精心整理了各大厂最新大模型面试真题题库,涵盖基础原理、Prompt工程、RAG系统、模型微调、部署优化等核心考点,不仅有真题,还附带详细解题思路和行业踩坑经验,帮你精准把握面试重点,提前做好准备,面试时从容应对、游刃有余。
6、四阶段精细化学习规划(附时间节点,可直接照做)
结合上述资源,给大家整理了一份可直接落地的四阶段学习规划,总时长约2个月,小白可循序渐进,程序员可根据自身基础调整节奏,高效掌握大模型核心能力,快速实现从“入门”到“能落地、能面试”的跨越。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
硬件选型
带你了解全球大模型
使用国产大模型服务
搭建 OpenAI 代理
热身:基于阿里云 PAI 部署 Stable Diffusion
在本地计算机运行大模型
大模型的私有化部署
基于 vLLM 部署大模型
案例:如何优雅地在阿里云私有部署开源大模型
部署一套开源 LLM 项目
内容安全
互联网信息服务算法备案
…
👇👇扫码免费领取全部内容👇👇
3、这些资料真的有用吗?
这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理,现任上海殷泊信息科技CEO,其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证,服务航天科工、国家电网等1000+企业,以第一作者在IEEE Transactions发表论文50+篇,获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。
资料内容涵盖了从入门到进阶的各类视频教程和实战项目,无论你是小白还是有些技术基础的技术人员,这份资料都绝对能帮助你提升薪资待遇,转行大模型岗位。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
