当前位置: 首页 > news >正文

近期,不错的LLM Agent统一记忆框架综述~

随着GPT、Qwen、Claude等大模型能力持续提升,LLM-based Agent 正在从单轮问答走向更复杂的长期任务:多轮对话、个人助手、游戏智能体等。在这些场景中,Agent 不仅要理解当前输入,还要持续积累过去的交互、偏好、事实变化和任务状态。

一个直接方案是把历史消息全部放进 prompt,也就是naive long-context prompting。但这种方式会带来几个明显问题:上下文窗口可能溢出,token 成本高,推理延迟增加,并且模型也不一定能找到真正相关的证据。

因此,Agent Memory 的核心目标是:不要让模型“每次重读全部历史”,而是让系统主动维护一套记忆机制,在需要时取回相关信息,帮助 LLM 进行更可靠的长期推理。

Memory in the LLM Era: Modular Architectures and Strategies in a Unified Framework

这篇论文面向LLM Agent 长期记忆机制的系统化理解与评测,从模块化视角统一抽象现有方法,并在一致实验设置下分析不同设计在效果、成本与鲁棒性上的表现,为后续记忆系统设计提供经验和参考。

1. 统一框架:把 Agent Memory 放进同一张图里

论文提出的统一框架将 Agent Memory 拆解为四个核心组件:Information ExtractionMemory ManagementMemory StorageInformation Retrieval

该框架可以统一刻画各种 Agent Memory 代表性方法,将它们拆解到同一组组件中进行系统分析。

2. 四个核心组件:Agent Memory 到底由什么组成?

Information Extraction:记什么?

信息提取决定哪些内容会进入记忆系统,现有方法主要包括三类:直接归档总结式提取基于图的提取

Memory Management:怎么维护记忆?

记忆管理决定新旧记忆如何融合、演化和遗忘。论文将该过程总结为五类操作:连接相关经验、整合碎片记忆、在不同记忆层级之间迁移、更新已有记忆、以及过滤无用信息。

Memory Storage:存在哪里、用什么结构存?

记忆存储可以从两个维度理解:组织结构和表示方式。在组织结构上,分为扁平式存储(JSON、队列)和层级式存储(长短期、树结构中的不同层级)。在表示方式上,分为基于向量的存储基于图的存储

Information Retrieval:如何取回相关记忆?

信息检索决定当前 query 到来时,系统如何从记忆中找到最有用的信息。论文将其分为四类。

词汇匹配检索例如 BM25 或 Jaccard,精确匹配实体、名称和关键词。

向量检索依赖向量余弦相似度、ANN 算法,是许多方法的基础检索方式。

结构检索利用图或树中的显式连接,通过邻居扩展、图遍历找到相关信息。

LLM辅助检索让 LLM 参与检索过程,识别关键信息,或直接判断记忆相关性。

3. 实验:统一复现、系统比较

3.1 做了哪些实验?

LOCOMO是一个人类长期对话记忆数据集,问题覆盖单跳、多跳、时间推理和开放域知识等类型。

LONGMEMEVAL是一个用户与 AI 长期交互记忆数据集,用于评估信息提取、多会话推理、知识更新和时间推理等能力。

围绕这两个数据集,我们统一复现并比较 10 个代表性 Agent Memory 方法,实验包括:整体性能对比、token 消耗情况及性能-成本权衡、上下文扩展性分析、证据位置敏感性分析,以及不同底层 LLM 下的表现对比。

3.2 主要结果与发现

  • 在整体性能表现中,MemTree、MemoryOS、MemOS 等层次化或树状方法表现突出,说明多层结构能够同时保留高层摘要和底层证据,更适合复杂长期任务。
  • 将多轮对话作为一个整体进行处理可以显著降低 token 消耗,适当的粗粒度处理反而可能提升记忆效果。
  • 当上下文规模扩展到 200% 时,几乎所有方法都会出现性能下降。相比之下,采用更明确层次管理的方法通常更稳定。

  • 多数方法存在证据位置敏感性:当关键证据位于更早会话时,很多方法更容易被后续信息干扰而检索失败。
  • 现有记忆架构仍然依赖底层 LLM 的推理能力。从 Qwen2.5-7B 扩展到 72B 后,多数方法都有明显提升。

3.3 新SOTA算法

基于上述发现,我们进一步组合 MemTree/MemOS 的树状组织能力与 MemoryOS 的分层存储架构,设计出一个新的低 token 开销 Agent Memory 框架。

学AI大模型的正确顺序,千万不要搞错了

🤔2026年AI风口已来!各行各业的AI渗透肉眼可见,超多公司要么转型做AI相关产品,要么高薪挖AI技术人才,机遇直接摆在眼前!

有往AI方向发展,或者本身有后端编程基础的朋友,直接冲AI大模型应用开发转岗超合适!

就算暂时不打算转岗,了解大模型、RAG、Prompt、Agent这些热门概念,能上手做简单项目,也绝对是求职加分王🔋

📝给大家整理了超全最新的AI大模型应用开发学习清单和资料,手把手帮你快速入门!👇👇

学习路线:

✅大模型基础认知—大模型核心原理、发展历程、主流模型(GPT、文心一言等)特点解析
✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑
✅开发基础能力—Python进阶、API接口调用、大模型开发框架(LangChain等)实操
✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用
✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代
✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经

以上6大模块,看似清晰好上手,实则每个部分都有扎实的核心内容需要吃透!

我把大模型的学习全流程已经整理📚好了!抓住AI时代风口,轻松解锁职业新可能,希望大家都能把握机遇,实现薪资/职业跃迁~

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

http://www.jsqmd.com/news/711631/

相关文章:

  • 2026年4月上海闵行搬家服务机构排行一览 - 优质品牌商家
  • wllama实战:基于WebAssembly在浏览器本地运行大模型
  • 代码嵌入模型C2LLM:多注意力池化技术解析与应用
  • 多智能体AI研究系统架构设计与实践
  • 离线机器人策略学习中的后验转移重加权方法解析
  • 车子松开方向盘就跑偏?别大意,这是底盘发出的安全预警
  • 学术党福利:用学校邮箱免费获取Mosek许可证,并配置给CVX for MATLAB的全流程记录
  • 基于Vue 3与Claude API的全栈AI应用开发实战指南
  • ServerlessClaw:基于AWS无服务器架构的AI智能体集群设计与部署
  • 非配对多模态学习UML框架:原理、实现与应用
  • 基于Cloudflare Workers构建ChatGPT插件:从原理到部署实战
  • AI音视频总结工具BibiGPT:从架构解析到本地部署实战
  • 2026年8款CRM横评:从精细化运营到数据安全全较量
  • 浸没式超滤厂家专业度实测解析 核心指标对比榜 - 优质品牌商家
  • LLM代码验证新方法:基于内部计算结构的属性图分析
  • DASD-4B-Thinking:轻量级语言模型的知识蒸馏技术解析
  • FPGA原型验证:核心价值、挑战与工程实践
  • 有限状态机在Web自动化测试中的实践与优化
  • AI沙箱合规生死线(GDPR/CCPA/中国生成式AI管理办法第12条):Docker-only方案如何通过等保三级与金融信创认证(附审计清单模板)
  • 基于Claude与Edge TTS构建私有AI播客摘要系统
  • VS Code Copilot Next企业部署实战:3步完成CI/CD流水线自动注入,附Gartner认证合规检查清单
  • 2026年国内活动板房核心厂家top5推荐及地址梳理:折叠箱房,拓展箱房,苹果仓,z型打包箱,优选推荐! - 优质品牌商家
  • GPU内核自动化优化:OpenEvolve进化算法实践
  • Quansheng UV-K5对讲机固件破解与频段扩展指南
  • 32B参数CWM模型架构与代码建模优化策略
  • 【Docker沙箱AI隔离实战指南】:20年DevOps专家亲授零信任代码运行环境搭建秘籍
  • 嵌入式C语言实现PLCopen Part 4(Motion Control):基于HAL层抽象的轴控指令集封装(ARM Cortex-M7实测<50μs响应)
  • 【MCP 2026低代码平台对接终极指南】:20年架构师亲授5大避坑法则与3套企业级落地方案
  • 电机轴承电蚀故障检测方法设计与实验验证【附代码】
  • 基于Vue与Claude的全栈AI应用脚手架:快速构建现代化Web应用