阿里:让记忆直接驱动智能体执行
📖标题:What Memory Do GUI Agents Really Need? From Passive Records to Active Task-Driving States
🌐来源:arXiv, 2606.31612v1
🛎️文章简介
🔸研究问题:GUI智能体在长程任务中应如何从被动记录转向主动状态维护以避免操作重复或遗漏?
🔸主要贡献:论文提出主动任务驱动记忆ATMem及STR-GRPO算法,将记忆转化为可学习的执行状态并构建DataScope基准。
📝重点思路
🔸提出ATMem框架,将记忆从被动历史归档转变为包含工作流进度、约束条件、数据模式及条目状态的层级化主动执行状态。
🔸设计STR-GRPO在线强化学习方法,通过对比记忆开启与关闭的成对轨迹采样,结合记忆成本感知奖励,学习选择性使用记忆的策略。
🔸采用两阶段训练,先通过验证器门控的在线轨迹合成进行监督微调,再利用干预式RL优化记忆调用的边际效用。
🔸构建DataScope在线移动端基准,通过控制目标条目与同构干扰项的比例,评估智能体在跨应用数据操作中的覆盖度与范围精确性。
🔸引入应用级进度和范围感知F1指标,分别衡量多应用子目标完成度和原子数据单元操作的准确性,弥补单一成功率指标的不足。
🔎分析总结
🔸ATMem-UI-8B在AndroidWorld上达到76.6%成功率,超越230B参数的UI-TARS-2,证明结构化状态跟踪比单纯扩大参数规模更能解决长程任务瓶颈。
🔸在MobileWorld未见环境中,8B模型以23.3%成功率显著优于同类基线,表明ATMem提供了更具迁移性的任务进度表示而非死记交互模式。
🔸消融实验显示STR-GRPO相比标准GRPO进一步提升了成功率并大幅降低记忆调用频率,证实智能体学会了仅在必要时依赖结构化记忆。
🔸定性分析表明,传统扁平笔记记忆因缺乏条目级状态追踪导致40.9%的失败源于死循环,而ATMem通过显式状态更新有效避免了重复操作。
🔸随着DataScope难度增加,所有智能体性能下降,但ATMem退化最慢,说明其在高密度干扰下仍能保持稳定的数据筛选与执行能力。
💡个人观点
论文重新定义了GUI智能体的记忆本质,将其从“存储过去”升维为“驱动当前执行的状态机”。强制绑定数据值与其任务角色及生命周期状态,使智能体具备类似人类的执行态势感知能力。
