智能体的记忆管理机制及其潜在风险 | 直播预约
主题
智能体的记忆管理机制及其潜在风险
时间
2025.12.30 周一 11:00 北京时间
2025.12.29 周日 22:00 美东时间
2025.12.29 周日 19:00 美西时间
直播平台
微信视频号：
b站直播间：
Youtube直播间：
https://www.youtube.com/live/U0rDRX7ZkYM
内容介绍
分享简介：大语言模型（LLM）智能体的兴起标志着人工智能从静态模型向具备感知、推理与行动能力的自主系统的根本性转变。记忆机制是此类智能体的核心组成部分，使其能够保留过往经验并适应新的任务需求。本次报告将探讨记忆管理如何从根本上影响大语言模型智能体的性能，并揭示记忆机制所伴随的潜在风险。
通过系统性的实证研究，我将展示合理的记忆管理策略如何有效缓解智能体记忆中的两大关键挑战：错误传播（error propagation）与经验回放失配（misaligned experience replay）。此外，我将介绍两种新近涌现的攻击范式：记忆窃取（memory extraction）与记忆注入（memory injection），揭示攻击者如何仅通过标准用户交互即可窃取或操纵智能体中存储的信息。这些攻击暴露了当前记忆架构中存在的根本性安全漏洞。
总体而言，在下一代大语言模型智能体的设计中，记忆既是一项强大的能力，也可能成为潜在的系统性风险，亟需重新审视与系统化建模。
论文：
How Memory Management Impacts LLM Agents: An Empirical Study of Experience-Following Behavior, 2025.
Unveiling Privacy Risks in LLM Agent Memory, ACL 2025.
Memory Injection Attacks on LLM Agents via Query-Only Interaction, NeurIPS 2025.
论文地址：
https://arxiv.org/abs/2505.16067
https://aclanthology.org/2025.acl-long.1227/
https://arxiv.org/abs/2503.03704v4
嘉宾
向臻，现任佐治亚大学（University of Georgia）计算学院助理教授，并同时隶属于人工智能研究所（Institute for Artificial Intelligence）以及网络安全与隐私研究所（Institute for Cybersecurity and Privacy）。他的研究方向包括可信机器学习、人工智能安全、大语言模型及智能体，以及统计信号处理。他担任多项重要机器学习会议的程序委员会委员，并任职于 IEEE TCSVT副编辑。
个人主页：
https://zhenxianglance.github.io/
入群
欢迎加入NICE每周分享交流群，可与NICEer唠嗑，以及第一时间收到后续NICE分享报告的通知。加群通过小助手认证，群内无广告。
NICE介绍
NICE（Nexus forIntelligenCE）是一个由全球50+位一线青年学者共同发起的顶尖AI前沿交流平台。 成立以来，我们汇聚海内外300+嘉宾，通过百余场线上深度分享与线下高规格活动（北京/上海/苏州等），全网积累超13万关注。目前，NICE已构建起覆盖中、美、欧的国际化团队，正加速在硅谷、纽约、香港等地落地，致力于打造连接学术、产业与未来的全球化AI前沿社区。
NICE主页
https://nice-nlp.github.io
NICE海外
https://nice-intl.github.io
b站
https://space.bilibili.com/507524288
Youtube
https://www.youtube.com/@NLPAcademicExchangePlatform