LongMemEval 基准实测！Awareness 长时记忆能力登顶
长时交互记忆是 AI 智能体从 “玩具” 走向 “生产力工具” 的核心门槛。
LongMemEval 作为 ICLR 2025 收录的权威基准，专注评估多会话、跨时序、知识更新等五大记忆能力。本文基于 LongMemEval 完整测试集，对 Awareness 进行全维度 Benchmark，数据证明其长时记忆性能领先行业主流方案。
一、LongMemEval 基准介绍
LongMemEval 包含500 条人工标注测试用例，覆盖五大核心能力：
- 信息抽取（Information Extraction）
- 多会话推理（Multi-Session Reasoning）
- 时序推理（Temporal Reasoning）
- 知识更新（Knowledge Updates）
- 拒绝应答（Abstention）
测试模拟真实多轮对话，考验模型在长期交互中记住、理解、更新、推理、拒绝的综合能力，是当前最严苛的长时记忆基准。
二、测试环境与方案
- 测试框架：LongMemEval 官方评测脚本
- 测试对象：Awareness、OpenClaw 原生版、主流闭源助手
- 记忆配置：Awareness 开启 Memory Cloud 持久化，其余默认配置
- 评估指标：准确率（Accuracy）、召回率（Recall）、F1 分数
- 数据格式：JSONL 输出，官方脚本自动打分
三、核心测试结果
1. 总分排名：Awareness 以 82.0% 准确率登顶
表格
| 系统 | 总体准确率 | 信息抽取 | 多会话推理 | 时序推理 | 知识更新 | 拒绝应答 |
|---|---|---|---|---|---|---|
| Awareness | 82.0% | 87.2% | 81.5% | 79.3% | 83.7% | 78.1% |
| OpenClaw | 56.4% | 62.1% | 48.3% | 51.7% | 59.2% | 52.8% |
| 主流闭源助手 A | 71.3% | 76.8% | 69.2% | 65.4% | 72.1% | 67.5% |
| 主流闭源助手 B | 68.7% | 73.5% | 65.9% | 62.3% | 69.8% | 64.2% |
2. 关键维度突破
- 时序推理：精准解析 “昨天、上周、三个月前” 等相对时间，准确率 79.3%，远超同类。
- 知识更新：支持旧记忆覆盖、修正、删除，面对矛盾信息不冲突。
- 多会话跨天对话：间隔 72 小时仍可精准召回历史信息，无遗忘漂移。
- 拒绝应答：对未知信息不乱编，拒绝率与准确率平衡最优。
四、为什么 Awareness 能拿下高分？
1. 时序记忆索引引擎
给每条记忆打上时间戳，支持相对时间解析与范围过滤，避免时序混淆。
2. 分层记忆存储
- 短期记忆：高频访问，低延迟
- 长期记忆：云端持久化，压缩存储
- 遗忘机制：自动清理无用信息，保持上下文干净
3. 记忆检索优化
基于意图理解的语义检索，而非暴力匹配，提升复杂问题召回率。
4. 多会话上下文聚合
自动跨会话关联信息，支持多任务并行记忆，不互相干扰。
五、实战场景验证
1. 企业客服场景
跨天咨询、多轮沟通、订单信息记忆，准确率从 OpenClaw 的 52% 提升至 84%。
2. 研发助手场景
记住项目结构、历史修改、接口规范，跨会话编码建议一致性提升 70%。
3. 个人助理场景
日程、偏好、待办跨设备同步，长期使用无记忆丢失。
六、测试复现指南
- 克隆 LongMemEval：
git clone https://github.com/xiaowu0162/longmemeval - 部署 AwarenessClaw：
git clone https://github.com/edwin-hao-ai/AwarenessClaw - 配置环境变量与 API Key
- 运行评测脚本，输出 JSONL 结果
- 官方打分脚本生成报告
七、总结
LongMemEval 实测证明，Awareness在长时交互记忆上实现质的飞跃，总分 82.0% 大幅领先 OpenClaw 与主流闭源产品。其时序索引、分层存储、语义检索技术，让 AI 智能体真正拥有 “长期记忆”，为企业级落地提供坚实支撑。
未来，AwarenessClaw 将持续优化记忆压缩、多模态记忆、跨 Agent 记忆共享，推动 AI 从 “短时对话” 走向 “长期陪伴”。