大模型Agent-应用小记【转载】

参考资料

• 万字长文解读LLM Agent：总体框架、经典论文与实践
• 万字长文解析Agent框架中的上下文管理策略
• 从Claude Code入手看Agent框架设计思路（基础篇）

Agent基础

• Agent基本定义
  • LLM+工具调用 / 长期记忆能力 / 规划能力

上下文管理

• 是什么？
  • 是
• 上下文工程
  • 上下文卸载与检索(Context Offload & Retrieval)：将信息转移到文件系统中
    • 将上下文卸载到文件系统（紧凑化, Compaction）
      • 信息可逆压缩，信息并未真正丢失——它们只是被卸载到文件系统中了，随时可以重新加载进来
    • 推理前检索 vs. "Just-in-time"检索
      • 灵活性：搜索的内容可以根据当前需求动态调整，不受预索引的限制。RAG 索引需要定期更新，而直接搜索始终反映最新状态
      • 渐进式寻找：例如在debug的时候，Agent 可以像人类一样，先 grep 查找函数定义，再搜索调用这个函数的位置，然后打开某个文件查看上下文——每一步都基于前一步的结果
  • 上下文摘要(Context Summarization)
    • 信息有损，所以需要将原始完整内容持续化保持到文件中
  • 上下文隔离（多智能体架构）
    • 节省主Agent的上下文
    • 权限控制
    • 特定领域专业化
    • 节约调用成本
  • 上下文缓存
    • KV Cache能复用相同prefix的结果。例如在多轮对话中，前几轮的历史内容可以作为prefix被缓存，后续请求只需处理新追加的内容。这样，即使上下文很长，TTFT（Time to First Token，首字延迟）仍能保持很低
• 常见QA
  • Q：什么时候使用紧凑化？摘要化？
    • A：应当优先采用可逆的紧凑化策略（如将大文件输出写入磁盘，只保留路径）。但当已经无法再紧凑化，而且上下文也确实即将耗尽时，再使用带备份的摘要化——完整dump聊天记录，然后再摘要，这样就可以让有损的压缩变得可恢复（这两种手段结合起来，Agent 理论上就能够处理无限长的任务，而无需无限大的上下文窗口，同时保留了关键信息）

上下文工程