当前位置：首页 > news >正文

AI Agent短期记忆完全指南：4种处理长对话问题的方法+代码详解

news 2026/5/11 21:43:36

文章详细介绍了AI Agent的短期记忆机制，分析了长对话引发的上下文丢失、响应变慢等问题，提供了4种解决方案：修剪消息、删除消息、总结消息和自定义策略。通过代码示例展示了如何实现Agent短期记忆，包括基础用法、自定义状态、消息处理方法，以及工具如何读写短期记忆。这些技术帮助AI Agent记住对话历史，提升交互质量和效率。

短期记忆是线程隔离的，让应用程序能够记住单个线程或对话中的先前交互。对于 AI agents 而言，记忆至关重要，因为它能让他们记住之前的交互、从反馈中学习并适应用户偏好。

会话历史记录 (Conversation history)是短期记忆最常见的形式。

/长对话引发的问题/

完整的历史记录太长，超出了 LLM 的token(上下文窗口) 数，导致上下文丢失或错误。

即使模型支持完整的上下文长度，它们会被陈旧或跑题的内容“分心”，同时还会导致响应时间变慢和成本更高。

针对以上两个问题，常见的处理方式有 4 种

修剪消息 (Trim messages) ：在调用 LLM 之前，移除最初或最后的 N 条消息

删除消息 (Delete messages) ：从状态中永久删除消息

总结消息 (Summarize messages)：总结历史记录中较早的消息，并用摘要替换它们。(推荐)

自定义策略 (Custom strategies)：自定义策略（例如：消息过滤等）。

/用法/

Agent 添加短期记忆，需要在创建 Agent 时指定一个checkpointer。Agent 会维护一个 state 状态，默认为 AgentState，状态使用 checkpointer 持久化到数据库（或内存）中，以便线程可以随时恢复。当 Agent 被调用或一个步骤（如工具调用）完成时，短期记忆会更新，并在每个步骤开始时读取状态。

👀

基础用法

from langchain.agents import create_agent from langgraph.checkpoint.memory import InMemorySaver agent = create_agent( "openai:gpt-5", [get_user_info], checkpointer=InMemorySaver(), ) agent.invoke( {"messages": [{"role": "user", "content": "Hi! My name is Bob."}]}, config={"configurable": {"thread_id": "1"}}, )

创建 Agent 时一定要指定 checkpointer，在生产环境中，请使用由数据库支持的 checkpointer；Agent 执行时一定要传递 config={“configurable”: {“thread_id”: “1”}}

👀

自定义 Agent state

自定义 state，需要继承 AgentState，并在创建 Agent 时指定 state_schema。

from langchain.agents import create_agent, AgentState from langgraph.checkpoint.memory import InMemorySaver class CustomAgentState(AgentState): user_id: str preferences: dict agent = create_agent( "openai:gpt-5", [get_user_info], state_schema=CustomAgentState, checkpointer=InMemorySaver(), ) result = agent.invoke( { "messages": [{"role": "user", "content": "Hello"}], "user_id": "user_123", "preferences": {"theme": "dark"} }, config={"configurable": {"thread_id": "1"}})

👀

修剪消息

@before_model def bm_trim_messages(state: AgentState, runtime: Runtime) -> dict[str, Any] | None: """Trim messages to fit within the model's token limit.""" messages = state["messages"] return { "messages": trim_messages( messages, max_tokens=64, strategy="last", token_counter=count_tokens_approximately, start_on="human", include_system=True, allow_partial=False, ) } agent = create_agent( 你的模型, tools=[], middleware=[bm_trim_messages], checkpointer=InMemorySaver() )

👀

删除消息

@after_model def delete_old_messages(state: AgentState, runtime: Runtime) -> dict | None: """Remove old messages to keep conversation manageable.""" messages = state["messages"] if len(messages) > 2: # remove the earliest two messages return {"messages": [RemoveMessage(id=m.id) for m in messages[:2]]} return None agent = create_agent( 你的模型, tools=[], system_prompt="Please be concise and to the point.", middleware=[delete_old_messages], checkpointer=InMemorySaver(), )

👀

总结消息

agent = create_agent( model="gpt-4o", tools=[], middleware=[ SummarizationMiddleware( model="gpt-4o-mini", trigger=("tokens", 4000), keep=("messages", 20), summary_prompt="总结的系统提示词", ) ], checkpointer=InMemorySaver(), )

👀

工具读取短期记忆

使用 runtime:ToolRuntime 参数

class CustomState(AgentState): user_id: str @tool def get_user_info( runtime: ToolRuntime ) -> str: """Look up user info.""" user_id = runtime.state["user_id"] # 这里的state是自定义的，增加了user_id属性 return "User is John Smith" if user_id == "user_123" else "Unknown user"

👀

从工具写入短期记忆

如果需要更新自定义状态类的自定义属性，需要使用 Command；如果只更新 messages，直接返回数据即可。

class CustomState(AgentState): user_name: str class CustomContext(BaseModel): user_id: str @tool def update_user_info( runtime: ToolRuntime[CustomContext, CustomState], ) -> Command: """Look up and update user info.""" user_id = runtime.context.user_id name = "John Smith" if user_id == "user_123" else "Unknown user" return Command(update={ "user_name": name, # update the message history "messages": [ ToolMessage( "Successfully looked up user information", tool_call_id=runtime.tool_call_id ) ] }) @tool def greet( runtime: ToolRuntime[CustomContext, CustomState] ) -> str: """Use this to greet the user once you found their info.""" user_name = runtime.state["user_name"] return f"Hello {user_name}!" agent = create_agent( model="openai:gpt-5-nano", tools=[update_user_info, greet], state_schema=CustomState, context_schema=CustomContext, ) agent.invoke( {"messages": [{"role": "user", "content": "greet the user"}]}, context=CustomContext(user_id="user_123"), )

👀

动态提示获取短期记忆

class CustomContext(AgentState): user_name: str @dynamic_prompt def dynamic_system_prompt(request: ModelRequest) -> str: runtime = request.runtime state = runtime.state user_name = state["user_name"] system_prompt = f"You are a helpful assistant. Address the user as {user_name}." return system_prompt

相关文章：