基于大语言模型的自我提升智能体：从执行-评估-学习闭环到工程实践

1. 项目概述与核心价值

最近在GitHub上看到一个挺有意思的项目，叫“self-improving”，作者是Cat-tj。光看这个名字，你可能觉得有点抽象，但点进去之后，我发现它触及了一个非常核心且前沿的议题：如何让一个AI系统，或者说一个智能体，能够像人一样，在完成任务的过程中不断学习、反思、优化自己的行为，从而实现“自我提升”。这听起来有点像科幻小说里的情节，但Cat-tj的这个项目，正是朝着这个方向迈出的一个具体、可实践的探索。

简单来说，这个项目构建了一个能够执行任务、评估结果、并从失败中学习改进的智能体框架。它不再是一个简单的“输入-输出”黑盒，而是一个具备“元认知”能力的循环系统。想象一下，你让一个助手去网上查资料，它第一次可能因为关键词不准而失败，但一个“自我提升”的助手会分析这次失败，调整搜索策略，下次就能做得更好。这个项目的核心价值，就在于它提供了一个实现这种能力的脚手架和思路，对于任何想要研究智能体、自动化流程优化或AI持续学习的人来说，都是一个极佳的参考。

它适合谁呢？首先，肯定是AI工程师和研究者，尤其是对智能体（Agent）、强化学习、自动化工作流感兴趣的朋友。其次，对于希望构建更智能、更健壮的自动化脚本或机器人的开发者，这个项目里的“反思-优化”思想非常有借鉴意义。最后，即便是对AI有一定了解的爱好者，通过这个项目也能直观地理解“AI如何学习”这个抽象概念背后的具体工程实现。接下来，我就结合自己的理解和一些实践尝试，来深度拆解一下这个项目的设计思路、技术实现以及我们可以如何借鉴。

2. 核心架构与设计哲学拆解

2.1 “自我提升”的闭环逻辑

这个项目的灵魂在于它构建了一个清晰的“执行-评估-学习”闭环。传统的自动化脚本或简单的AI调用，往往是线性的：给定输入，执行预设逻辑，输出结果。成功与否，很大程度上取决于预设逻辑的完备性。而“self-improving”引入了一个关键的反馈环。

它的基本工作流可以概括为：任务执行 -> 结果评估 -> 问题诊断 -> 策略优化 -> 再次执行。这个循环不是无限进行的，通常会设置一个迭代上限或一个成功阈值。例如，智能体接到的任务是“获取某公司的最新股价”。第一次执行，它可能直接去搜索引擎搜索“某公司股价”，返回的结果可能是一个财经新闻页面，而不是结构化的实时数据。评估模块（可能基于规则或另一个AI模型）会判断这个结果不符合“结构化数据”的要求。诊断模块会分析原因：“搜索查询过于宽泛，导致返回了新闻页面而非数据接口或金融网站”。接着，优化模块会生成新的策略：“使用更精确的查询，如‘某公司 stock price Yahoo Finance API’或直接访问特定的金融数据网站”。然后，智能体带着新策略再次执行任务。

这个闭环的设计哲学，深受人类学习过程和强化学习中的“试错”机制影响。它承认初次尝试很可能不完美，但关键在于系统有能力识别不完美，并驱动自身做出改变。这比编写一个包含所有可能性的、无比复杂的静态规则系统要优雅和强大得多。

2.2 核心模块的角色与交互

要实现上述闭环，项目通常会包含几个核心模块，我们可以将其分解来看：

1. 任务规划与执行器：这是系统的“手和脚”。它接收具体的任务指令（如“写一份关于量子计算的简介”），并将其分解为可执行的动作序列（如：搜索“量子计算 基础原理” -> 阅读并总结前三篇高质量文章 -> 整合成一份300字的简介）。执行器负责调用外部工具，如搜索引擎API、代码解释器、文件系统操作等。

2. 结果评估器：这是系统的“眼睛和大脑的批判区”。它的职责是审视执行器的产出。评估标准可以是多维度的：

   • 事实准确性：产出的信息是否与可靠信源一致？
   • 任务符合度：产出是否完全满足了任务要求？（例如，字数、格式、主题）
   • 逻辑连贯性：产出的内容是否条理清晰，没有矛盾？
   • 可执行性：如果产出是一段代码或命令，它是否能被正确执行？ 评估器可以是一个规则系统（检查关键词、长度），也可以是一个AI模型（判断文本质量、代码正确性），或者是两者的结合。

3. 反思与诊断器：这是系统的“内省能力”。当评估器判定结果不理想时，诊断器需要像侦探一样，分析“为什么会失败？”。它需要访问任务历史、执行步骤、中间结果以及评估器的具体反馈。诊断的输出不是简单的“失败了”，而应该是具体的、可操作的归因，例如：“失败原因是在步骤2中，引用的资料来源权威性不足，且未能区分量子计算与经典计算的根本差异。”

4. 策略优化器：这是系统的“学习与进化引擎”。基于诊断器的归因，优化器需要生成一个改进后的行动计划或策略。这可能包括：

   • 修改动作参数：将搜索关键词从“量子计算”改为“量子计算基本原理 薛定谔方程”。
   • 调整动作顺序：先查阅权威教科书或百科定义，再去看最新的研究文章。
   • 引入新的动作：在总结后，增加一个“事实交叉验证”的步骤。
   • 替换执行工具：从通用搜索引擎切换到学术数据库。 优化器通常需要较强的推理和规划能力，因此往往由一个高级别的AI模型（如GPT-4等大语言模型）来担任。

5. 记忆与知识库：这是系统的“经验仓库”。每一次任务执行、评估、诊断和优化的完整记录，都应该被结构化地存储下来。这构成了系统的“经验”。当下次遇到类似任务时，系统可以先在记忆库中检索是否有成功的先例或失败的教训，从而避免重复犯错，加速学习过程。这是实现长期“自我提升”的关键。

注意：在实际项目中，这些模块的边界可能并非如此清晰，有时一个大型语言模型（LLM）可以同时承担规划、评估、诊断和优化的部分功能，通过精心设计的提示词（Prompt）来引导其扮演不同角色。项目的架构设计，就是在“模块化专精”和“LLM全能但不可控”之间寻找平衡。

3. 关键技术点与实现细节剖析

3.1 基于大语言模型的智能体核心

当前，实现“self-improving”能力最可行的技术路径，就是围绕大语言模型（LLM）来构建智能体。LLM强大的自然语言理解、生成和推理能力，使其能够胜任规划、诊断、优化等需要“思考”的工作。

核心实现模式：项目通常会采用“LLM-as-a-Judge”和“LLM-as-a-Planner”的组合模式。也就是说，用LLM来担任评估器和优化器/规划器。具体做法是设计两套（或多套）提示词模板：

• 执行提示词：引导LLM将用户任务分解为具体步骤。

  你是一个任务执行AI。你的目标是通过一系列步骤完成用户请求。 当前任务：{用户任务} 历史步骤和结果：{历史记录} 请规划下一步的具体动作（例如：搜索[关键词]， 调用[工具]处理[数据]， 编写[代码]等）。请只输出动作描述。

• 评估与诊断提示词：引导LLM对结果进行批判性评价。

  你是一个严格的质量评估AI。请评估以下任务完成情况。 原始任务：{用户任务} 提交的结果：{智能体产出} 请从准确性、完整性、相关性等方面进行评估，并指出任何具体错误或不足。如果存在不足，请分析可能的原因。

• 优化提示词：引导LLM基于诊断提出改进方案。

  基于以下任务执行历史和失败诊断，请提出一个改进后的执行计划。 任务：{用户任务} 失败执行历史：{历史步骤} 诊断出的问题：{诊断结果} 请生成一个全新的、能避免上述问题的步骤规划。

通过循环调用LLM并切换这些提示词角色，就模拟出了“思考-行动-反思-再行动”的过程。

3.2 工具调用与执行环境

智能体的“手和脚”必须能操作外部世界。这依赖于工具调用能力。项目需要集成一个工具库，并为LLM提供清晰的工具使用说明。

常见的工具包括：

• 网络搜索：通过SerpAPI、Google Search API等获取实时信息。
• 代码执行：提供一个安全的沙箱环境（如Docker容器），让智能体能够运行Python等代码来执行计算、数据处理等任务。
• 文件操作：读取、写入本地或云存储的文件。
• API调用：与外部服务（如数据库、天气服务、金融数据接口）进行交互。

关键实现细节：

1. 工具描述：必须为每个工具编写清晰、结构化的自然语言描述，包括功能、输入参数格式、输出示例。LLM依靠这些描述来理解何时以及如何使用工具。
2. 输出解析：工具执行后的返回结果（可能是JSON、文本、错误码）需要被规范化，以便LLM能够理解并作为下一步的输入。
3. 安全沙箱：对于代码执行类工具，绝对必须在隔离的、无网络（或受控网络）、资源受限的沙箱中运行，以防止智能体执行危险操作。这是项目安全的生命线。

3.3 记忆机制的设计

没有记忆，每次任务都是从头开始，就谈不上“提升”。记忆机制的设计是区分普通智能体和“自我提升”智能体的关键。

短期记忆（上下文）：即当前对话或单次任务循环中LLM所能看到的全部历史信息。这受限于LLM的上下文窗口长度。需要精心设计上下文的结构，将任务描述、已执行步骤、工具结果、评估反馈等高效地组织起来，在有限的窗口内传递最关键的信息。

长期记忆（向量数据库）：这是实现跨任务学习的关键。将过去成功和失败的任务记录（包括任务描述、执行轨迹、最终结果和评估）转化为文本，再通过嵌入模型转换为向量，存储到向量数据库（如ChromaDB, Pinecone, Weaviate）中。

工作流程：

1. 当新任务到来时，首先将任务描述转换为向量。
2. 在向量数据库中搜索与之最相似的过去任务记录（Top-K）。
3. 将这些相似的历史记录（作为“经验”或“教训”）作为上下文的一部分，提供给规划LLM。
4. LLM在规划时，就可以参考历史经验，例如：“上次我用A方法做类似任务失败了，因为……，这次我应该尝试B方法。”

这种“基于经验的规划”极大地提升了智能体的起点和成功率，是“自我提升”的直观体现。

3.4 评估标准的量化与自动化

“自我提升”需要一个客观的“标尺”，这就是评估标准。让LLM自己评估自己（LLM-as-a-Judge）虽然灵活，但也存在主观和不稳定的问题。为了更可靠，项目常常会结合多种评估方式：

• 规则性检查：对于有明确标准的任务（如“生成一个包含5个条目的列表”），可以直接用程序检查输出是否满足数量、格式要求。
• 基于黄金答案的评估：对于有标准答案的任务，可以使用BLEU、ROUGE等文本相似度指标，或直接使用LLM对比智能体输出与标准答案的语义一致性。
• 可执行性验证：如果输出是代码或命令，最直接的评估就是实际运行它，看是否能成功执行并产生预期结果。
• 多模型交叉验证：除了主LLM，可以引入另一个LLM（甚至不同家族的模型）作为“独立评审员”，对主LLM的产出进行评估，减少单一模型的偏见。

一个健壮的评估模块，往往是规则、自动化指标和LLM判断的混合体。在设计时，需要为不同类型的任务预设不同的评估策略。

4. 实操构建：从零搭建一个简易自提升智能体

理解了原理，我们可以动手搭建一个简化版的“self-improving”智能体。这里我们以“数据查询与可视化”为例，构建一个能通过自我改进来正确获取数据并生成图表的智能体。

4.1 环境准备与工具集成

我们选择Python作为开发语言，使用OpenAI的GPT-4作为核心LLM，LangChain框架来简化智能体构建流程。

基础环境搭建：

# 创建虚拟环境 python -m venv venv_self_improve source venv_self_improve/bin/activate # Linux/Mac # venv_self_improve\Scripts\activate # Windows # 安装核心依赖 pip install openai langchain langchain-openai langchain-community chromadb requests pandas matplotlib

关键工具封装： 我们需要为智能体封装几个基础工具：网络搜索（模拟）、数据获取（模拟API）、绘图工具。

# tools.py import json import pandas as pd import matplotlib.pyplot as plt from typing import Dict, Any class ToolSet: """模拟的工具集""" @staticmethod def web_search(query: str) -> str: """模拟网络搜索，根据查询返回预设的文本信息。""" # 这里简化为一个字典查找，真实场景应调用SerpAPI等 knowledge_base = { "特斯拉 2023年 季度 销量": "根据公开数据，特斯拉2023年第一季度全球交付约42.3万辆，第二季度约46.6万辆，第三季度约43.5万辆，第四季度约48.5万辆。", "苹果公司 2023 营收": "苹果公司2023财年（截至2023年9月）总营收为3832.9亿美元。", "量子计算 原理": "量子计算利用量子比特的叠加和纠缠特性进行并行计算，其基本单元是量子比特，不同于经典比特的0或1状态。" } return knowledge_base.get(query, f"未找到关于'{query}'的精确信息。请尝试更具体的关键词。") @staticmethod def fetch_financial_data(company: str, metric: str, periods: list) -> str: """模拟从金融API获取数据，返回JSON字符串。""" # 模拟数据 data = { "特斯拉": {"营收": [100, 120, 115, 130], "销量": [42.3, 46.6, 43.5, 48.5]}, "苹果": {"营收": [900, 950, 980, 1000], "利润率": [0.42, 0.43, 0.44, 0.45]} } if company in data and metric in data[company]: values = data[company][metric] result = [{"period": p, "value": v} for p, v in zip(periods, values)] return json.dumps(result, ensure_ascii=False) else: return json.dumps({"error": f"未找到{company}的{metric}数据"}, ensure_ascii=False) @staticmethod def plot_line_chart(data_json: str, title: str, x_label: str, y_label: str) -> str: """根据JSON数据绘制折线图，保存为文件并返回路径。""" try: data = json.loads(data_json) if isinstance(data, list): periods = [d.get('period', f'Q{i+1}') for i, d in enumerate(data)] values = [d.get('value') for d in data] plt.figure(figsize=(10,6)) plt.plot(periods, values, marker='o') plt.title(title) plt.xlabel(x_label) plt.ylabel(y_label) plt.grid(True) file_path = f"./plot_{hash(title)}.png" plt.savefig(file_path) plt.close() return f"图表已生成并保存至：{file_path}" else: return f"数据格式错误，无法绘图。收到数据：{data}" except Exception as e: return f"绘图过程中发生错误：{str(e)}"

4.2 构建核心循环与智能体逻辑

接下来，我们使用LangChain的AgentExecutor来构建智能体循环，并为其注入“评估-优化”的逻辑。

# agent_core.py import os from langchain.agents import AgentExecutor, create_openai_tools_agent from langchain_openai import ChatOpenAI from langchain.memory import ConversationBufferMemory from langchain.prompts import ChatPromptTemplate, MessagesPlaceholder from langchain.tools import Tool from langchain.schema import SystemMessage, HumanMessage, AIMessage from tools import ToolSet # 1. 初始化LLM和工具 llm = ChatOpenAI(model="gpt-4-turbo-preview", temperature=0, api_key=os.getenv("OPENAI_API_KEY")) tools = [ Tool( name="WebSearch", func=ToolSet.web_search, description="当需要查找实时信息、概念解释或公开数据时使用此工具。输入应为具体的搜索查询词。" ), Tool( name="FetchFinancialData", func=ToolSet.fetch_financial_data, description="获取指定公司的财务或运营指标数据。输入参数：company（公司名，如'特斯拉'）， metric（指标，如'销量'）， periods（时期列表，如['2023-Q1','2023-Q2']）。返回JSON格式数据。" ), Tool( name="PlotLineChart", func=ToolSet.plot_line_chart, description="根据提供的JSON数据绘制折线图。输入参数：data_json（JSON字符串格式的数据列表）， title（图表标题）， x_label（X轴标签）， y_label（Y轴标签）。返回图表文件路径或错误信息。" ) ] # 2. 定义智能体提示词 system_prompt = """你是一个具备自我反思和提升能力的AI助手。你的目标是尽最大努力完成用户的任务。 你拥有以下工具：{tools}。 请遵循以下步骤思考： 1. 理解用户任务的深层需求。 2. 规划使用工具的执行步骤。 3. 执行规划，使用工具。 4. 观察工具返回的结果。 5. 如果结果不理想（如信息不全、格式错误、无法绘图），分析原因并调整策略，重新规划步骤。 6. 重复3-5步，直到任务成功或达到最大尝试次数。 在每次行动前，简要说明你的思考。你的最终输出应是任务的成功结果或清晰的失败说明及原因分析。""" prompt = ChatPromptTemplate.from_messages([ SystemMessage(content=system_prompt), MessagesPlaceholder(variable_name="chat_history"), HumanMessage(content="{input}"), MessagesPlaceholder(variable_name="agent_scratchpad") # 用于存放工具调用和结果的历史 ]) # 3. 创建智能体 agent = create_openai_tools_agent(llm, tools, prompt) agent_executor = AgentExecutor(agent=agent, tools=tools, verbose=True, max_iterations=5, handle_parsing_errors=True) # 4. 简单的评估函数（模拟） def evaluate_result(task: str, final_output: str) -> tuple: """简易评估：检查输出是否包含关键信息和成功信号。""" success_keywords = ["图表已生成", "数据如下", "结果是"] error_keywords = ["错误", "失败", "未找到", "无法"] has_success = any(kw in final_output for kw in success_keywords) has_error = any(kw in final_output for kw in error_keywords) if has_success and not has_error: return True, "任务成功完成，输出包含有效结果。" elif has_error: return False, f"输出中包含错误指示：{final_output}" else: return False, "输出不明确，既无明确成功信号，也无错误信息，可能未完全满足任务需求。" # 5. 自我提升循环 def self_improving_agent_loop(user_task: str, max_retries=2): """带自我改进循环的智能体执行函数。""" memory = ConversationBufferMemory(memory_key="chat_history", return_messages=True) full_history = [] for attempt in range(max_retries + 1): # 初始尝试 + 重试次数 print(f"\n=== 尝试第 {attempt + 1} 次 ===") # 执行智能体 try: result = agent_executor.invoke({"input": user_task, "chat_history": memory.chat_memory.messages}) final_output = result["output"] full_history.append(f"尝试{attempt+1}输出: {final_output}") except Exception as e: final_output = f"智能体执行异常: {str(e)}" full_history.append(f"尝试{attempt+1}异常: {final_output}") # 评估结果 is_success, evaluation = evaluate_result(user_task, final_output) print(f"评估结果: {evaluation}") if is_success: print("任务成功！") return final_output, full_history else: print(f"任务未完全成功。") if attempt < max_retries: # 基于失败结果，生成改进提示，并入记忆，供下次尝试参考 reflection_prompt = f""" 上一次尝试的结果不理想。评估反馈是：{evaluation}。 上一次的完整输出是：{final_output}。 请分析失败原因，并在下一次尝试中调整你的策略。原始任务仍然是：{user_task}。 """ # 将反思作为新的用户输入，加入到对话历史中，引导下一次尝试 memory.chat_memory.add_user_message(reflection_prompt) full_history.append(f"反思注入: {reflection_prompt}") else: print("已达到最大重试次数。") return final_output, full_history # 运行示例 if __name__ == "__main__": task = "获取特斯拉2023年各季度的销量数据，并绘制成折线图。" final_result, history = self_improving_agent_loop(task, max_retries=1) print("\n--- 最终结果 ---") print(final_result) print("\n--- 完整执行历史 ---") for h in history: print(h)

4.3 循环过程解析与效果演示

运行上面的代码，智能体可能会经历如下过程：

第一次尝试：

1. 规划：LLM理解任务，可能规划步骤：1) 搜索“特斯拉 2023 季度 销量”；2) 整理数据；3) 调用绘图工具。
2. 执行：调用WebSearch(“特斯拉 2023 季度 销量”)，获得一段文本描述。
3. 问题：智能体可能试图直接将这段文本描述（非结构化）传递给PlotLineChart工具。
4. 结果：PlotLineChart工具会报错，因为输入的不是它期望的JSON格式。评估函数会捕获到这个错误。
5. 评估：evaluate_result检测到输出中包含“错误”或“无法绘图”，判定失败。

反思与第二次尝试：

1. 反思注入：系统将失败评估和错误输出作为新的上下文，注入到对话历史中。提示词变为：“上一次尝试失败了，因为绘图工具需要JSON数据，但你提供了文本。请调整策略。”
2. 重新规划：LLM根据新的上下文，意识到需要先获取结构化的数据。它可能规划新步骤：1) 调用FetchFinancialData工具，明确指定公司、指标和周期；2) 将返回的JSON数据传递给PlotLineChart工具。
3. 再执行：这次，FetchFinancialData成功返回JSON，PlotLineChart成功生成图表。
4. 评估：输出中包含“图表已生成”，评估成功。

这个过程虽然简单，但完整地演示了“执行-评估-反思-优化-再执行”的自我提升闭环。智能体从第一次的“工具使用不当”中学习，在第二次调整了策略，选择了正确的工具和正确的数据格式。

5. 进阶挑战与优化方向

5.1 评估模块的强化

我们上面的evaluate_result函数非常简陋。在实际项目中，评估模块的强化是提升“自我提升”效果的关键。

• 多维度评估：设计一个评估链（LLM Chain），让LLM从多个维度（准确性、完整性、相关性、格式、安全性）对输出进行打分（1-5分），并给出详细的评语。
• 可验证性评估：对于涉及事实或数据的任务，评估模块可以主动调用搜索工具去验证智能体输出中的关键陈述。
• 基于规则的硬性检查：对于有明确要求的任务（如“生成一个包含3个步骤的列表”），在LLM评估前先用正则表达式或简单解析检查数量、格式是否符合，不符合则直接判定失败，无需调用LLM，节省成本并提高准确性。

5.2 长期记忆与经验库的构建

要实现跨任务的提升，必须建立长期记忆。我们可以使用向量数据库来存储“任务-解决方案”对。

# memory_manager.py (简略示例) from langchain.embeddings import OpenAIEmbeddings from langchain.vectorstores import Chroma from langchain.schema import Document class ExperienceMemory: def __init__(self, persist_directory="./exp_db"): self.embeddings = OpenAIEmbeddings() self.vectorstore = Chroma(persist_directory=persist_directory, embedding_function=self.embeddings) def store_experience(self, task: str, solution: str, success: bool): """存储一次任务经验。""" doc = Document( page_content=f"Task: {task}\nSolution: {solution}\nSuccess: {success}", metadata={"task": task, "success": success} ) self.vectorstore.add_documents([doc]) self.vectorstore.persist() def retrieve_similar_experiences(self, query: str, k=3): """检索相似的任务经验。""" docs = self.vectorstore.similarity_search(query, k=k) return [doc.page_content for doc in docs]

在智能体规划前，先调用retrieve_similar_experiences，将检索到的历史经验作为系统提示词的一部分，例如：“以下是过去解决类似任务的经验（成功/失败）：[历史经验]。请参考这些经验来规划当前任务。” 这能显著提升智能体的起点质量。

5.3 策略优化的精细化

当前的优化策略比较简单（通过反思提示词引导）。更精细化的优化可以包括：

• 动作级别的修正：不仅告诉LLM“上次失败了”，而是具体指出“在第二步调用WebSearch时，查询词‘销量’太宽泛，应改为‘季度交付量’”。
• 工具选择优化：记录每个工具在不同任务场景下的成功率，动态调整工具推荐优先级。例如，对于数据查询任务，FetchFinancialData的成功率远高于WebSearch，那么在规划时就应优先考虑前者。
• 参数自动调优：对于需要参数的步骤（如搜索关键词），可以设计一个简单的优化循环，基于评估反馈自动生成和测试不同的参数组合。

5.4 安全性与稳定性考量

“自我提升”的智能体能力越强，潜在风险也越高。

• 操作权限控制：严格限制工具的可访问范围。文件操作工具只能访问特定工作目录；代码执行工具必须在资源受限的沙箱中运行。
• 目标劫持防护：智能体在循环中可能会偏离原始任务目标。需要在每次迭代中，将原始任务描述重新注入上下文，并让评估模块检查当前执行是否仍与核心目标相关。
• 无限循环预防：必须设置严格的迭代次数上限（如max_iterations）和超时机制，防止智能体陷入死循环。
• 成本控制：LLM调用和工具使用（如搜索API）都可能产生费用。需要监控每次任务循环的token消耗和API调用次数，设置预算上限。

6. 典型问题排查与实战心得

在实际构建和测试这类系统时，会遇到一些典型问题。

6.1 智能体陷入无效循环或动作重复

现象：智能体反复执行相同或类似的无效动作，无法跳出循环。原因：

1. 评估模块不够敏锐，无法识别出“重复”或“无效”的模式。
2. 反思提示词引导性不强，未能促使LLM产生实质性的策略变更。
3. 上下文管理混乱，导致智能体“忘记”了已经尝试过的错误路径。

解决方案：

• 增强评估：在评估函数中加入对动作历史的检查，如果连续N步的动作语义相似，则判定为“陷入循环”，并给出强力的修正指令。
• 改进反思：在反思提示词中明确要求“提出与之前尝试截然不同的方法”，或者提供几个潜在的改进方向供LLM选择。
• 清晰化上下文：在对话历史中，显式地标记出“上一次尝试的步骤”和“结果”，帮助LLM更好地理解现状。

6.2 LLM的“幻觉”导致诊断错误

现象：评估结果本身是准确的（如图表生成失败），但LLM在诊断原因时，给出了完全错误的归因（例如，怪罪数据本身有问题，而实际是数据格式错误）。原因：LLM基于其训练数据中的模式进行推理，可能产生与当前具体上下文不符的“幻觉”。

解决方案：

• 提供更具体的上下文：将工具返回的原始错误信息（如Python的Exception Traceback）直接提供给诊断LLM，而不是经过概括的描述。
• 分步诊断：先让LLM判断错误类型（是工具调用错误、数据格式错误还是逻辑错误？），再针对具体类型进行深入诊断。
• 多轮验证：对于重要的诊断结论，可以设计一个简单的验证步骤。例如，诊断说“数据缺失”，就让智能体先执行一个“检查数据完整性”的验证动作。

6.3 系统响应速度慢，成本高

现象：完成一个简单任务需要多次LLM调用和工具执行，耗时数十秒甚至分钟，API调用成本累积。原因：自我提升循环本质上是多次迭代，每次迭代都包含规划、执行、评估等多个LLM调用步骤。

优化策略：

• 使用轻量级模型：对于评估、诊断等相对简单的任务，可以尝试使用更便宜、更快的模型（如GPT-3.5-Turbo），而将核心的规划和复杂推理留给GPT-4。
• 缓存机制：对于相同的工具调用请求（如搜索相同的关键词），可以缓存结果，避免重复调用产生成本和延迟。
• 设置早期退出条件：如果评估模块在早期就判定结果质量很高，可以提前终止循环，避免不必要的迭代。
• 异步执行：如果任务中的多个步骤没有强依赖关系，可以考虑异步执行，减少总体等待时间。

6.4 个人实战心得

1. 从小任务开始：不要一开始就试图让智能体完成一个非常宏大、开放的任务（如“写一份行业分析报告”）。从定义清晰、边界明确的小任务开始（如“获取A公司最近四个季度的营收数据并计算环比增长率”），更容易构建闭环和评估标准。
2. 评估标准先行：在开发执行逻辑之前，先花时间定义清楚“什么是成功”。一个可量化、可自动化的评估标准是项目成功的基石。模糊的评估会导致循环失效。
3. 日志是生命线：必须详细记录每一次循环的完整输入、输出、中间步骤、工具调用结果和评估反馈。这些日志是调试和优化系统最宝贵的资料。当出现问题时，回放日志往往能立刻定位到问题环节。
4. 提示词工程是核心：整个系统的“智能”很大程度上来自于精心设计的提示词。特别是系统提示词（定义角色和目标）、反思提示词（引导有效归因）和评估提示词（设定质量标准）。需要像编写产品说明书一样反复打磨这些提示词。
5. 接受不完美：“自我提升”是一个渐进的过程。初期智能体的成功率可能不高，迭代次数可能很多。关键是要确保每次失败都能产生有价值的“诊断”，并且系统有能力基于诊断做出有意义的调整。只要这个学习循环是有效的，智能体的表现就会随着“经验”的积累而逐步提升。