Prompt Engineering在AI Agent中的高级技巧：从Chain-of-Thought到Tree-of-Thought

Prompt Engineering在AI Agent中的高级技巧：从Chain-of-Thought到Tree-of-Thought

引言：提示词工程是Agent的"操作系统"

在大语言模型驱动的AI Agent体系中，提示词工程（Prompt Engineeringï¼‰ä¸ä» æ˜¯"è¾“å ¥ä¼˜åŒ–"的技术，更是定义Agent行为模式、推理能力和决策质量的底层机制。如果说大模型是Agent的"大脑"，那么提示词就是"操作系统"â€”â€”å®ƒå†³å®šäº†å¤§è„‘å¦‚ä½•æ„ŸçŸ¥çŽ¯å¢ƒã€å¦‚ä½•è°ƒç”¨å·¥å ·ã€å¦‚ä½•è¿›è¡ŒæŽ¨ç†ã€å¦‚ä½•è¾“å‡ºç»“æžœã€‚ä»Žæ—©æœŸçš„Zero-Shot/Few-Shot提示，到Chain-of-Thought（CoT），再到Tree-of-Thought（ToT）和Graph-of-Thought（GoTï¼‰ï¼Œæç¤ºè¯å·¥ç¨‹æŠ€æœ¯åœ¨çŸ­çŸ­ä¸¤å¹´å† ç»åŽ†äº†å¿«é€Ÿè¿­ä»£ã€‚æœ¬æ–‡å°†ä»ŽåŽŸç†åˆ°å®žè·µï¼Œæ·±å ¥å‰–æžè¿™äº›é«˜çº§æŠ€å·§åœ¨AI Agentä¸­çš„å ·ä½“åº”ç”¨ã€‚

一、Chain-of-Thought：让模型"出声思考"

1.1 CoT的原理与价值

Chain-of-Thoughtï¼ˆæ€ç»´é“¾ï¼‰æç¤ºæŠ€æœ¯çš„æ ¸å¿ƒæ´žè§æ˜¯ï¼šå¤§è¯­è¨€æ¨¡åž‹åœ¨ç”Ÿæˆæœ€ç»ˆç­”æ¡ˆå‰ï¼Œå¦‚æžœå ˆè¾“å‡ºä¸­é—´æŽ¨ç†æ­¥éª¤ï¼Œå ¶æŽ¨ç†å‡†ç¡®çŽ‡ä¼šæ˜¾è‘—æå‡ã€‚è¿™ä¸€çŽ°è±¡åœ¨Google Research 2022年的论文《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》中得到系统验证。

从认知科学角度看，CoT模拟了人类的"出声思考"（Think Aloudï¼‰ç­–ç•¥ã€‚å½“é¢å¯¹å¤æ‚é—®é¢˜æ—¶ï¼Œäººç±»é€šè¿‡å°†æ€è€ƒè¿‡ç¨‹å¤–åŒ–æ¥å‡å°‘è®¤çŸ¥è´Ÿè·ã€å‘çŽ°é€»è¾‘æ¼æ´žã€‚å¤§æ¨¡åž‹åŒæ ·å—ç›ŠäºŽè¿™ç§"思考过程外化"——将隐式的推理转化为显式的文本序列，使每个推理步骤都受到后续Token生成过程的约束和修正。

1.2 CoT在Agent中的基础实现

在AI Agent场景中，CoTä¸ä» æ˜¯æé«˜å›žç­”è´¨é‡çš„æŠ€å·§ï¼Œæ›´æ˜¯å®žçŽ°å·¥å ·è°ƒç”¨ã€å¤šæ­¥éª¤å†³ç­–çš„åŸºç¡€ã€‚ä»¥ä¸‹æ˜¯ä¸€ä¸ªReActé£Žæ ¼çš„CoT实现：

# 基础CoT提示模板 COT_PROMPT = """ä½ æ˜¯ä¸€ä¸ªæ™ºèƒ½åŠ©æ‰‹ï¼Œè¯·æŒ‰ç §ä»¥ä¸‹æ­¥éª¤è§£å†³é—®é¢˜ï¼š 问题：{question} 请逐步思考并回答： Step 1ï¼šç†è§£é—®é¢˜çš„æ ¸å¿ƒè¦æ±‚ Step 2：分析已知条件和可能的解决方法 Step 3ï¼šæ‰§è¡Œå ·ä½“çš„æŽ¨ç†æˆ–è®¡ç®— Step 4：验证结果的正确性 Step 5：给出最终答案 思考过程：""" # 在LangChain中使用 from langchain.prompts import PromptTemplate from langchain_openai import ChatOpenAI cot_prompt = PromptTemplate.from_template(COT_PROMPT) llm = ChatOpenAI(model="gpt-4") chain = cot_prompt | llm result = chain.invoke({"question": "一个矩形花园，长是宽的两倍，周长是60米，面积是多少？"})

1.3 Few-Shot CoT：用示例引导推理模式

对于复杂任务，纯文本的CoT指令可能不够，需要通过示例（Few-Shot）来引导模型掌握特定的推理模式：

FEW_SHOT_COT_PROMPT = """ä»¥ä¸‹æ˜¯ä¸€äº›æŽ¨ç†ç¤ºä¾‹ï¼Œè¯·æŒ‰ç §ç›¸åŒçš„æ¨¡å¼å›žç­”é—®é¢˜ï¼š 示例1： 问题：小明有3个苹果，给了小红1个，又买了2ä¸ªï¼ŒçŽ°åœ¨æœ‰å‡ ä¸ªï¼Ÿ 思考：小明开始有3个苹果。给了小红1个后，剩下3-1=2个。又买了2个，现在有2+2=4个。 答案：4 示例2： 问题：一个水箱，进水阀每分钟进5升，出水阀每分钟出3升，水箱原有10å‡æ°´ï¼Œå¤šä¹ èƒ½è£ æ»¡50升？ æ€è€ƒï¼šæ¯åˆ†é’Ÿå‡€å¢žåŠ 5-3=2升。需要从10å‡å¢žåŠ åˆ°50å‡ï¼Œéœ€è¦å¢žåŠ 40升。40÷2=20分钟。 答案：20分钟 现在请回答： 问题：{question} 思考：""" # 在Agent中的应用 from langchain.agents import create_react_agent from langchain.tools import tool @tool def calculate(expression: str) -> str: """执行数学计算""" try: return str(eval(expression)) except: return "计算错误" tools = [calculate] # ReAct Agent天然使用CoTé£Žæ ¼ agent = create_react_agent(llm, tools, FEW_SHOT_COT_PROMPT)

1.4 Auto-CoT：自动化的示例生成

手动编写Few-Shot示例耗时且难以覆盖所有场景。Auto-CoT技术通过聚类算法自动从问题库中选取代表性问题，并使用Zero-Shot-CoT生成对应的推理链，构建自动化的示例集：

from sklearn.cluster import KMeans import numpy as np def auto_cot(question_pool, llm, k=5): """ 自动为问题库生成CoT示例 """ # Step 1: å¯¹é—®é¢˜ç¼–ç ï¼ˆå¯ä½¿ç”¨åµŒå ¥æ¨¡åž‹ï¼‰ embeddings = get_embeddings(question_pool) # 获取问题向量表示 # Step 2: K-Means聚类，选择代表性问题 kmeans = KMeans(n_clusters=k, random_state=42) clusters = kmeans.fit_predict(embeddings) # Step 3: 从每个聚类中选择最接近中心的问题 representatives = []