第3章 近年关键进展综述：Reflexion、强化学习与层次化规划

===================================未经允许，不得转载，侵权必究=====================================================

近年来，大语言模型（Large Language Models, LLMs）在代理（Agent）领域的推理能力取得了显著突破。特别是在无需梯度更新的反思机制、强化学习（Reinforcement Learning, RL）对推理过程的直接优化、计划-执行（Plan-and-Execute）范式与层次化控制，以及工程框架支持等方面，涌现出一系列标志性工作。这些进展不仅提升了代理在复杂任务中的性能，还为构建更自主、可解释的智能系统提供了新范式。本章对Reflexion、基于RL的推理提升、计划-执行机制以及相关工程生态进行综述，重点分析其核心方法、实验证据及学术影响。

3.1 Reflexion：语言级反思与无梯度改进

3.1.1 Reflexion的方法论与实验证据

Reflexion（Shinn等，2023）代表了语言智能体自我改进范式的重大突破，其核心创新在于利用自然语言作为媒介实现无梯度优化。与传统微调方法不同，Reflexion构建了一个语言级元认知循环，通过生成反思文本指导后续行为优化，完全规避了梯度计算与参数更新过程。Reflexion 提出了一种创新的语言级自我反思框架，使代理能够在冻结模型权重的情况下，通过语言形式的试错反馈实现性能迭代。该方法标志着从传统微调向“口头强化学习”（