当前位置：首页 > news >正文

强化学习核心算法：蒙特卡洛与时序差分原理、对比及工程实践

news 2026/7/28 9:24:00

如果你刚开始接触强化学习，可能会觉得蒙特卡洛方法（Monte Carlo, MC）和时序差分算法（Temporal Difference, TD）是两个既相似又容易混淆的概念。它们都用于在不知道环境模型的情况下，通过与环境交互来学习策略的价值，但背后的更新逻辑和适用场景却截然不同。

一个常见的困惑是：为什么已经有了能等到“整局游戏结束”再更新、理论上无偏的蒙特卡洛方法，我们还需要一个“走一步看一步”、存在偏差的时序差分算法？这背后其实是一个关于“效率”与“偏差”的经典权衡，也是理解现代强化学习算法演进的关键。

本文将从生物学生（或任何领域的新手）最直观的“试错学习”场景出发，带你一步步拆解这两种核心方法。我们不会停留在公式推导，而是聚焦于三个核心问题：它们各自解决了什么痛点？在代码实现上关键区别在哪？以及，为什么时序差分算法（尤其是Q-learning）能成为后续深度Q网络（DQN）等里程碑工作的基石？

我们将通过经典的“悬崖漫步”（Cliff Walking）环境，用代码亲手实现并对比Sarsa和Q-learning这两个TD算法的代表，让你直观感受“在线策略”与“离线策略”学习带来的策略差异。你会发现，理解MC和TD，不仅仅是多学两个算法，更是掌握了一套评估和改善智能体行为的根本思维框架。

让我们先从一个简单的类比开始。假设你在学习一种新的实验技术，比如PCR。

蒙特卡洛方法就像你在完成整个实验流程（从样品准备到跑胶看结果）后，根据最终的条带是否清晰、亮度是否正确，来回头评价流程中每一个步骤（比如退火温度、延伸时间）的好坏。你只有等到实验完全结束，才能获得一个完整的、确定的“反馈”（成功或失败），然后用这个最终反馈去调整所有步骤的预期。
时序差分方法则更像一个有经验的师兄在旁边实时指导。你每进行一步操作（比如加完酶），他可能会根据当前混合液的状态，给你一个初步的反馈：“嗯，这步看起来没问题，接下来预期结果应该不错”。然后你进行下一步，他又会根据新的状态更新他的预估。你不需要等到最终结果，每一步都在结合当前观察和下一步的预期进行调整。

这两种方式对应了强化学习中价值函数更新的两种核心思想。

蒙特卡洛方法的核心理念非常直接：要评估一个状态（或状态-动作对）的价值，那就从这个状态出发，遵循某个策略，多次运行完整的回合（Episode），直到回合终止。然后，将每次获得的实际累计回报（从该状态到回合结束的所有奖励之和）记录下来，最后取这些回报的平均值，作为该状态价值的估计。

它的更新公式来源于贝尔曼方程中对价值的定义：G_t = R_{t+1} + γ * R_{t+2} + γ^2 * R_{t+3} + ...其中G_t是从时刻t开始的回报，γ是折扣因子。

对于蒙特卡洛方法，我们使用这个实际观测到的回报G_t作为更新目标。例如，对于每次访问蒙特卡洛方法，状态价值V(S_t)的更新为：V(S_t) ← V(S_t) + α * [G_t - V(S_t)]这里α是学习率。

它的核心优势与局限：

优势：无偏估计。因为它使用的是从真实环境中采样得到的完整回报，所以对价值的估计在大量采样后是理论无偏的。
局限：高方差、必须等待回合结束。回报G_t依赖于一长串的随机状态转移和奖励，波动可能非常大。更重要的是，你必须等到一个回合完全结束才能进行第一次更新，这在一些长回合或连续任务中效率极低。

时序差分方法巧妙地解决了蒙特卡洛“必须等待”的问题。它的核心思想是：不必等到最终结果，可以利用下一步的估计值来调整当前步的估计值。

它基于贝尔曼方程的另一种形式——贝尔曼期望方程：V(S_t) = E[R_{t+1} + γ * V(S_{t+1})]

时序差分方法将上述方程的右边部分作为更新目标。具体来说，TD(0)算法的更新公式为：V(S_t) ← V(S_t) + α * [R_{t+1} + γ * V(S_{t+1}) - V(S_t)]

请注意括号内的部分R_{t+1} + γ * V(S_{t+1}) - V(S_t)，它被称为TD误差（TD Error）。这个误差衡量了当前估计V(S_t)与基于下一步观察和估计所做出的新预测R_{t+1} + γ * V(S_{t+1})之间的差异。

它的核心优势与局限：

优势：在线学习、方差较低。每走一步就能立即更新，无需等待回合结束，学习速度更快。同时，因为只涉及一步的真实奖励和下一步的估计值，其更新的方差通常比蒙特卡洛的完整回报要小。
局限：有偏估计。因为更新目标中包含了另一个估计值V(S_{t+1})，而这个估计值本身可能是不准确的，所以TD目标是一个有偏估计。但随着学习的进行，偏差会逐渐减小。