强化学习避坑指南：Sutton第二章中关于探索与开发的7个常见误区（附习题精讲）
强化学习避坑指南：探索与开发平衡的7个致命误区
当你第一次翻开Sutton的《强化学习》第二章，看到那个经典的10臂赌博机问题时，可能会觉得"这不就是个简单的概率游戏吗？"。但真正动手实现时，却发现那些看似直观的算法藏着无数陷阱——为什么我的ε-greedy在测试集表现飘忽不定？为什么乐观初始值会在某个时间点突然"崩盘"？这些问题背后，都指向强化学习最核心的哲学命题：探索与开发的精妙平衡。
1. ε-greedy的隐藏陷阱：你以为的随机并不是真随机
很多教程会把ε-greedy算法描述为"以ε概率探索，1-ε概率开发"的简单策略。但当你真正计算习题2.1时，会发现两个动作情况下ε=0.5时，贪心动作被选中的概率不是50%，而是75%。这个反直觉的结果揭示了算法设计的第一个误区：
- 概率叠加效应：探索阶段仍然有可能选中当前最优动作
- 动作空间影响：总选择概率 = 开发概率 + (探索概率 × 1/动作数量)
- 参数敏感区：当ε>0.3时，探索效率会非线性下降
# ε-greedy实际选择概率计算 def epsilon_greedy_prob(epsilon, n_actions): return (1 - epsilon) + (epsilon / n_actions) # 两个动作，ε=0.5时的真实概率 print(epsilon_greedy_prob(0.5, 2)) # 输出0.75提示：在动作空间较大时（如10臂赌博机），即使ε=0.1也会有10%的基线探索概率，这可能比预期更高。
2. 乐观初始化的双刃剑：早期表现背后的代价
图2.3中那个神奇的"乐观初始值"曲线让很多人眼前一亮——初期100%的最优动作选择率！但继续观察就会发现，大约在20步后性能开始剧烈震荡。这是因为：
| 阶段 | 机制 | 潜在风险 |
|---|---|---|
| 初期 | 高初始值迫使全面探索 | 资源浪费在明显劣质动作 |
| 中期 | 次优动作估值仍接近初始值 | 可能反复掉入次优陷阱 |
| 后期 | 步长影响收敛速度 | 小步长导致长期偏差 |
在习题2.6的模拟中，设置初始值Q1(a)=5而真实值大多在0附近时，会出现典型的"悬崖效应"——智能体在发现某个动作明显优于其他后，会持续开发直到其估值降至合理范围，而此时其他动作由于缺乏更新，估值仍保持高位，导致周期性震荡。
3. 样本平均与常数步长的认知误区
面对习题2.2这类多步决策分析时，90%的学习者会忽略更新方式对结果的影响：
- 样本平均法：Qt(a) = (R1+R2+...+Rt)/t
- 适合静态环境
- 对早期噪声敏感
- 常数步长：Qt(a) = Qt-1(a) + α(Rt-Qt-1(a))
- 适应非平稳环境
- 存在偏差-方差权衡
# 两种更新方式对比 def update_sample_average(Q, action, reward, counts): counts[action] += 1 Q[action] += (reward - Q[action]) / counts[action] def update_constant_step(Q, action, reward, alpha=0.1): Q[action] += alpha * (reward - Q[action])当处理习题2.2中A3=2,R3=-2这个异常值时，样本平均法会使得Q(2)从1.5骤降到-0.5，而常数步长(α=0.5)仅会将其调整到0.25。这种差异会显著影响后续动作选择。
4. UCB算法的尖峰现象解密
图2.4中第11步的收益尖峰不是绘图错误，而是UCB内在机制的体现：
- 前10步：强制探索每个动作至少一次
- 第11步：开始利用置信上限选择动作
- 后续下降：探索权重调整带来的短期波动
这个现象在习题2.8中更为明显，当c=2时，尖峰幅度可达基础值的3倍。其核心原因是：
- 探索项√(ln t/Nt(a))在t=11时达到临界点
- 早期高估的动作会暂时主导选择
- 随着Nt(a)增加，探索项影响逐渐平滑
5. 梯度算法的基线选择陷阱
图2.5揭示了梯度算法中最容易被忽视的设计选择——是否使用奖励基线：
| 配置 | 优点 | 缺点 |
|---|---|---|
| 有基线 | 减小方差 | 需要额外计算 |
| 无基线 | 实现简单 | 更新幅度不稳定 |
当比较α=0.1有无基线的表现时，前100步的差异可达15%。这是因为：
基线实际上为算法提供了相对收益的参考系，没有基线的更新步幅会随绝对奖励值波动。
6. 多算法比较的维度误区
习题2.3要求比较ε-greedy与乐观初始化的长期表现，但"长期"的定义本身就是个陷阱：
- 前1000步：乐观初始化可能领先
- 5000步后：ε=0.01的贪心策略通常反超
- 10000步：梯度方法可能最优
这种动态变化说明，没有绝对的"最佳算法"，只有最适合特定问题阶段的策略。这也是为什么图2.6的曲线会交叉多次。
7. Softmax与ε-greedy的等效误区
习题2.9指出两种动作时softmax等价于sigmoid，但这在实践中有严格限制条件：
- 只适用于二动作场景
- 温度参数τ需要精确控制
- 对动作价值尺度敏感
# 二动作softmax实现 def softmax_two_arms(Q, tau=1.0): p = 1 / (1 + np.exp(-(Q[0] - Q[1]) / tau)) return [p, 1-p]在实际应用中，当动作数≥3时，softmax会表现出完全不同的探索特性——它更倾向于温和地分配概率，而不是ε-greedy的"非此即彼"。
从理论到实践的跨越
当你再次面对这些算法选择时，不妨问自己几个关键问题：
- 我的问题环境是静态还是动态变化的？
- 早期表现和长期稳定哪个更重要？
- 计算资源是否允许维护额外参数？
- 动作空间的大小和结构如何？
这些思考比单纯记忆算法公式重要得多。就像在习题2.2到2.6的演变过程中，我们看到的是一个决策思维的形成——从单一参数调节到整体策略架构的把握。