SAC算法实战笔记：我是如何用PyTorch在LunarLander上轻松拿到高分的
SAC算法实战笔记：我是如何用PyTorch在LunarLander上轻松拿到高分的
第一次看到LunarLander这个环境时，我完全被它迷住了——控制登月舱平稳着陆，这不就是小时候玩街机游戏的梦想吗？但当我用传统方法尝试时，结果总是不尽如人意。直到我遇到了SAC(Soft Actor-Critic)算法，这个号称当前最先进的强化学习算法之一。经过几周的摸索和调试，我终于让登月舱稳稳地降落在了目标区域。下面就是我的完整实战记录。
1. 前期准备：环境配置与SAC核心思想
在开始编码之前，我花了整整两天时间研读SAC的原始论文。SAC之所以强大，在于它巧妙地将几个关键概念融合在一起：
- 熵正则化：鼓励探索，防止算法过早陷入局部最优
- 双Q网络：减少过高估计偏差，提高稳定性
- 策略迭代：结合了策略梯度和值函数方法的优点
我的开发环境配置如下：
# 环境配置 conda create -n sac python=3.8 conda activate sac pip install gymnasium torch numpy matplotlib选择PyTorch而非TensorFlow的原因很简单——它的动态计算图让调试变得更加直观。在实现过程中，我发现有几个关键参数需要特别注意：
| 参数 | 推荐值 | 作用 |
|---|---|---|
| 学习率 | 3e-4 | 控制网络更新幅度 |
| 折扣因子γ | 0.99 | 平衡即时和未来奖励 |
| 软更新系数τ | 0.005 | 控制目标网络更新速度 |
| 回放缓冲区大小 | 1e6 | 存储经验样本 |
提示：在初期实验中，我发现学习率对训练稳定性影响极大。过高会导致震荡，过低则学习缓慢。
2. 网络架构设计：从理论到实现
SAC需要构建三个核心网络：策略网络(Policy Network)和两个Q网络(Q Network)。我最初的设计过于复杂，后来发现简洁的架构反而效果更好。
2.1 策略网络实现
策略网络输出动作的均值和方差，使用重参数化技巧采样：
class PolicyNetwork(nn.Module): def __init__(self, state_dim, action_dim, hidden_dim=256): super().__init__() self.fc1 = nn.Linear(state_dim, hidden_dim) self.fc2 = nn.Linear(hidden_dim, hidden_dim) self.mean = nn.Linear(hidden_dim, action_dim) self.log_std = nn.Linear(hidden_dim, action_dim) def forward(self, state): x = F.relu(self.fc1(state)) x = F.relu(self.fc2(x)) mean = self.mean(x) log_std = torch.clamp(self.log_std(x), min=-20, max=2) return mean, log_std这个设计有几个关键点：
- 使用ReLU激活函数保证非线性表达能力
- 对log_std进行裁剪，防止数值不稳定
- 输出层不设激活函数，保持原始尺度
2.2 双Q网络结构
为了防止Q值过高估计，我实现了两个独立的Q网络：
class QNetwork(nn.Module): def __init__(self, state_dim, action_dim, hidden_dim=256): super().__init__() self.fc1 = nn.Linear(state_dim + action_dim, hidden_dim) self.fc2 = nn.Linear(hidden_dim, hidden_dim) self.fc3 = nn.Linear(hidden_dim, 1) def forward(self, state, action): x = torch.cat([state, action], dim=1) x = F.relu(self.fc1(x)) x = F.relu(self.fc2(x)) return self.fc3(x)在训练时，我取两个Q网络中的较小值作为目标，这显著提高了算法的稳定性。
3. 训练中的关键细节
3.1 重参数化技巧的实现
SAC的核心创新之一是使用重参数化技巧来采样动作。这允许梯度通过随机节点反向传播：
def sample_action(self, state): mean, log_std = self.forward(state) std = log_std.exp() normal = torch.distributions.Normal(mean, std) z = normal.rsample() # 重参数化 action = torch.tanh(z) return action这个实现有几个注意事项：
- 使用
rsample()而非sample()以保留梯度 - tanh将动作限制在[-1,1]范围内
- 需要相应地调整对数概率计算
3.2 自动熵系数调整
SAC的一个巧妙设计是自动调整温度系数α。我实现了这个功能：
# 定义可训练的对数alpha self.log_alpha = torch.zeros(1, requires_grad=True) self.alpha = self.log_alpha.exp() # 在训练循环中 alpha_loss = -(self.log_alpha * (log_prob + target_entropy).detach()).mean() self.alpha_optim.zero_grad() alpha_loss.backward() self.alpha_optim.step()设置目标熵(target_entropy)为-action_dim(例如-2)通常效果不错。
3.3 Reward Shaping技巧
LunarLander的原始奖励函数有些稀疏，我做了以下调整：
- 增加了着陆速度惩罚项
- 对保持水平姿态给予小奖励
- 在接近目标时放大奖励信号
这些调整显著加快了初期学习速度。具体实现：
def modify_reward(state, action, original_reward): x, y, vx, vy, angle, vang, leg1, leg2 = state # 速度惩罚 speed_penalty = 0.01 * (vx**2 + vy**2) # 角度奖励 angle_reward = -0.1 * angle**2 # 接近目标奖励 distance = (x**2 + y**2)**0.5 proximity_bonus = 0.5 * math.exp(-distance) return original_reward - speed_penalty + angle_reward + proximity_bonus4. 调试与优化经验
4.1 训练不收敛的排查
第一次训练时，我的算法完全无法收敛。经过排查，发现了几个关键问题：
Q值爆炸：没有正确裁剪梯度，导致数值不稳定
- 解决方法：添加梯度裁剪
torch.nn.utils.clip_grad_norm_(net.parameters(), 1)
- 解决方法：添加梯度裁剪
探索不足：初期策略过于保守
- 解决方法：增加初始熵系数，设置
target_entropy=-action_dim
- 解决方法：增加初始熵系数，设置
样本相关性：连续样本相关性太强
- 解决方法：增大回放缓冲区，随机采样batch_size=256
4.2 可视化训练过程
为了监控训练进展，我实现了几个关键指标的可视化：
def plot_training(episode_rewards, q_values, entropies): plt.figure(figsize=(12, 4)) plt.subplot(131) plt.plot(episode_rewards) plt.title("Episode Rewards") plt.subplot(132) plt.plot(q_values) plt.title("Average Q Values") plt.subplot(133) plt.plot(entropies) plt.title("Policy Entropy") plt.tight_layout() plt.show()这些图表帮助我识别了训练过程中的几个关键阶段：
- 初期：高熵探索阶段
- 中期：Q值快速上升期
- 后期：策略稳定收敛期
4.3 超参数调优经验
经过多次实验，我总结了以下超参数设置经验：
| 参数 | 影响 | 调整策略 |
|---|---|---|
| 学习率 | 训练稳定性 | 从3e-4开始，按0.5倍调整 |
| 批大小 | 样本效率 | 128-512之间，越大越稳定 |
| 折扣因子 | 长期规划 | 0.99适合大多数连续控制任务 |
| 目标熵 | 探索程度 | 设为-action_dim是个好起点 |
5. 最终成果与代码分享
经过约50万步的训练，我的SAC智能体在LunarLander上的表现：
- 平均得分：250+（满分约260）
- 着陆成功率：98%
- 燃料效率：比DQN提升40%
关键代码结构如下：
sac_lunarlander/ ├── agent.py # SAC算法实现 ├── networks.py # 神经网络定义 ├── train.py # 训练循环 ├── utils.py # 辅助函数 └── visualize.py # 结果可视化最令我惊喜的是SAC的样本效率——在约10万步后就能达到不错的表现。这比之前尝试的PPO和DDPG都要高效。
在实现过程中，有几个"啊哈"时刻特别值得分享：
- 当第一次看到智能体主动减速准备着陆时
- 发现自动熵调整确实能平衡探索与利用
- 观察到双Q网络有效防止了值函数过高估计
完整代码已开源在GitHub上。对于想要尝试的读者，我的建议是：
- 先在小规模环境测试核心算法
- 逐步添加高级功能如自动熵调整
- 耐心调整超参数，特别是学习率和批大小