【ppo】强化学习ppo训练调参

ppo特点

在策略更新时，限制新旧策略差异，避免一步更新把策略推翻
这意味着：

• ppo 天然偏保守
• 一旦策略早期形成“错误偏好”，后续很难纠正
• 奖励设计和 early-stage 行为分布，决定成败

奖励函数

• 首先目标奖励要大、终局错误惩罚也需要大
• 每一步应该有小奖励/惩罚指导模型该前进的方向，但不要大过整体目标的奖励/惩罚；同时应鼓励探索或者绕路，这就应该设置随步数增长而衰减的奖励/惩罚

多阶段奖励函数

对于复杂问题的强化学习，可以先设置简单奖励函数训练模型，待模型学到简单规则后再修改奖励函数为更复杂的设计，让模型学到更精细化的动作

学习率

critic优化器的学习率要设置为明显小于actor优化器，actor的学习依赖于critic，如果critic不稳定会导致actor网络的震荡
可以参考以下学习率

actor_optimizer=torch.optim.Adam(actor_model.parameters(),lr=0.0005)critic_optimizer=torch.optim.Adam(critic_model.parameters(),lr=0.0001)

网络训练

训练频率

多个episode之后再训练一次网络，单个episode之后训练网络有可能会出现方差大，导致训练不稳定，多个episode训练网络时将advantage也平均会更稳定

训练阶段

ppo比较通用，但收敛较慢，对于前期难训练或者想加快训练的任务，可以使用ddqn等收敛快的模型先训练前期阶段，后改为使用ppo继续训练

actor/critic网络

对输入网络的数据进行归一化很重要，可以平滑特征曲面，更容易优化，减少局部最优解的情况