强化学习·Actor-Critic

Actor-Critic

结合了价值函数学习和策略学习的方法

• 我们有一个Actor，主要对应策略学习，表示为参数化的π θ \pi_\thetaπθ​
• Critic对应价值学习，表示为类似DQN那样的估计其Q w ( s , a ) Q_w(s,a)Qw​(s,a)
  

学习流程

• actor负责采样动作
• 然后得到下一个时刻的状态和即可奖励
• critic负责估计下一个时刻Q w ( s t + 1 , a t + 1 ) Q_w(s_{t+1},a_{t+1})Qw​(st+1​,at+1​)，其中a t + 1 a_{t+1}at+1​是通过随机采样得到的，我们只是处理当前时刻t，对于下一时刻使用什么策略采样a t + 1 a_{t+1}at+1​不关心。

更新actor和critic

• actor类似策略梯度的方法，目标函数为最大化某一个step的期望累积奖励，R ( s , a ) R(s,a)R(s,a)替换为Q w ( s , a ) Q_w(s,a)Qw​(s,a)
• 我们只有一个step，因此不需要累加l o g π log\pilogπ
  
• actor采用的是TD的算法，TD target是即刻奖励+下一时刻的估计，使用TD error来更新。
  

Advantage Actor Critic (A2C)

• 对于actor来说，使用Advantage函数替代Q w ( s , a ) Q_w(s,a)Qw​(s,a)
• Advantage函数表示相对于平均来说，这个动作好多少？
• 这个设计可以减少actor的方差(注意：策略梯度类的方法方差一般较高)。