DDPG算法

一点点的DDPG理解，发现这个帖子的字数也是一天比一天少了...

DDPG算法属于AC算法的一种，
与传统的随机策略算法（如PPO）不同，DDPG 的 Actor 网络直接输出连续动作值，而不是输出动作概率分布。
具体来说，DDPG在神经网络上定义了确定性映射a=μθ​(s)，
Actor 网络通常在最后一层使用 tanh 激活函数，将输出限制在 (-1,1) 区间，再根据环境动作范围进行缩放。因此，DDPG 属于确定性策略梯度方法。

同时，由于是确定性策略，动作a与actor网络的参数θ有关，而critic网络的Q（s,a）又依赖于动作a，

因此DDPG在对目标函数进行梯度更新的时候，对θ求导要使用链式法则

在随机策略梯度中，我们通过对 log π 求梯度实现策略更新；
而在确定性策略梯度中，我们直接通过 Q 对动作的梯度，反向推动 Actor 改进动作选择。