强化学习·贝尔曼方程

Return回报

Return的意义

• Return是沿着某一路径的累积折扣奖励
• Return的作用：可用于评估当前策略的价值。

Return的计算公式

• 注意：全是随机变量，意味着可以使用期望消去
• R t R_tRt​与R t + 1 R_{t+1}Rt+1​都可以表示t时刻采取行动获得的即刻奖励，习惯使用后者。

State-value function状态价值函数

• 状态价值函数：给定当前状态，其平均回报是什么？(不知道当前动作和未来的状态和动作)
  
  

Bellman Equation贝尔曼方程

• 使用期望的加法性质拆分G_t
  

• 使用全概率公式分别计算两项
  
  

• 最终形式：
  

贝尔曼方程的理解

• 这是一种自举(bootstrapping)的方法，自己推导自己
• 对于所有的状态都适用，这一点很重要。
• 简化：如果所有策略都是确定性的，那么所有的求和符合都可以消去，只有一条轨迹。

贝尔曼方程的求解

• 特别的性质：贝尔曼方程对于所有状态都适用，如果我们知道策略，对于所有者状态都列举方程，可以通过求解线性方程组的形式求解贝尔曼方程。

贝尔曼方程的简化方式

• 当前状态的期望奖励和未来状态的期望奖励的总和。

• 当前状态的期望奖励和状态转移概率可以提前计算出来
• r π ( s ) r_{\pi}(s)rπ​(s)代表状态s下的期望即刻奖励，注意没有确定动作。
• P π P_{\pi}Pπ​代表当前状态转移矩阵，维度为nxn。

数值例子

• 通常求解线性方程组或者迭代方式可以求解

策略评估

• 贝尔曼方程可以用于策略评估
• 对于好策略，状态价值函数的值普遍较大，
  
  

Action-value function动作价值函数

• 核心思想与状态价值函数一致：都是未来期望的累积折扣奖励，在此基础上给定了某个状态和采取的动作。
  

贝尔曼方程，状态价值函数和动作价值函数的关系

• 贝尔曼方程的右半部分等价于动作价值函数Q π ( s , a ) Q_{\pi}(s,a)Qπ​(s,a)