6、动态规划与强化学习中的近似方法

动态规划与强化学习中的近似方法

1. 动态规划基础概念

在动态规划（DP）领域，有一些重要的基础概念需要了解：
-持续任务：等同于无限步的系统轨迹。
-备份：在某个状态应用DP算子。
-扫描：在所有状态应用DP算子。
-贪婪策略：相对于代价函数J的最小化策略，即在由J定义的DP表达式中的最小化策略。
-后状态：决策后的状态。

同时，在DP中有一些常用的符号表示：
|符号|含义|
| ---- | ---- |
|x|状态|
|u|控制|
|J|代价函数|
|g|每阶段的代价|
|f|系统函数|
|i|离散状态|
|pij(u)|在控制u下从状态i转移到状态j的转移概率|

这些符号在最优控制的相关文献中是比较标准的表示方法。

2. 精确动态规划的相关资源

虽然精确DP的讨论相对简略，但有很多资源可供深入学习：
- 一些教材对精确DP及其在离散和连续空间问题中的应用进行了广泛讨论。
- 相关专著探讨了精确DP的数学方面，特别是与随机最优控制相关的概率/测度理论问题。
- 还有一些书籍致力于统一开发总成本顺序决策问题的核心理论和算法，同时处理随机、极小极大、博弈、风险敏感等多种DP问题。

3. 近似动态规划与强化学习的发展

自