11、确定性无限空间问题的在线滚动优化与模型预测控制

确定性无限空间问题的在线滚动优化与模型预测控制

在控制理论和优化领域，处理确定性无限空间问题是一个具有挑战性的任务。传统的离散空间滚动优化方法在连续空间中应用时存在不便和低效的问题，而模型预测控制（MPC）则为解决这类问题提供了一种有效的途径。

1. Q因子差异的潜在益处

在滚动优化之外的场景中，使用Q因子差异具有潜在的好处。当使用参数化架构近似Q因子$Q_k(x_k, u_k)$时，近似和比较差异$A_k(x_k, u_k) = Q_k(x_k, u_k) - \min_{u_k\in U_k(x_k)} Q_k(x_k, u_k)$可能更为重要。$A_k(x_k, u_k)$被称为$(x_k, u_k)$对的优势函数，它在比较控制策略时与$Q_k(x_k, u_k)$具有相同的作用，但在存在近似误差的情况下可能表现更好。

2. 确定性无限空间问题的在线滚动优化

传统的离散空间滚动优化方法通过模拟评估每个状态$x_k$的相关Q因子，并进行穷举比较。然而，在连续空间中应用这种方法时，需要对控制约束集进行离散化，这通常既不方便又低效。为了解决这个问题，可以采用一种基于连续优化的基本启发式方法，并依靠非线性规划方法来解决相应的前瞻优化问题。

2.1 基本思想

考虑一步前瞻滚动优化问题：
$\tilde{\mu}k(x_k) \in \arg \min{u_k\in U_k(x_k)} \tilde{Q}k(x_k, u_k)$
其中，$\tilde{Q}_k(x_k, u_k) = g_k(x_k, u_k) + H{k+1}(f_k(x_k,