Neural Whole-Body Control: HOVER ExBody2 神经全身控制实战第二部分：HOVER核心原理2.3 训练目标与损失函数（深入推导）

2.3 训练目标与损失函数（深入推导）

2.3.1 多目标强化学习框架

人形机器人全身控制的高维特性（通常为21至34自由度）要求训练目标必须同时满足任务精度、能量效率与运动自然度等多重约束。本节建立基于多目标优化的马尔可夫决策过程框架，定义状态空间 $S$ 、动作空间 $A$ 与观测空间 $O$ 。策略网络 $\pi_\theta(a|o)$ 将历史观测序列映射到低维动作分布，其中 $o \in O$ 表示机载传感器获取的本体感受信息。

奖励函数构造遵循分层聚合原则，总奖励 $r_t$ 由任务奖励 $r_{\text{task}}$ 、正则化奖励 $r_{\text{reg}}$ 与约束惩罚 $r_{\text{safe}}$ 加权组成：

$$r_t = \lambda_{\text{task}}r_t^{\text{task}} + \lambda_{\text{reg}}r_t^{\text{reg}} + \lambda_{\text{safe}}r_t^{\text{safe}}$$

任务奖励 $r_{\text{task}}$ 衡量跟踪精度，包含质心位置跟踪误差 $\|p_t^{\text{root}} - \hat{p}_t^{\text{root}}\|^2$ 、速度跟踪误差 $\|v_t^{\text{root}} - \hat{v}_t^{\text{root}}\|^2$ 与关节角度跟踪误差 $\|q_t - \hat{q}_t\|^2$ 。对于全身控制，还需引入关键点位置匹配项 $\sum_k \|x_t^k - \hat{x}_t^k\|$ ，其中 $x^k$ 表示第 $k$ 个关键点的三维坐标。

正则化奖励设计关注能量效率与运动平滑性。功