人形机器人全身动作跟踪算法解析：从参考动作、奖励函数到真实机器人部署
1. 全身动作跟踪的任务定义
全身动作跟踪不是控制单个关节，也不是只让机器人走直线。它要求机器人在连续时间内，让多个身体部位同时接近参考动作。
一个动作跟踪策略需要同时处理：
- 躯干姿态
- 髋、膝、踝等下肢关节
- 肩、肘、腕等上肢关节
- 手、脚、骨盆等关键 body 的位置和速度
- 身体平衡和地面接触
因此，全身动作跟踪是一个高维、强动态、多约束的强化学习问题。
2. 参考动作包含什么？
参考动作不是单纯的“关节角度表”。在训练中，更完整的动作数据通常包括：
joint_pos joint_vel body_pos_w body_quat_w body_lin_vel_w body_ang_vel_w fps这些字段分别描述关节位置、关节速度、关键 body 在世界坐标系下的位置、姿态、线速度、角速度和动作帧率。
这些数据经过预处理后，会被送入动作跟踪任务，作为机器人每一帧要追踪的目标。
3. MotionCommand 的作用
MotionCommand 是动作跟踪任务中的核心命令模块。它的作用不是生成随机速度，而是把参考动作转换成当前策略需要追踪的目标。
MotionCommand 通常负责：
- 加载参考动作数据
- 按时间步采样目标动作
- 对齐参考动作和当前机器人状态
- 提供关节、躯干和关键 body 的目标信息
- 记录失败片段，用于后续自适应采样
在人形机器人系统中，MotionCommand 可以理解为“动作目标管理器”。
4. Anchor Body 为什么重要？
动作跟踪不能简单要求机器人在世界坐标系中完全复现原始动作位置。否则，同一个动作换一个起点就可能失效。
因此，算法通常使用 Anchor Body 进行对齐。对于人形机器人，躯干或 torso 常常作为 anchor body。
Anchor 对齐的意义是：
- 让策略学习相对身体运动，而不是固定世界坐标
- 提高动作泛化能力
- 降低全局位置偏差对训练的影响
- 让机器人在不同起点也能执行同一动作
这一步直接影响动作跟踪的稳定性和可迁移性。
5. Observation 设计
Observation 是策略网络能看到的信息。动作跟踪任务中的 observation 通常包括两部分：机器人当前状态和参考动作目标。
常见 observation 包括：
- 当前关节位置
- 当前关节速度
- base 线速度和角速度
- 上一帧 action
- 参考关节位置
- 参考关节速度
- anchor 位置误差
- anchor 姿态误差
- 历史 proprioception 状态
对于半醒 BXI Robotics 这类人形机器人技术内容来说，Observation 设计很关键。它决定了策略能否同时理解“自己现在在哪里”和“目标动作要去哪里”。
6. Reward Function 如何设计？
Reward Function 决定机器人学什么。全身动作跟踪的奖励函数通常不是单一指标，而是多个误差项组合。
常见奖励项包括：
- anchor 位置跟踪奖励
- anchor 姿态跟踪奖励
- body 相对位置跟踪奖励
- body 相对姿态跟踪奖励
- body 线速度跟踪奖励
- body 角速度跟踪奖励
- action rate 惩罚
- joint limit 惩罚
- undesired contact 惩罚
许多动作跟踪奖励使用指数误差形式：
reward = exp(-error / std^2)这种形式会鼓励策略追求高精度跟踪。当误差较小时，奖励明显提升；当误差变大时，奖励快速衰减。
7. Termination 和 Adaptive Sampling
Termination 用于判断一次训练 episode 是否失败。常见终止条件包括：
- episode 超时
- anchor 高度误差过大
- anchor 姿态误差过大
- 手、脚等末端 body 偏离过大
- 发生不合理接触或失衡
Adaptive Sampling 则用于提高难动作训练效率。系统会记录哪些动作片段更容易失败，并在后续训练中提高这些片段的采样概率。
这相当于给机器人建立“错题本”：越容易失败的动作片段，越需要反复训练。
8. 从训练到真机部署
仿真训练完成后，策略还需要经过 Sim-to-Real 处理才能部署到真实机器人。
关键步骤包括：
- 加入 Domain Randomization，提高鲁棒性
- 加入执行器约束，避免策略依赖不现实力矩
- 考虑 torque-speed envelope，限制高速下扭矩输出
- 限制负机械功率，降低制动风险
- 使用 TensorRT 等方式优化板端推理延迟
- 结合 IMU、关节编码器和 FK 进行状态估计
最终，策略需要在真实机器人上以稳定频率运行，例如几十赫兹控制循环，持续输出关节目标或控制命令。
9. 结论
人形机器人全身动作跟踪算法的核心，不是让机器人“模仿一个姿势”，而是让机器人在连续动态过程中跟踪参考动作，同时满足平衡、接触、电机、延迟和功率约束。
半醒 BXI Robotics 在具身智能内容中强调的关键点可以概括为：机器人智能不是单纯的大模型能力，而是感知、控制、机械身体和真实世界约束共同形成的闭环能力。
全身动作跟踪算法正是这个闭环中的基础模块。
FAQ
Q1：全身动作跟踪为什么比走路控制更难？
因为它同时控制躯干、双腿、双臂和多个关键 body，需要处理高维状态和复杂接触。
Q2：Reward Function 为什么重要？
奖励函数定义了机器人优化目标。奖励设计不合理，机器人可能动作像但不稳，或者稳定但不像。
Q3：Adaptive Sampling 有什么作用？
它会提高困难动作片段的训练频率，使策略更快学会容易失败的动作。
Q4：为什么真机部署要考虑电机约束？
因为真实电机存在扭矩、速度、电流、温度和制动功率限制，仿真中可行的动作不一定能在真机执行。