深度强化学习在四旋翼无人机球类杂耍控制中的应用
1. 项目概述
四旋翼无人机球类杂耍控制是一个极具挑战性的机器人控制问题。这个任务要求无人机在空中持续击打一个自由落体的球体，使其保持在一定高度范围内运动。看似简单的动作背后，涉及精确的时序控制、稳定的飞行姿态调整以及持续的动态适应能力。
传统基于模型的控制方法在这个问题上表现欠佳，主要原因有三：首先，球的运动具有高度非线性特征，难以精确建模；其次，开环控制策略会导致误差不断累积；最后，预先定义的轨迹约束在面对现实世界的不确定性时常常失效。JuggleRL系统通过深度强化学习（DRL）方法，成功克服了这些限制，在实机测试中实现了最高462次连续击球的惊人表现。
2. 系统设计与核心思路
2.1 整体架构设计
JuggleRL系统的核心创新在于将系统辨识（SysID）、奖励塑形和域随机化三大技术有机结合。系统工作流程分为三个阶段：
系统辨识阶段：精确测量四旋翼和球的动力学参数，包括四旋翼质量、惯性矩、电机推力系数，以及球与球拍之间的恢复系数等。这些参数用于构建高保真度的仿真模型。
训练阶段：在Isaac Sim仿真环境中进行大规模GPU并行训练，使用近端策略优化（PPO）算法。训练过程引入了精心设计的奖励函数和域随机化技术。
部署阶段：训练好的策略直接零样本（zero-shot）部署到真实四旋翼上，通过轻量级通信协议（LCP）实现低延迟状态估计和实时控制。
2.2 关键技术选择解析
为什么选择PPO算法？PPO（Proximal Policy Optimization）在连续控制任务中表现出色，其重要性采样机制能保证策略更新的稳定性。对于四旋翼控制这种对安全性要求高的任务，PPO的信任域约束能有效防止策略突变导致的失控。
为什么需要系统辨识？仿真与现实之间的差异（sim-to-real gap）是强化学习应用于机器人控制的主要障碍。通过精确测量系统参数，可以大幅缩小这一差距。实测数据显示，未经系统辨识的策略在实机测试中平均只能完成3-5次击球，而经过系统辨识后提升至300次以上。
域随机化的必要性现实环境中存在诸多不确定性：球的初始位置、恢复系数等都会变化。通过在训练中随机化这些参数（如表1所示），策略能够适应更广泛的工作条件。实验表明，移除高度随机化会使平均击球次数从311降至20.3，而移除水平位置随机化则几乎导致完全失败。
表1：域随机化参数范围
| 参数 | 范围 |
|---|---|
| 恢复系数Rs | [0.75, 0.90] |
| 初始高度Z | [1.5, 2.0]m |
| 水平位置XY | [-0.07,0.07]m |
3. 实现细节与关键技术
3.1 系统辨识实施
系统辨识过程需要精确测量多个关键参数：
四旋翼参数：
- 质量：直接使用精密电子秤测量
- 惯性矩：通过钟摆实验测量
- 电机推力系数：通过静态推力测试台测量
球拍参数：
- 恢复系数测量：将四旋翼悬停固定，从不同高度释放球体，使用高速摄像机记录碰撞过程，通过轨迹分析计算恢复系数。
测量发现球拍存在明显的"甜区"效应：中心半径5.5cm区域内平均恢复系数为0.82，而外围区域仅为0.64。这一发现直接影响后续奖励函数的设计。
3.2 强化学习框架设计
3.2.1 状态空间设计
观察空间包含24个维度，分为两部分：
- 公共部分（15维）：四旋翼的位置、旋转矩阵、线速度
- 球状态部分（9维）：球的位置、速度、相对于四旋翼的位置
这种设计既提供了全局信息，又强调了相对关系，有利于策略学习击球时机。
3.2.2 动作空间设计
采用集体推力和体速率（CTBR）作为动作输出：
- 集体推力：控制垂直加速度
- 体速率：控制滚转、俯仰和偏航角速度
这种中频指令（50Hz）由底层PID控制器执行，既保证了控制精度，又减轻了策略的学习负担。
3.2.3 奖励函数设计
奖励函数由多个精心设计的组件构成：
- 命中奖励（rhit）：50分，当击球高度在有效范围内
- 顶点奖励（rapex）：50分，当球达到目标高度区间
- 相对位置奖励（rrpos）：鼓励四旋翼跟随球的水平运动
- 中心接触奖励（rcontact）：10分×exp(-5×d)，d为击球点偏离中心距离
- 平滑奖励（rsmooth）：惩罚动作突变，鼓励稳定控制
这种复合奖励结构引导策略同时关注短期命中目标和长期稳定性。
3.3 实时控制实现
3.3.1 感知模块优化
实机部署面临的主要挑战是感知延迟。系统采用以下优化措施：
- 多传感器融合：将动作捕捉系统（120Hz）与IMU数据（200Hz）通过卡尔曼滤波结合
- 轻量级通信协议（LCP）：仅传输必要的运动状态，减少序列化开销
- 本地状态估计：在机载计算机（NVIDIA Jetson Orin NX）上实时更新状态
测试表明，LCP将指令延迟从约20ms降至5ms以内，这对需要精确时序控制的击球动作至关重要。
3.3.2 控制频率权衡
经过实验验证，选择50Hz作为策略执行频率是基于以下考量：
- 低于30Hz：无法及时响应球的快速运动
- 高于100Hz：计算负载过大，导致延迟增加
- 50Hz平衡了响应速度和计算效率
4. 性能评估与结果分析
4.1 仿真环境测试
在OmniDrones仿真环境中，对比了JuggleRL与传统基于模型的预测规划器（MBPP）的性能：
表2：仿真性能对比（不同释放高度）
| 高度区间(m) | MBPP命中次数 | JuggleRL命中次数 |
|---|---|---|
| 2.0-2.5 | 0 | 59.0 |
| 3.0-3.5 | 0 | 59.0 |
| 4.0-4.5 | 49.0 | 58.4 |
MBPP仅在4.0-4.5m高度区间能完成任务，而JuggleRL在所有高度都表现稳定。这表明基于学习的方法具有更强的适应能力。
4.2 实机测试结果
实机测试设置了两种场景：
- 固定高度：球从1.65m高度释放
- 随机高度：球从1.5-1.95m随机高度释放
表3：实机测试结果（10次连续试验）
| 场景 | 平均命中次数 | 最大命中次数 |
|---|---|---|
| 固定高度 | 311 | 414 |
| 随机高度 | 403.6 | 462 |
值得注意的是，随机高度场景表现更好，这与仿真结果一致，说明策略确实学会了适应不同初始条件。
4.3 泛化能力测试
为验证策略的泛化能力，使用质量仅为5g的轻球（训练时使用47.2g标准球）进行测试。10次试验平均命中145.9次，最高达494次。虽然方差较大（部分试验低于50次），但最佳表现证明策略能够适应未训练过的物理条件。
5. 关键问题与解决方案
5.1 常见故障模式
在实际部署中，我们总结了以下典型问题及解决方案：
击球位置不稳定
- 现象：击球点偏离球拍中心
- 原因：状态估计延迟导致时机判断错误
- 解决：优化LCP协议，增加接触奖励权重
高度控制振荡
- 现象：球的高度波动越来越大
- 原因：推力指令不够平滑
- 解决：增强平滑奖励，限制动作变化率
水平漂移
- 现象：四旋翼逐渐远离原点
- 原因：累积的位置误差
- 解决：在奖励函数中加入水平位置惩罚
5.2 参数调试经验
通过大量实验，我们总结了以下参数调整经验：
奖励权重平衡
- 命中/顶点奖励：主导项，权重应足够大（50分）
- 接触奖励：指数衰减系数5效果最佳
- 平滑奖励：系数2.0可有效抑制抖动
域随机化范围
- 恢复系数：围绕甜区平均值0.82，范围[0.75,0.90]
- 初始高度：覆盖典型工作范围[1.5,2.0]m
- 水平位置：±7cm，对应实际可能的初始偏移
训练超参数
- 并行环境数：4096，充分利用GPU资源
- 策略更新频率：每环境50步更新一次
- 折扣因子γ：0.99，平衡即时和长期回报
6. 扩展应用与未来方向
虽然JuggleRL专注于球类杂耍任务，其核心技术可推广到其他动态交互场景：
- 多无人机协作：扩展至多四旋翼协作杂耍或传球
- 不同物体交互：应用于其他形状物体的抓取和操控
- 全自主系统：用机载视觉替代动作捕捉系统
在实际部署中，电池续航是一个主要限制。测试表明，随着电量下降，四旋翼会逐渐降低高度（如图6所示），最终因电力不足而终止。未来可考虑在策略中引入电量感知机制，实现更优雅的降级。