基于强化学习的蝾螈机器人水陆运动控制研究

1. 项目概述

蝾螈机器人作为一种仿生两栖机器人，其独特的身体结构使其能够在陆地和水域环境中自如切换运动模式。传统控制方法通常采用中央模式发生器（CPG）来实现这种多模式运动，但存在适应性不足、参数调优复杂等问题。我们团队尝试了一种全新的解决方案——基于强化学习的全身控制框架。

这个项目的核心挑战在于如何让一个拥有多个自由度的复杂机器人系统，在陆地和水域两种截然不同的物理环境中实现稳定、协调的运动。与常规四足机器人不同，蝾螈机器人需要同时控制脊柱的波动和四肢的步态，这使得传统基于模型的控制方法面临巨大困难。

在实际开发中，我们发现最大的难点不是算法本身，而是如何确保模拟环境中训练的策略能够可靠地迁移到真实机器人上。这种sim-to-real（模拟到现实）的差距在具有大量自由度的系统中尤为明显。

2. 系统设计与实现

2.1 硬件平台

我们使用的蝾螈机器人采用模块化设计，主要包括：

• 可弯曲的脊柱结构（6个自由度）
• 四组仿生肢体（每组3个自由度）
• 防水外壳和浮力调节系统
• 搭载Dynamixel XM430伺服电机作为执行器
• 基于LSM6DSOX和LIS3MDL传感器的9轴IMU
• Raspberry Pi Zero 2W作为主控制器

这种设计使得机器人总自由度达到18个，远超常规四足机器人。高自由度带来了控制上的挑战，但也为适应复杂地形提供了可能。

2.2 强化学习框架

我们采用PPO（近端策略优化）算法作为强化学习的核心，其优势在于：

• 适用于连续动作空间的控制问题
• 训练过程相对稳定
• 对超参数不敏感

策略网络采用MLP结构（512-256-128），价值函数网络采用相同结构。训练在NVIDIA RTX 4070 GPU上进行，耗时约1.5小时，共3×10^8步。

2.2.1 状态空间设计

观察空间ot包含：

• 关节角度q和角速度˙q
• 关节角度差Δq
• IMU测量的角速度ω和重力向量g
• 步态相位ϕ
• 环境模式指示器σ（陆地/水域）

特别值得注意的是，我们没有直接使用IMU测量的线速度，而是通过动作历史{at-1,at-2,at-3}来提供时序信息，这有效避免了积分漂移问题。

2.2.2 动作空间设计

动作空间采用增量式设计： at = Δqdes ∈ R^nq

最终期望关节角度通过以下方式计算： qdes = qnominal + Δqdes

这种残差动作设计将学习锚定在合理的基准姿态附近，显著提高了训练稳定性。

2.2.3 奖励函数

奖励函数由四个部分组成： rt = wvrv + wωrω + wenergyrenergy + wphaserphase

其中：

• rv：线速度跟踪奖励
• rω：角速度跟踪奖励
• renergy：能量消耗惩罚
• rphase：足端相位一致性奖励

权重设置为wv=1.0dt，wω=0.5dt，wenergy=1×10^-3dt，wphase=1.0dt（dt=0.02s）。

2.3 混合动力学系统

两栖运动本质上是一个混合动力系统问题。我们为陆地和水域分别建立了不同的物理模型：

陆地动力学：

• 基于MuJoCo的标准刚体接触模型
• 考虑地面摩擦力和碰撞响应

水域动力学：

• 浮力模型：Fb = kb mg ez - kd ˙z ez
• 流体阻力模型： Fd = -Clin_v v - Cquad_v (∥v∥⊙v) τd = -Clin_ω ω - Cquad_ω (∥ω∥⊙ω)

这种分离但统一的建模方式，使得策略能够感知当前环境并调整运动模式。

3. Sim-to-Real迁移策略

3.1 系统级对齐

我们开发了一套完整的sim-to-real迁移流程，包含三个层面的对齐：

观测对齐：

• 在模拟中注入与实际传感器噪声特性匹配的噪声
• 噪声参数通过硬件实测数据校准

动作对齐：

• 加入一阶低通滤波器平滑指令
• 建立伺服电机包络模型，考虑：
  • 速度依赖的扭矩限制
  • 制动不对称性
  • 饱和特性

运动学对齐：

• 在模拟中引入额外的被动自由度（4°旋转）
• 模拟机械间隙导致的累积误差

3.2 域随机化

为提高策略的鲁棒性，我们在训练中应用了多种随机化：

• 接触摩擦系数：0.5-1.2
• 质量分布：±10%变化
• 关节摩擦：0-0.1Nm
• PD增益：±20%变化
• 外部扰动：随机力脉冲（0-5N）

这种随机化使策略能够适应真实世界中的各种不确定性。

4. 实验结果与分析

4.1 陆地运动性能

全向行走： 机器人能够在平坦地面上实现：

• 前进速度：0.23±0.01m/s
• 转向速率：30°/s
• 侧向移动：0.15m/s

崎岖地形适应： 在不同难度地形上的表现：

• 简单崎岖地形（2cm起伏）：0.19±0.03m/s
• 中等崎岖地形（4cm起伏）：0.18±0.01m/s
• 复杂崎岖地形（4cm起伏+25°坡度）：0.17±0.04m/s

4.2 水域过渡能力

在模拟环境中，单一策略成功实现了：

1. 陆地行走模式：四肢驱动，脊柱轻微波动
2. 过渡阶段：四肢运动减弱，脊柱波动增强
3. 完全游泳模式：四肢收拢，脊柱大幅波动产生推进力

这种过渡行为与生物蝾螈的观察结果高度一致，验证了方法的生物合理性。

5. 关键经验与建议

在实际开发中，我们总结了以下宝贵经验：

机械设计方面：

• 关节间隙是sim-to-real迁移的主要障碍之一
• 建议在设计中尽量减小传动链中的累积误差
• 使用高分辨率编码器可显著改善状态估计

算法训练方面：

• 残差动作设计对训练稳定性至关重要
• 相位输入ϕ能有效协调多肢体运动
• 能量消耗项renergy防止关节过度运动

硬件实现方面：

• 伺服电机温度监控必不可少
• 实时策略推理延迟应控制在10ms以内
• 电源质量显著影响运动性能

一个特别容易被忽视的细节是地面接触检测。我们发现IMU的振动噪声在硬质表面上会显著增大，这需要在状态估计中进行特殊处理。

6. 扩展应用与未来方向

当前框架可进一步扩展至：

• 多机器人协同控制
• 动态障碍物规避
• 非结构化环境探索

未来工作的重点将放在：

1. 真实环境中的水陆过渡验证
2. 引入视觉感知实现环境识别
3. 开发更高效的训练架构

这项研究表明，强化学习为复杂机器人系统的全身控制提供了新的可能性。通过精心设计的训练框架和系统级的sim-to-real策略，我们成功实现了传统方法难以达到的灵活性和适应性。