用MuJoCo Humanoid环境训练你的第一个‘数字人’：从安装到让机器人学会走路的完整流程

从零开始训练MuJoCo Humanoid：让数字人学会走路的实战指南

第一次看到MuJoCo Humanoid环境里那个摇摇晃晃的机器人时，我完全被它的物理仿真精度震撼了。这个拥有17个关节的"数字人"不仅能模拟真实的人体运动，还能通过强化学习自主掌握行走技能。本文将带你从环境配置开始，逐步实现一个能稳定行走的机器人。不同于官方文档的抽象描述，我们会用可运行的代码和可视化结果，让你直观感受强化学习如何教会机器人像婴儿一样蹒跚学步。

1. 环境搭建与基础配置

在开始训练前，我们需要配置好MuJoCo和Gym环境。MuJoCo作为目前最先进的物理仿真引擎，其Humanoid环境常被用于测试强化学习算法的性能。以下是具体安装步骤：

# 安装MuJoCo 2.3.0及以上版本 pip install mujoco==2.3.0 # 安装包含Humanoid环境的Gym版本 pip install gymnasium[mujoco]==0.28.1

安装完成后，用以下代码测试环境是否正常工作：

import gymnasium as gym env = gym.make("Humanoid-v4", render_mode="human") observation, info = env.reset() for _ in range(100): action = env.action_space.sample() # 随机动作 observation, reward, terminated, truncated, info = env.step(action) if terminated or truncated: observation, info = env.reset() env.close()

你会看到一个机器人因随机动作而抽搐的场景。这就是我们的起点——一个连站立都困难的"数字婴儿"。

注意：如果遇到GLFW初始化错误，可能需要安装额外的依赖：sudo apt install libglfw3 libglfw3-dev

Humanoid环境的核心参数如下表所示：

2. 理解Humanoid的动作与观测空间

Humanoid环境的复杂性主要体现在其高维动作和观测空间上。让我们拆解这两个关键概念：

2.1 动作空间解析

动作空间是一个17维的连续空间，每个维度控制特定关节的扭矩：

print(env.action_space) # 输出: Box(-1.0, 1.0, (17,), float32)

各维度对应的具体关节如下：

• 0-2: 左髋关节(x,y,z轴扭矩)
• 3-5: 右髋关节(x,y,z轴扭矩)
• 6: 右膝关节
• 7-9: 左髋关节(x,y,z轴扭矩)
• 10: 左膝关节
• 11-13: 右肩关节(两个旋转轴和肘部)
• 14-16: 左肩关节(两个旋转轴和肘部)

每个动作值范围在[-0.4, 0.4]之间，对应施加的扭矩单位为N·m。

2.2 观测空间详解

观测空间包含376个维度，主要分为以下几部分：

print(env.observation_space) # 输出: Box(-inf, inf, (376,), float64)

观测值的构成逻辑：

1. 位置信息（前45维）：
   • 躯干的位置和四元数方向
   • 各关节的角度位置
2. 速度信息（接下来45维）：
   • 躯干的线速度和角速度
   • 各关节的角速度
3. 扩展信息（剩余286维）：
   • 刚体惯性特性(cinert)
   • 质心速度(cvel)
   • 执行器力(qfrc_actuator)
   • 外部接触力(cfrc_ext)

理解这些观测维度对设计有效的控制策略至关重要。例如，躯干的z坐标可用于判断机器人是否跌倒，而质心速度则能反映运动趋势。

3. 从随机动作到基础控制

让我们从最简单的控制策略开始，逐步改进机器人的运动能力。

3.1 随机动作的基准测试

运行以下代码观察随机策略的表现：

def random_policy(obs): return env.action_space.sample() total_rewards = [] for episode in range(10): obs, _ = env.reset() episode_reward = 0 while True: action = random_policy(obs) obs, reward, terminated, truncated, _ = env.step(action) episode_reward += reward if terminated or truncated: break total_rewards.append(episode_reward) print(f"Episode {episode+1}: Reward={episode_reward:.1f}")

典型输出结果：

Episode 1: Reward=32.5 Episode 2: Reward=28.1 ... Episode 10: Reward=35.7

随机策略的平均奖励约30分，机器人通常会在几秒内跌倒。我们需要设计更智能的控制策略。

3.2 基于PD控制的站立策略

比例-微分(PD)控制器是机器人控制的经典方法。以下实现让机器人保持站立的简单控制器：

import numpy as np class StandingPDController: def __init__(self, env): self.target_positions = np.zeros(45) # 目标位置设为中立姿势 self.kp = 0.5 # 比例增益 self.kd = 0.1 # 微分增益 def __call__(self, obs): positions = obs[:45] # 前45维是位置信息 velocities = obs[45:90] # 接下来45维是速度信息 # 计算PD控制输出 action = self.kp * (self.target_positions - positions) - self.kd * velocities # 将动作限制在合法范围内 return np.clip(action, -0.4, 0.4)

测试这个控制器：

pd_controller = StandingPDController(env) obs, _ = env.reset() for _ in range(500): # 模拟5秒 action = pd_controller(obs) obs, _, terminated, truncated, _ = env.step(action) if terminated or truncated: break

这个简单控制器已经能让机器人保持站立数秒，比随机策略有了明显进步。但要实现行走，我们需要更高级的方法。

4. 用强化学习训练行走策略

现在进入最激动人心的部分——用强化学习教会机器人行走。我们将使用Stable Baselines3库实现PPO算法。

4.1 训练环境设置

首先安装必要库并配置训练环境：

pip install stable-baselines3==2.0.0

然后创建自定义环境包装器，简化奖励函数：

from stable_baselines3.common.env_util import make_vec_env from stable_baselines3.common.vec_env import VecNormalize # 创建并行环境 vec_env = make_vec_env("Humanoid-v4", n_envs=8) # 标准化观测和奖励 vec_env = VecNormalize(vec_env, norm_obs=True, norm_reward=True)

4.2 PPO算法训练

使用PPO算法进行训练：

from stable_baselines3 import PPO model = PPO( "MlpPolicy", vec_env, verbose=1, learning_rate=3e-4, n_steps=2048, batch_size=64, n_epochs=10, gamma=0.99, gae_lambda=0.95, clip_range=0.2, ent_coef=0.0 ) model.learn(total_timesteps=1_000_000) # 训练100万步 model.save("humanoid_walker")

训练过程中，你会看到奖励曲线逐渐上升。典型训练日志如下：

| time/ | | | fps | 120 | | iterations | 100 | | time_elapsed | 170 | | total_timesteps | 204800 | | train/ | | | approx_kl | 0.01 | | clip_fraction | 0.1 | | entropy_loss | -4.0 | | explained_variance | 0.8 | | learning_rate | 0.0003 | | loss | 0.5 | | n_updates | 990 | | policy_gradient_loss | -0.01 | | reward | 2500 | | std | 1.0 |

4.3 评估训练结果

训练完成后，我们可以评估学习到的策略：

# 加载训练好的模型 model = PPO.load("humanoid_walker") # 创建评估环境 eval_env = gym.make("Humanoid-v4", render_mode="human") eval_env = VecNormalize(eval_env, norm_obs=True, norm_reward=True) obs, _ = eval_env.reset() total_reward = 0 for _ in range(1000): action, _ = model.predict(obs, deterministic=True) obs, reward, terminated, truncated, _ = eval_env.step(action) total_reward += reward if terminated or truncated: obs, _ = eval_env.reset() print(f"Total reward: {total_reward}")

经过100万步训练后，机器人应该能够稳定行走数十步，获得数千分的奖励。你可以尝试调整超参数或训练更长时间来获得更好的性能。

5. 高级技巧与优化建议

当基本实现能工作后，以下技巧可以进一步提升性能：

5.1 奖励函数工程

修改环境参数可以改变学习难度：

# 创建自定义环境 def make_custom_env(): def thunk(): env = gym.make( "Humanoid-v4", forward_reward_weight=2.0, # 提高前进奖励 ctrl_cost_weight=0.05, # 降低控制惩罚 healthy_reward=2.0 # 降低存活奖励 ) return env return thunk vec_env = make_vec_env(make_custom_env(), n_envs=8)

5.2 网络架构调整

修改策略网络架构可以提升模型表达能力：

policy_kwargs = dict( net_arch=dict(pi=[256, 256], vf=[256, 256]) # 两层256单元的MLP ) model = PPO( "MlpPolicy", vec_env, policy_kwargs=policy_kwargs, verbose=1, ... )

5.3 课程学习策略

从简单任务开始逐步增加难度：

1. 先训练站立平衡（限制动作范围）
2. 然后训练小幅移动
3. 最后训练完整行走

# 分阶段训练示例 for phase in ["standing", "small_steps", "full_walking"]: if phase == "standing": # 限制动作幅度 env = gym.make("Humanoid-v4", max_action=0.2) elif phase == "small_steps": # 中等动作幅度 env = gym.make("Humanoid-v4", max_action=0.4) else: # 完整动作空间 env = gym.make("Humanoid-v4") model = PPO("MlpPolicy", env, ...) model.learn(total_timesteps=300_000)

5.4 可视化分析工具

使用TensorBoard监控训练过程：

tensorboard --logdir ./ppo_humanoid_tensorboard/

关键指标包括：

• episode_reward：每回合总奖励
• episode_length：每回合步数
• loss/value_loss：策略和价值函数损失

6. 常见问题与调试技巧

在训练Humanoid时，你可能会遇到以下典型问题：

6.1 训练不收敛的可能原因

• 奖励尺度不当：检查奖励各组成部分的贡献比例
• 观测未标准化：确保使用了VecNormalize
• 学习率过高：尝试降低学习率(如1e-4)
• 批量大小不足：增加n_steps或batch_size

6.2 提高训练稳定性的技巧

• 增加并行环境数量(n_envs=8或更高)
• 使用更大的网络(如[512, 512])
• 添加少量熵系数(ent_coef=0.01)
• 实现早期终止(当机器人跌倒时提前结束回合)

6.3 性能优化建议

• 使用GPU加速训练
• 采用帧堆叠(frame stacking)处理时序信息
• 尝试其他算法如SAC或TD3
• 集成模仿学习(如果有专家演示数据)

# 使用GPU加速示例 import torch device = "cuda" if torch.cuda.is_available() else "cpu" model = PPO("MlpPolicy", env, device=device, ...)

经过这些优化，你的Humanoid应该能够实现稳定、高效的行走。记得保存最佳模型，并尝试不同的随机种子以确保策略的鲁棒性。