Unity ML-Agents训练不收敛？7大原因与调参实战指南

1. 项目概述：当你的智能体在“原地踏步”

在Unity ML-Agents的世界里，最让人沮丧的瞬间，莫过于你满怀期待地启动训练，看着TensorBoard里的曲线，结果发现那条代表奖励的线，像心电图一样上下乱跳，或者干脆就躺平在一条水平线上，纹丝不动。这就是“训练不收敛”——你的智能体（Agent）压根没学会你希望它做的事。我经历过太多次这种时刻，从早期的简单寻路，到后来的复杂策略游戏，每一次不收敛都像是一次“破案”过程。今天，我就把自己和团队踩过的坑、总结的经验，系统地梳理成这7个最常见的原因和对应的调参方案。无论你是刚接触强化学习的新手，还是正在调试复杂环境的老手，这份清单都能帮你快速定位问题，让你的智能体真正“动”起来，学到东西。

2. 训练不收敛的7大“元凶”与深度诊断

训练不收敛只是一个表象，其背后是强化学习（RL）训练过程中某个或多个环节的失调。ML-Agents作为Unity与RL的桥梁，其复杂性既来自RL算法本身，也来自游戏引擎环境的特殊性。我们需要像医生一样，从症状（奖励曲线）出发，进行系统性排查。

2.1 原因一：奖励函数设计不当（奖励稀疏或误导）

这是新手和老手都会栽跟头的第一大坑。奖励函数是智能体学习的“指挥棒”，设计错了，方向就全错了。

核心问题解析：

1. 奖励稀疏（Sparse Reward）：智能体完成一整个复杂任务（如走到迷宫终点）才能获得一次正奖励，中间步骤没有任何反馈。这就像让一个婴儿学走路，只有走到十米外才给一颗糖，中间摔倒了毫无提示。智能体在探索初期几乎不可能偶然完成整个任务，因此它永远无法获得正向反馈，学习无从开始。
2. 奖励误导（Misleading Reward）：奖励函数存在漏洞，让智能体找到了“刷分”的捷径，而非完成你真正的意图。经典例子是“寻宝”游戏中，如果撞击墙壁的惩罚很小，而移动本身有微小的正奖励，智能体可能会学会在原地疯狂转圈“刷”移动奖励，而不是去找宝藏。
3. 奖励尺度失衡（Improper Scale）：不同奖励项的数值量级差异巨大。例如，生存奖励每步+0.1，而完成任务奖励+1000。在训练初期，智能体根本无法关联到那个遥远的+1000，微小的+0.1又不足以提供有效的梯度信号，导致学习不稳定。

调参与解决方案：

• 针对稀疏奖励：实施“奖励塑形”（Reward Shaping）。为最终目标设计一系列中间奖励。例如，寻路任务中，除了到达终点的+10，可以增加“每向目标靠近一步+0.01”的稠密奖励。ML-Agents中，你可以在Agent脚本的OnEpisodeBegin()或CollectObservations()中计算智能体与目标的距离变化，并调用AddReward()。
• 针对误导奖励：进行“对抗性测试”。让你的奖励函数接受“最笨的智能体”的考验。思考：一个完全随机行动的智能体，能否通过某种奇怪的方式获得高奖励？如果能，就需要重新设计。通常需要增加约束性惩罚，比如对原地不动、重复无效动作施加微小的负奖励。
• 针对尺度失衡：归一化，归一化，归一化！重要的事情说三遍。尽量将所有奖励项规划到相近的数量级，比如[-1, 1]或[0, 1]之间。对于生存类奖励，可以尝试每步+0.001；对于关键任务奖励，设为+1。在ML-Agents的配置文件中（.yaml），虽然不能直接缩放奖励，但你可以通过调整beta（熵正则化系数）和learning_rate来间接影响智能体对奖励的敏感度。

实操心得：设计奖励函数时，我习惯先写一个简单的版本，然后用一个随机策略（将Behavior Parameters中的Behavior Type设为Heuristic Only）运行几分钟，观察累计奖励。如果随机策略都能获得不错的正奖励，说明你的奖励函数太“松”了；如果随机策略的奖励一直是负的且很低，说明可能太“严”或太稀疏了。一个好的奖励函数，应该让随机策略的奖励在零附近小幅波动。

2.2 原因二：观察空间（Observations）信息不足或噪声过大

智能体不是上帝，它只能通过你提供的“观察”来感知世界。如果观察信息不足以做出决策，或者包含了太多无关噪声，学习必然失败。

核心问题解析：

1. 信息不足：例如，在一个需要避障的移动任务中，你只提供了智能体自身的位置和速度，但没有提供周围障碍物的信息。智能体相当于被蒙上了眼睛，它永远学不会躲避。
2. 信息冗余与噪声：相反，如果你把整个游戏场景的每一个物体、每一个像素的颜色都作为观察输入，会产生巨大的观察空间，其中99%的信息对当前决策是无用的。这会给神经网络带来巨大的负担，并淹没那些关键信号。
3. 数据格式不一致：观察向量中包含了量纲和范围完全不同的数据，比如位置（值域可能成百上千）、旋转角（0-360）、布尔标志（0或1）、归一化后的血量（0-1）。如果不加处理直接拼接，网络很难高效地学习这些特征的联合表示。

调参与解决方案：

• 结构化你的观察：充分利用ML-Agents提供的多种观察类型。
  • 向量观察（Vector Observations）：用于结构化、数值型数据。确保包含所有必要且充分的信息。例如，对于一个足球运动员智能体，观察应包括：自身位置/旋转、球的位置/速度、队友和对手的若干关键位置、到球门的向量等。
  • 视觉观察（Visual Observations）：用于图像信息。务必降低Camera Sensor或Render Texture Sensor的分辨率（如84x84），并考虑使用灰度图（减少通道数）。昂贵的3D模型和复杂光影在训练初期是负担。
  • 射线感知（Ray Perception Sensor）：用于距离探测，是避障、寻路的利器。仔细设置射线的数量、角度和长度，确保能覆盖关键探测方向。
• 强制进行归一化（Normalization）：在配置文件.yaml中，将normalize设为true。这是ML-Agents一个极其重要却常被忽略的功能。它会自动在运行时计算观察值的均值和方差，并进行归一化，极大稳定训练。
• 使用遮罩（Masking）：对于某些无效动作（例如，在特定状态下“跳跃”动作无意义），使用DiscreteActionMasker组件来屏蔽这些动作，可以显著减少智能体的探索空间，加速学习。

踩坑记录：我们曾有一个机械臂抓取项目，训练始终不收敛。后来发现，观察空间里包含了机械臂每个关节的全局欧拉角。当关节旋转超过360度时，角度值会发生跳变（如从359度跳到0度），这对网络来说是两个“遥远”的值，但实际上机械臂位置只移动了1度。我们将观察改为关节的相对旋转或四元数后，训练立刻稳定了。永远记住，网络喜欢连续、平滑的输入。

2.3 原因三：超参数配置不合理

ML-Agents提供了丰富的超参数，它们控制着PPO算法（默认训练器）的方方面面。一套糟糕的超参数，足以让最完美的环境和奖励设计功亏一篑。

核心问题解析：超参数之间相互耦合，没有一套“银弹”参数。但有几个关键参数对收敛性有决定性影响：

1. learning_rate（学习率）：太大，训练会震荡甚至发散；太小，学习速度慢如蜗牛，可能还没收敛你就没耐心了。
2. batch_size（批大小）与buffer_size（缓冲区大小）：batch_size是每次参数更新时使用的经验数据量。buffer_size是收集多少步经验后才进行一次更新。如果batch_size相对于buffer_size太小，每次更新用的数据代表性不足；如果太大，计算慢且容易过拟合。
3. beta（熵系数）与epsilon（剪切系数）：beta鼓励探索，值越大，智能体越随机；epsilon限制每次参数更新的幅度，是PPO算法稳定性的关键。
4. hidden_units（隐藏层单元数）与num_layers（网络层数）：网络容量。太简单，无法拟合复杂策略；太复杂，容易过拟合且训练慢。

调参与解决方案：调参是一门艺术，但遵循以下顺序和原则可以少走弯路：

1. 从官方基线开始：ML-Agents为不同示例场景提供了.yaml配置文件。找一个与你任务复杂度最接近的官方配置作为起点，永远好过从零开始。
2. 先调学习率与探索：
   • 观察奖励曲线：如果奖励剧烈震荡然后崩溃，通常是learning_rate太高。尝试将其降低一个数量级（例如从3.0e-4降到3.0e-5）。
   • 观察探索行为：如果智能体早期就陷入某个固定动作循环，可能是beta太小，探索不足。适当增大beta（如从1.0e-3增加到5.0e-3）。
   • 稳定更新：epsilon通常保持在0.2附近是一个好的起点。如果训练非常不稳定，可以尝试略微降低（如0.15）。
3. 再调网络结构与批次：
   • 对于简单任务（如平衡杆），hidden_units: 128，num_layers: 2足够。
   • 对于复杂任务（多智能体协作），可以尝试hidden_units: 512，num_layers: 3。但优先考虑优化观察和奖励，而不是盲目加大网络。
   • batch_size通常设为buffer_size的1/4到1/10。例如buffer_size: 20480，batch_size: 512或1024是一个常用组合。
4. 使用线性衰减：对于长期训练，在配置中使用learning_rate_schedule和beta_schedule设置为linear，让学习率和探索率随着步数增加而衰减，有助于后期策略收敛到更精确解。

一个针对中等复杂度环境（如3D移动+简单交互）的参考配置框架如下：

behaviors: YourBehaviorName: trainer_type: ppo hyperparameters: batch_size: 1024 buffer_size: 10240 learning_rate: 3.0e-4 learning_rate_schedule: linear beta: 5.0e-3 beta_schedule: linear epsilon: 0.2 lambd: 0.95 num_epoch: 3 network_settings: normalize: true hidden_units: 256 num_layers: 2 reward_signals: extrinsic: gamma: 0.99 strength: 1.0

2.4 原因四：环境重置（Episode Reset）逻辑有缺陷

在ML-Agents中，一个Episode（回合）从OnEpisodeBegin()开始，到Agent.EndEpisode()被调用或达到Max Step结束。回合重置逻辑是确保训练多样性和稳定性的基石。

核心问题解析：

1. 初始状态过于单一或固定：如果每个回合智能体都出生在完全相同的位置，面对完全相同的障碍，那么它学到的策略将极度缺乏泛化能力。一旦环境稍有变化（比如障碍物位置变了），它就不知所措。
2. Max Step设置不当：Max Step（在Behavior Parameters组件或配置中）设置了一个回合的最大步数。如果设置过短，智能体可能来不及完成任何有意义的行为就被强制重置，无法学习长期策略。如果设置过长，一个回合内可能包含多个独立子任务，使得奖励分配和信用分配（Credit Assignment）变得困难。
3. 重置条件过于严苛或宽松：何时调用EndEpisode()？如果条件太严（如稍微偏离路线就结束），智能体总是很快失败，积累不到成功经验。如果条件太宽（如永远不结束），回合无法终止，训练数据无法分段。

调参与解决方案：

• 随机化初始状态：在Agent脚本的OnEpisodeBegin()方法中，充分随机化。
  • 随机位置：transform.localPosition = new Vector3(Random.Range(-5f, 5f), 0.5f, Random.Range(-5f, 5f));
  • 随机旋转：transform.localRotation = Quaternion.Euler(0, Random.Range(0, 360f), 0);
  • 随机化环境物体：重置障碍物、目标点的位置。
• 合理设置Max Step：一个经验法则是，Max Step应该足够长，让一个随机策略有一定概率（比如5%-10%）能完成一次最简单的任务。你可以通过Heuristic模式运行测试。例如，随机策略平均需要5000步碰到一次目标，那么Max Step可以设为10000，给学习策略留出探索空间。
• 设计合理的回合终止条件：
  • 成功条件：达成目标（如到达终点、抓住物体）时，给予正奖励并EndEpisode()。
  • 失败条件：明确且合理的失败（如坠落悬崖、超时、严重偏离轨道）时，给予负奖励并EndEpisode()。
  • 中立条件：对于一些非致命的小错误（如轻微碰撞），可以只给惩罚但不结束回合，让智能体有机会修正。

注意事项：OnEpisodeBegin()中重置环境状态时，务必确保所有与上一个回合相关的变量都被清零或重置。我曾遇到一个Bug：在OnEpisodeBegin()中忘记重置一个用于计算差分奖励的“上一帧位置”，导致奖励计算错误，训练诡异震荡。养成好习惯：在OnEpisodeBegin()开头，把所有需要手动管理的Agent内部状态变量都重置一遍。

2.5 原因五：动作空间（Action Space）设计或执行问题

智能体通过动作与环境交互。动作空间设计不当，会让智能体“有劲使不出”或“动作失真”。

核心问题解析：

1. 离散动作空间过于粗糙：对于移动控制，如果你只提供{前，后，左，右，停}这5个离散动作，智能体很难做出平滑的曲线运动，尤其是在需要精细操控的任务中。
2. 连续动作空间未做限幅：对于连续动作（如输出一个扭矩值），如果你直接将网络输出（范围大约在[-1, 1]经过Tanh激活）映射到物理引擎的力上，可能需要一个缩放系数。更重要的是，如果这个力直接施加于Rigidbody，没有考虑帧时间（Time.deltaTime），可能会导致力量过大，物体飞出去，环境变得极其不稳定。
3. 动作频率与环境步频不匹配：ML-Agents的Decision Requester组件控制着智能体请求决策的频率（Decision Period）。如果Decision Period太小（如1），智能体每帧都做新决策，可能导致动作变化太快，物理引擎来不及响应，产生抖动。如果太大，智能体反应迟钝。

调参与解决方案：

• 根据任务选择动作类型：
  • 精细控制、连续运动：优先选择连续动作空间。例如，移动可以输出一个Vector2或Vector3，分别控制水平方向力和垂直跳跃力。
  • 选择、开关类：使用离散动作空间。例如，选择使用哪个技能，或打开哪个开关。
  • 混合动作：ML-Agents支持混合动作，对于机器人控制非常有用（如连续控制移动，离散控制模式切换）。
• 对连续动作进行平滑与限幅：

  // 在Agent的OnActionReceived中 float horizontalInput = actions.ContinuousActions[0]; // 范围[-1, 1] float verticalInput = actions.ContinuousActions[1]; // 1. 可选：对输入进行平滑滤波，避免突变 // smoothedInput = Mathf.Lerp(smoothedInput, rawInput, smoothFactor); // 2. 将输入映射到实际控制量，并考虑Time.deltaTime float engineForce = verticalInput * maxEngineForce * Time.deltaTime; float steeringTorque = horizontalInput * maxSteeringTorque * Time.deltaTime; // 3. 将力/扭矩施加到Rigidbody上 rb.AddRelativeForce(Vector3.forward * engineForce); rb.AddTorque(Vector3.up * steeringTorque);

• 合理设置Decision Period：对于需要快速反应的环境（如平衡游戏），Decision Period可以设为1（每帧决策）。对于策略性更强、变化较慢的环境（如资源管理），可以设为10-30，以减少计算量并让策略更稳定。一个重要的技巧是：将Time Scale调到大于1（如2，3，5）可以物理加速模拟，从而更快地收集经验，但要注意物理稳定性。

2.6 原因六：课程学习（Curriculum Learning）未启用或配置错误

对于极其困难的任务，让智能体从零开始直接学习最终目标几乎是不可能的。课程学习是一种“循序渐进”的教学策略，是解决稀疏奖励和复杂任务的利器。

核心问题解析：

1. 完全没使用课程学习：任务太难，智能体一开始完全无法获得任何正向奖励，探索永远无法触及目标区域。
2. 课程阶段设计不合理：阶段之间难度跳跃太大。例如，第一阶段让智能体走直线，第二阶段突然要求它在布满移动障碍的迷宫中寻宝。智能体在第一阶段学到的技能无法迁移到第二阶段。
3. 进度条件（Measure）和阈值（Threshold）设置不当：进度条件衡量智能体的表现（如平均奖励）。阈值是触发进入下一阶段的标准。如果阈值设得太高，智能体永远卡在当前阶段；设得太低，它还没掌握当前阶段就被推进更难的阶段，导致崩溃。

调参与解决方案：

1. 设计阶梯式课程：将终极任务分解为一系列逐步变难的子任务。
   • 示例：抓取并放置任务
     • 阶段1：目标静止，且就在手边。奖励：碰到目标+0.1，抓取+0.5。
     • 阶段2：目标静止，但初始位置随机在面前半米内。奖励同上。
     • 阶段3：目标位置随机范围扩大，并增加轻微干扰（如微风）。奖励：增加“将目标移动到目标区域附近”的塑形奖励。
     • 阶段4：目标初始位置完全随机，并可能有一个移动的障碍物。
2. 在ML-Agents中配置课程：
   • 创建一个.json课程文件（如MyCurriculum.json）。
   • 定义阶段（measure，thresholds，min_lesson_length，parameters）。
   • 在.yaml配置文件中通过curriculum字段引入。
3. 关键参数调整：
   • min_lesson_length：智能体必须在当前阶段至少完成这么多回合，才能评估是否晋级。防止因偶然一次高表现而提前晋级。通常设为1000-5000。
   • measure：最常用的是reward（平均奖励）。对于某些任务，也可以是自定义的progress（在代码中通过Academy的SetLesson设置）。
   • thresholds：需要仔细调试。观察TensorBoard中该measure的滑动平均值，选择一个它能在当前阶段稳定达到并略有波动的值作为晋级阈值。

实操心得：课程学习的最大挑战在于设计平滑的难度曲线。我常用的方法是“逆向设计”：先想象智能体完美完成最终任务需要哪些能力，然后倒推出培养这些能力所需的训练阶段。同时，一定要在课程JSON中为每个参数设置合理的value（初始值）和slope（在阶段间的插值方式，通常线性linear即可）。晋级后参数的突变有时会导致训练不稳定，线性过渡能缓解这个问题。

2.7 原因七：并行实例数量不足或环境差异过大

ML-Agents支持并行运行多个环境实例（num_envs或通过--num-envs命令行参数），这是加速训练的核心。但并行设置不当也会导致不收敛。

核心问题解析：

1. 实例数量太少：默认可能只运行1个实例。这意味着同一时间只收集一条经验轨迹，数据样本多样性极低，且训练速度慢。PPO算法需要批量数据来估计梯度，数据不足会导致方差大，训练不稳定。
2. 实例间完全同质化：如果所有并行实例的环境、智能体初始状态一模一样，那么它们收集的经验是高度相关的。这相当于用几乎相同的数据反复训练，容易过拟合，并且无法有效探索状态空间。
3. 硬件资源成为瓶颈：盲目增加并行实例数，可能导致CPU（物理模拟、逻辑更新）或GPU（神经网络推理）满载，帧率急剧下降。此时，虽然实例数多，但每个实例的模拟速度很慢，整体经验吞吐量（每秒步数）并未提升，甚至可能下降。

调参与解决方案：

• 增加并行环境数量：这是提升训练稳定性和速度最有效的方法之一。对于简单环境，可以从4-8个实例开始。对于复杂环境，如果硬件允许，可以尝试16、32甚至更多。在.yaml中可以通过env_settings下的num_envs设置，或直接在训练命令中指定--num-envs 16。
• 确保实例间的随机化：这是关键！每个并行环境实例必须有独立的随机种子。ML-Agents会自动处理这一点，但你需要确保你的环境重置逻辑（OnEpisodeBegin()）充分利用了随机性，如我们在原因四中所述。这样，每个实例中的智能体都在探索环境的不同部分。
• 监控资源与吞吐量：
  • 使用系统任务管理器或nvidia-smi监控CPU和GPU使用率。
  • 在TensorBoard或训练命令行输出中，关注Steps/Second或Cumulative Reward旁边的步数增长速度。
  • 目标是最大化“经验吞吐量”（总步数/真实时间）。找到一个平衡点：增加实例数，直到吞吐量不再显著增长或开始下降，或者硬件资源达到瓶颈（如CPU占用95%+）。
• 关于GPU的使用：ML-Agents的训练（梯度计算）通常在GPU上进行，但环境模拟（Unity实例）在CPU上进行。因此，瓶颈通常先在CPU。如果GPU使用率很低（比如<30%），而CPU已满，说明受限于环境模拟速度，此时增加更多CPU核心（或优化环境代码）比升级GPU更有效。

3. 系统性调试工作流与问题排查清单

当训练不收敛时，盲目调参是下策。建立一个系统的调试工作流至关重要。

3.1 第一步：确认环境与智能体基础功能

在开始任何正式训练之前，必须确保环境本身是可交互且符合预期的。

1. Heuristic模式测试：将Behavior Type设为Heuristic，并在Heuristic()方法中编写简单的手动控制逻辑（如用键盘WASD控制移动）。亲自操作智能体，是否能完成基本任务？奖励计算是否正确？回合重置是否正常？
2. 随机策略测试：将Behavior Type设为Inference Only，并加载一个未经训练的模型（或让网络随机输出）。观察智能体的随机行为是否合理？例如，连续动作空间下的输出是否会导致物体疯狂旋转或飞出世界？这能检验动作执行环节是否有问题。
3. 观察空间可视化：在Unity Editor中，勾选Behavior Parameters组件上的Draw Observations（对于向量观察）或在Scene视图中查看射线感知。确认智能体“看到”的和你认为它应该看到的一致。

3.2 第二步：启动训练与初期监控

开始训练后，前几万步的观察至关重要。

1. 关注初始奖励：在TensorBoard中，查看Environment/Cumulative Reward。在最初几步，奖励应该在一个很小的范围内随机波动（例如，如果每步有生存惩罚-0.001，那么奖励会缓慢下降）。如果奖励从一开始就恒为0、恒为一个极大正值或极负值，立刻停止！回去检查奖励函数逻辑。
2. 关注探索熵值：查看Policy/Entropy。这个值应该从一个相对较高的水平开始（表示动作随机），然后随着学习逐渐缓慢下降。如果熵值从一开始就急速降至接近0，说明beta可能太小，或网络初始化有问题，智能体过早地停止了探索。
3. 关注价值函数损失：查看Losses/Value Loss。这个值在训练初期可能会有波动，但整体趋势应该是下降并逐渐稳定在一个较低值。如果价值损失持续飙升，往往意味着学习率太高或奖励尺度异常。

3.3 第三步：中期问题诊断与干预

训练进行到几十万步后，根据曲线形态采取不同策略。

3.4 第四步：高级工具与技巧

1. 使用TensorBoard进行对比实验：这是最重要的工具。每次只调整1-2个超参数，并用不同的run-id启动训练，在TensorBoard中叠加对比它们的曲线。这能清晰地看出每个参数的影响。
2. 模型快照与回滚：定期保存模型（.nn文件）。当训练出现崩溃时，可以回滚到之前稳定的检查点，并调整参数重新开始，避免从头再来。
3. 自定义监控指标：除了默认的奖励和损失，你可以在Agent代码中通过StatsRecorder添加自定义统计信息。例如，记录“平均每一步离目标的距离”、“成功次数/回合”等，这些指标能更直观地反映智能体的真实表现，而不仅仅是总奖励。

训练一个稳定的ML-Agents智能体，是一个结合了工程、算法和耐心的系统性工作。它没有唯一的解，但遵循“观察 -> 假设 -> 实验 -> 验证”的科学调试循环，逐一排除上述七个常见原因，你一定能将那条令人头疼的奖励曲线，驯服成一条昂扬向上的学习轨迹。记住，每一次不收敛，都是你对强化学习和你的环境理解更深一步的机会。