强化学习赋能小模型进化：时长感知梯度与环境插桩破解MLE智能体训练难题

1. 项目概述：当小模型学会“进化”

在机器学习工程（MLE）领域，我们正处在一个有趣的十字路口。长久以来，一个普遍的认知是：模型的能力与参数量成正比。要解决复杂的、需要多步推理和代码执行的工程任务，比如参加Kaggle竞赛，我们自然而然地会去调用那些参数量动辄数百亿甚至数千亿的“前沿大模型”（如Claude 3.5 Sonnet, GPT-4o），通过精巧设计的提示词（Prompt）和智能体脚手架（Agent Scaffold）来驱动它们工作。这就像聘请一位经验丰富但收费高昂的专家顾问，他知识渊博，能立刻给出不错的方案，但他的“思考方式”是固定的，不会因为帮你解决了100个类似问题而变得更快、更准、更懂你的特定需求。

但有没有另一种可能？如果我们培养一位资历尚浅但学习能力极强的“实习生”——一个参数量仅30亿的小模型（如Qwen2.5-3B），并为他设计一套科学的“在职培训”体系，让他通过大量实践不断积累经验、修正错误、优化策略，他最终能否在特定任务上超越那位不再进步的“专家顾问”？

我们最近的一项探索给出了肯定的答案。核心思路是：用强化学习（Reinforcement Learning, RL）替代静态提示，赋予小模型“进化”的能力。这并非简单的模型微调，而是构建一个完整的“智能体-环境”交互闭环。智能体（小模型）根据当前任务状态（如问题描述、历史尝试）生成一个行动计划并编写执行代码（动作），环境（代码沙箱）执行这段代码并返回结果（如模型准确率、运行日志），我们根据结果给出奖励（或惩罚）。智能体的目标，就是通过策略梯度更新，学会最大化累积奖励，也就是生成越来越好的解决方案。

这个想法的价值巨大。它意味着我们不必永远追逐更大的模型和更复杂的提示工程，而是可以通过一种可学习的、数据驱动的方式，让一个计算成本低廉的小模型在特定领域持续精进，最终达到甚至超越静态大模型的性能。这对于资源受限的场景、需要高度定制化Agent的垂直领域，或是追求极致性价比的应用，开辟了一条全新的路径。

然而，将经典的RL范式直接套用到MLE智能体上，就像让F1赛车手去开越野车，会遭遇两个水土不服的核心挑战：

1. 动作执行时间可变：在模拟环境（如Atari游戏）中，智能体执行一个动作（如“向左移动”）几乎是瞬间完成的。但在MLE任务中，一个动作可能是一段训练线性回归的代码（1秒），也可能是训练一个深度神经网络并做复杂特征工程的代码（10分钟）。在分布式异步RL训练中，执行快的动作会更快地返回经验、更频繁地更新策略，导致策略迅速偏向于生成那些“短平快”但性能平庸的方案。
2. 奖励信号极其稀疏：环境通常只在任务完全成功时（如代码无错运行并输出有效结果）才给出一个最终得分（如Kaggle的Public LB分数）。一个在数据加载阶段就崩溃的方案，和一个在最后一步保存结果时出错的方案，获得的奖励都是零（或一个极低的负分）。这种“非黑即白”的反馈让学习变得异常困难，智能体很难知道自己的方案“差一点就成功了”，从而无法进行有效的梯度更新。

针对这两个拦路虎，我们设计了两项关键技术：时长感知梯度更新和环境插桩。前者确保了策略更新不会歧视耗时长的优质动作；后者则将稀疏的“最终奖励”拆解为稠密的“过程奖励”，为智能体的每一步进展提供即时反馈。我们的实验表明，经过RL训练的Qwen2.5-3B模型，在12个精选的Kaggle任务上，平均性能超越了使用最佳脚手架提示的Claude 3.5 Sonnet模型达22%。这不仅仅是数字的超越，更是一种范式的转变：从依赖模型的“先天禀赋”，转向培育模型的“后天习得能力”。

2. 核心挑战与创新解法拆解

将强化学习应用于机器学习工程智能体，我们面对的不是一个干净的实验室环境，而是一个充满不确定性和长反馈周期的真实世界模拟。下面，我将深入拆解这两个核心挑战背后的机理，并解释我们的解决方案为何有效。

2.1 挑战一：可变时长动作与分布式训练的“不公平竞争”

在标准的分布式异步RL框架（如Ray的RLlib）中，通常会部署多个“演员”（Actor）进程并行地与各自的环境副本交互。每个演员采样一个动作，执行它，收集经验（状态、动作、奖励、新状态），然后将这些经验发送给中央的“学习者”（Learner）进行策略梯度更新。这个设计在动作耗时恒定的环境中非常高效。

但在MLE场景中，动作（即生成的代码）的执行时间Δt差异巨大。假设我们有一个简单的线性回归方案（动作A，Δt_A = 1秒）和一个复杂的梯度提升树方案（动作B，Δt_B = 60秒）。在固定的训练时间窗口T内，演员能够采样并执行动作A的次数大约是动作B的60倍。因此，学习者收到的关于动作A的经验数据量也是动作B的60倍。

问题就出在策略梯度的更新公式上。策略梯度试图增加高奖励动作的概率，减少低奖励动作的概率。其更新方向由∇θ log πθ(a|s) * A(s, a)决定，其中A(s, a)是优势函数，衡量该动作相对于平均水平的优劣。在异步更新中，如果我们简单地对所有经验样本进行平均或求和，那么来自动作A的梯度贡献将占据绝对主导地位，仅仅因为它的样本数量多。即使动作B能带来更高的长期回报（比如更高的模型精度），其微弱的梯度信号也很容易被动作A的海量样本所淹没。这导致策略πθ迅速收敛到“总是生成快速方案”的次优模式，如图2所示，智能体最终只会生成执行飞快但性能一般的逻辑回归代码。

我们的解法：时长感知梯度更新解决思路的核心是“公平加权”。既然动作B因为执行慢而被采样得少，那么我们就让它的每一次出现“分量更重”。具体做法是，在计算每个经验样本的梯度贡献时，乘以该动作的执行时长Δt。

原始的梯度估计期望为：∇J(πθ) ≈ E[ Σ ∇θ log πθ(ak|sk) * A(sk, ak) ]

我们将其修改为：∇J(πθ) ≈ E[ Σ Δtk * ∇θ log πθ(ak|sk) * A(sk, ak) ]

这个Δtk因子起到了关键的平衡作用。它使得：

• 一个耗时短（Δt小）但被频繁采样的动作，其总梯度贡献 ≈ (高频率 * 小Δt) * 梯度项。
• 一个耗时长（Δt大）但被低频采样的动作，其总梯度贡献 ≈ (低频率 * 大Δt) * 梯度项。

在理想情况下，如果两个动作的价值（由A体现）相近，那么它们对策略更新的总影响应该是相近的，Δt因子恰好抵消了采样频率的差异。这就确保了策略不会仅仅因为某个动作“跑得快”而偏爱它，而是真正根据其带来的期望奖励（价值）来做决策。

实操心得：梯度缩放与数值稳定直接使用原始的Δt（可能长达数百秒）进行乘法会导致梯度爆炸。在实际实现中，我们通常对一个批次（Batch）内所有动作的Δt进行归一化，例如除以该批次的平均执行时间，将缩放因子控制在1附近。同时，需要确保梯度裁剪（Gradient Clipping）是开启的，以维持训练稳定性。

2.2 挑战二：稀疏奖励与“千里之堤，溃于蚁穴”

MLE任务的最终奖励（如测试集得分）是典型的稀疏奖励。智能体���成的代码是一条长长的指令链：导入包 -> 加载数据 -> 数据预处理 -> 特征工程 -> 模型构建 -> 模型训练 -> 模型预测 -> 结果保存。只要任何一个环节出错（比如pandas版本不兼容、文件路径错误、矩阵维度不匹配），整个链条就断裂了，返回的奖励是-10（我们设定的完全失败惩罚）。

这对于学习来说是灾难性的。想象一下，一个新手程序员写了100行代码，只有最后一行有个语法错误，编译器直接报“编译失败”。如果他只知道“失败”这一个结果，他将完全不知道前面99行都是正确的，调试将无从下手。我们的智能体就面临着同样的困境。它可能已经学会了如何正确加载复杂的图像数据（这是一个巨大的进步），但因为保存结果的代码有误，它得到的反馈和那些连import都写不对的方案是一样的。这种信号无法引导它朝着正确的方向微调。

我们的解法：环境插桩提供部分信用我们的目标是将“最终得分”这个单一信号，转变为反映“完成进度”的稠密信号。核心思想是：在代码执行的关键节点插入“检查点”，并通过检查点的通过情况来给予部分奖励。

但如何自动插入这些检查点呢？我们利用了一个关键的观察：生成代码的模型（被RL训练的策略模型）和理解代码结构的模型，可以是同一个模型的不同“副本”。我们固定一个静态的、不参与梯度更新的Qwen2.5-3B模型副本，称之为“环境模型”。它的任务不是生成解决方案，而是对策略模型生成的代码进行“插桩”。

具体流程如下：

1. 插桩提示：我们将策略模型生成的代码，连同一段精心设计的提示，一起输入给环境模型。提示要求它识别代码中的关键步骤（如“数据加载”、“模型定义”、“训练循环”），并在每个步骤完成后插入一条特定的打印语句（如print(“DATA_LOADED”)）。
2. 执行与匹配：执行这份被插桩后的代码。无论最终是否成功，执行过程的终端输出都会被捕获。
3. 信用提取：通过正则表达式匹配终端输出中的这些特殊打印语句。每匹配到一个预定义的里程碑（如DATA_LOADED,MODEL_BUILT,TRAINING_COMPLETE），就给予一个小的正向奖励（例如+0.1）。
4. 组合奖励：最终的奖励R_total是部分信用和最终得分的组合：
   • 如果代码运行完全失败（无任何输出或报错）：R_total = -10。
   • 如果代码运行有输出但未完成全部任务：R_total = -10 + 0.1 * N，其中N是匹配到的里程碑数量。
   • 如果代码成功运行并产生有效提交：R_total = Score_from_grader（Kaggle得分，归一化到[-1,1]区间）。

这种方法的美妙之处在于：

• 自我监督：它利用模型自身对代码结构的理解来创建监督信号，无需人工标注。
• 增量反馈：即使最终失败，智能体也能知道自己走到了哪一步。能成功加载数据比完全失败要好，能训练起来又比只加载了数据要好。这提供了宝贵的学习信号。
• 鼓励探索：智能体有动机去尝试完成更复杂的步骤，因为每完成一步都有即时奖励，缓解了稀疏奖励下的探索难题。

注意事项：避免奖励黑客必须使用独立的、冻结的模型进行插桩。如果让被训练的策略模型自己给自己插桩，它很快会学会“作弊”——生成大量毫无实际功能的print(“DATA_LOADED”)语句来骗取奖励，而不去真正执行数据加载操作。将“裁判”和“运动员”分离是保证学习过程健康的关键。

3. 系统架构与实操流程

理解了核心思想后，我们来搭建整个系统。这是一个整合了分布式RL训练、代码沙箱执行和动态奖励计算的复杂工程。下图概括了我们的框架：

（注：此处原为Mermaid图表，已按规范移除。以下用文字描述架构图）

整个系统由四个核心模块组成，以流水线方式协作：

1. 策略模型：一个可训练的Qwen2.5-3B模型，接收任务状态（问题描述、历史记录），输出解决方案（计划+代码）。它是被RL优化的对象。
2. 分布式执行环境：一组并行的沙箱环境。每个环境接收策略模型生成的代码，执行它，并记录执行时间Δt、终端输出和最终得分（如果有）。
3. 环境插桩模块：一个静态的Qwen2.5-3B模型副本。它接收原始代码，输出插桩后的代码（插入打印语句）。
4. 学习器：核心RL优化器。它从所有执行环境中收集经验元组(s, a, Δt, R_total, s‘)，其中R_total由部分信用提取器根据终端输出计算得出。学习器使用PPO算法，并应用我们提出的时长感知梯度更新规则，来计算梯度并更新策略模型的参数。

3.1 实操步骤详解

假设我们要在一个Kaggle表格数据分类任务上训练我们的RL智能体。以下是逐步操作指南：

步骤1：环境搭建与基准测试首先，我们需要一个可靠的评估环境。我们采用MLEBench的设置，它提供了75个Kaggle任务的统一接口（数据加载器、验证分割、评分器）。我们的第一步是运行基线模型。

1. 准备基线：使用AIDE、OpenHands等先进的Agent脚手架，配合Claude-3.5-Sonnet或GPT-4o，在每个任务上运行24-100小时，记录其能找到的最佳分数。这设定了我们要超越的标杆。
2. 初始化策略模型：加载预训练的Qwen2.5-3B模型。在训练开始前，我们先进行一轮零样本（zero-shot）测试：让模型直接为任务生成128个解决方案（温度=0.7）。检查是否有至少一个方案能成功运行并得到分数。这确保了任务对于小模型的初始能力是可解的，RL才有改进空间。我们从MLEBench中筛选出12个满足此条件的任务进行后续实验。

步骤2：构建训练循环我们的训练循环基于分布式RL框架（如HybridFlow）进行修改。关键代码如下逻辑：

# 伪代码，展示核心循环逻辑 import torch from transformers import AutoModelForCausalLM, AutoTokenizer from rllib.agents import PPOAgent # 假设的RL库 # 1. 初始化模型和Tokenizer policy_model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2.5-3B-Instruct") env_model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2.5-3B-Instruct") # 静态副本 env_model.eval() # 冻结参数 tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-3B-Instruct") # 2. 初始化RL Agent (例如PPO) agent = PPOAgent(policy_model, ...) # 需要自定义的Policy Network包装 # 3. 分布式演员循环 (每个演员进程执行) def actor_rollout(task_description): # 3.1 策略模型根据状态生成动作（代码） state = format_state(task_description, history) input_ids = tokenizer(state, return_tensors=“pt”).input_ids with torch.no_grad(): output = policy_model.generate(input_ids, max_new_tokens=1024, temperature=0.7) action_code = tokenizer.decode(output[0], skip_special_tokens=True) # 3.2 环境插桩 instrumentation_prompt = f“”" 请为以下Python代码在关键步骤后插入打印语句，用于跟踪执行进度。 例如，在成功加载数据后插入 `print(‘DATA_LOADED’)`。 只输出插桩后的完整代码。 代码： {action_code} “”" instr_input = tokenizer(instrumentation_prompt, return_tensors=“pt”).input_ids with torch.no_grad(): instr_output = env_model.generate(instr_input, max_new_tokens=1200) instrumented_code = tokenizer.decode(instr_output[0], skip_special_tokens=True) # 3.3 在沙箱中执行插桩后的代码，并计时 start_time = time.time() execution_result = safe_execute_in_sandbox(instrumented_code) # 返回(success, output, score) duration = time.time() - start_time # 3.4 计算奖励 partial_credit = 0 for milestone in [“DATA_LOADED”, “MODEL_BUILT”, “TRAINING_STARTED”, “PREDICTION_DONE”]: if milestone in execution_result.output: partial_credit += 0.1 if execution_result.success: reward = normalize_score(execution_result.score) # 归一化到[-1,1] else: reward = -10 + partial_credit # 3.5 构建经验并发送给学习器 experience = { “state”: state, “action”: action_code, “duration”: duration, “reward”: reward, “next_state”: update_state(state, execution_result.output) } send_to_learner(experience) # 4. 学习器更新循环 (应用时长感知梯度) def learner_update(batch_of_experiences): states, actions, durations, rewards, next_states = unpack(batch_of_experiences) # 计算标准PPO损失 (价值损失、策略损失、熵正则项) loss = ppo_loss(policy_model, states, actions, rewards, next_states) # 关键修改：在策略梯度项上乘以 duration # 假设 policy_loss 是计算好的策略梯度损失 policy_loss = policy_loss * durations.mean() # 简化的示意，实际需按公式集成到梯度计算中 loss.backward() optimizer.step()

步骤3：训练监控与调试训练过程通常持续1-3天（使用8张A100 GPU）。需要监控以下关键指标：

• 平均奖励/分数：应呈现上升趋势。初期可能因探索而较低，后期应收敛。
• 平均动作执行时间：在应用时长感知梯度后，这个时间应该不会像图2那样急剧下降并稳定在低位，而是可能有所波动，允许更耗时的动作出现。
• 部分信用分布：观察DATA_LOADED,MODEL_BUILT等里程碑的达成频率。在训练初期，DATA_LOADED的频率会逐渐提高，表明智能体正在学会正确加载数据。
• 生成代码的质量：定期抽样检查生成的代码。你应该能看到代码从充满语法错误、无法运行，逐渐变得规范，并开始尝试更复杂的模型和特征工程方法。

步骤4：评估与对比训练收敛后，我们让最终的策略模型生成128个解决方案，并选取其中得分最高的作为最终提交。

1. 内部评估：与训练前Qwen2.5-3B的零样本性能对比，计算提升幅度。
2. 外部基准对比：将最佳得分与步骤1中记录的基线模型（Claude-3.5-Sonnet + AIDE等）的最佳得分进行对比。我们的目标是超越它们。
3. 消融实验：必须进行消融实验以验证每个组件的必要性：
   • 无时长感知梯度：训练会迅速收敛到快速但次优的方案。
   • 无环境插桩：平均奖励收敛更慢，方差更大，尤其在复杂任务上可能完全无法学习。
   • 无自改进提示：我们还可以在50%的回合中，不是让智能体从头解决任务，而是给它一个之前生成的（可能不完美的）解决方案，要求它改进。消融实验显示，加入这种自改进提示能带来平均8%的额外性能提升。

4. 实验结果深度分析与行业启示

我们在12个多样化的Kaggle任务上进行了全面评估，任务类型涵盖文本分类、情感分析、图像分类、表格数据预测等。下表汇总了RL训练后的小模型（Qwen2.5-3B）与仅使用提示的多个前沿大模型的对比结果：

表1：小模型RL训练 vs. 大模型提示在MLEBench 12个任务上的表现

(↑表示分数越高越好，↓表示误差越低越好；分数为均值±标准误；N/A表示基线未产生有效提交)

结果解读与洞见：

1. 全面超越的潜力：我们的方法在12个任务中的8个上取得了最佳性能，平均超越最强的Claude3.5-Sonnet基线22%。这强有力地证明了通过RL进行持续学习的小模型，可以击败仅靠提示的静态大模型。尤其在“推文情感短语抽取”任务上，RL小模型取得了0.596的显著高分，而大模型基线最高仅为0.448，这体现了RL在解决复杂、易被“走捷径”任务上的优势（见图3，基线模型倾向于直接编码评估指标而非真正学习）。
2. 并非万能，但有普适性：在少数任务（如“专利短语匹配”、“植物病理图像分类”）上，我们未能超越最佳基线。这可能是由于任务本身需要非常特定的先验知识或复杂的架构设计，而这些知识在Qwen2.5-3B的预训练数据中不足，难以通过任务特定的RL完全习得。然而，即使在这些任务上，RL训练也大幅提升了小模型自身的性能（对比其零样本结果）。
3. 对智能体脚手架的鲁棒性：我们还将RL小模型与使用不同脚手架（AIDE, OpenHands, MLAgentBench）的GPT-4o进行了对比。结果显示，RL方法在12个任务中的9个上胜出，且性能表现稳定，而不同脚手架的提示效果波动较大。这表明RL提供了一种不依赖于特定提示工程或脚手架设计的、更通用的性能提升途径。
4. 学习曲线揭示本质：图7的学习曲线图极具启发性。在训练初期，RL小模型的性能远低于大模型提示的结果。但随着梯度更新的进行，小模型的性能稳步上升，最终实现反超。而大模型提示的曲线则很快进入平台期，即使延长运行时间（如GPT-4o运行100小时），性能也几乎没有增长。这直观地展示了**“静态推理”与“持续学习”的根本区别**。

4.1 消融实验：每个组件有多重要？

为了定量评估我们提出的两个核心创新点的贡献，我们进行了严格的消融实验。

时长感知梯度更新的效果如图8所示，在“随机披萨请求分类”任务中，如果不使用时长感知梯度，智能体生成代码的平均执行时间会迅速下降到1秒左右，并稳定在此。其最终收敛到的方案是简单的线性逻辑回归（得分约0.62）。而启用了时长感知梯度后，智能体愿意尝试执行时间更长（如10秒以上）的方案，例如梯度提升树（Gradient Boosting），并最终获得了更高的得分（约0.67）。这证实了该方法有效防止了策略因动作执行速度而产生偏见，鼓励了对高回报但耗时动作的探索。

环境插桩的效果如图9所示，我们在三个代表性任务上对比了有无环境插桩的训练曲线。以“推文情感短语抽取”任务为例，没有环境插桩时，平均奖励在训练初期徘徊在极低的负值（接近-10），因为大多数代码完全失败，智能体几乎得不到任何正向信号，学习进度缓慢且不稳定。而引入了环境插桩后，平均奖励从早期就开始稳步上升，因为即使代码最终失败，智能体也能因完成了“加载数据”等步骤而获得部分信用，从而更快地收敛到能生成有效代码的策略。这对于稀疏奖励任务的成功至关重要。

自改进提示的增益除了从零开始生成方案，我们还让智能体在50%的回合中尝试改进之前生成的方案。消融实验表明，这种设置带来了平均8%的额外性能提升。图6展示了一个例子：在Chatbot对战预测任务中，智能体早期提出的改进是使用回复长度差作为特征；在训练后期，它能提出更复杂的特征工程，如词数差、平均词长差等。这说明RL不仅提升了“从零创造”的能力，也同步提升了“迭代优化”的能力。

5. 实战陷阱、调参心得与未来展望

将RL应用于实际的代码生成智能体，充满了工程上的挑战。以下是我在实验过程中踩过的坑和总结的经验，希望对后来者有所帮助。

5.1 常见问题与排查清单

5.2 关键超参数调优心得

• 学习率：对于RL微调语言模型，学习率通常需要比有监督微调（SFT）更小。我们从1e-6开始尝试，最终稳定在1e-5。过大的学习率极易导致策略崩溃。
• 批次大小：由于需要足够的样本来估计梯度，尤其是在分布式设置下，我们使用了较大的批次大小（128）。这有助于稳定训练，但会增加内存消耗。
• PPO Clip Epsilon：我们使用0.2。这个值不宜过小，否则会限制策略更新，尤其是在训练初期策略需要较大改变时。
• 熵奖励系数：这是维持探索的关键。我们初始设置为0.01，并随着训练进行缓慢衰减。如果发现策略过早收敛到单一模式，可以适当调高此系数。
• 部分信用权重：每个里程碑的奖励（我们设为0.1）需要与最终任务奖励（归一化到[-1, 1]）的量级相匹配。如果部分信用权重过高，智能体可能满足于只完成部分步骤；如果过低，则引导作用不足。这是一个需要根据任务难度调整的关键杠杆。
• 时长权重归一化：我们采用批次内归一化（duration / mean(batch_durations)）。也可以尝试对数归一化log(1 + duration)来平滑极端值的影响。

5.3 局限性与未来方向

我们的工作展示了RL赋能小模型的巨大潜力，但这只是一个起点。

1. 可扩展性与通用性：目前我们是为每个任务单独训练一个策略。一个激动人心的方向是训练一个通用MLE智能体，能够通过元学习或基于提示的条件策略，快速适应新的未知Kaggle任务。这需要构建更大规模、更多样化的任务集进行训练。
2. 多步决策与规划：当前框架是“单回合”的：智能体一次性生成完整解决方案。更符合人类工程师工作流的是多步分解：先规划，再写数据加载代码，调试，再写特征工程，再调试……将其形式化为一个序列决策过程，并设计相应的奖励机制，是下一步的挑战。
3. 超越代码生成：MLE不仅包括写代码，还包括数据探索、实验记录、结果分析和报告撰写。未来的智能体需要整合多种工具（如SQL查询、图表生成、笔记软件），RL框架需要能处理这种异构的动作空间和更复杂的奖励塑造。
4. 安全与评估：让AI智能体自动运行代码存在安全风险。需要更强大的沙箱技术。同时，如何客观、全面地评估一个MLE智能体的能力，而不仅仅是看最终的Kaggle分数，也是一个重要的开放问题。它是否写出了可维护的代码？是否考虑了计算效率？这些都需要更细致的评估体系。

我个人在实际操作中最深的体会是，RL训练ML智能体就像培养一个实习生，你不能只在他提交最终报告时给个“优”或“差”。你需要在他查阅资料、搭建实验环境、调试第一个错误时都给予及时的、量化的反馈。时长感知梯度更新确保了你不因为他做事慢而忽视他，环境插桩则让你能对他的每一步进展进行点评。这套方法的核心思想——提供细粒度的、公平的学习信号——或许能超越ML工程领域，为训练解决其他复杂、长周期任务的AI智能体提供通用蓝图。这条路还很长，但第一步已经迈出，并且结果令人鼓舞。