当前位置：首页 > news >正文

FTC 框架详解：残差 RL、稠密奖励与人在环的真实世界机器人训练

news 2026/7/7 5:55:41

FTC 框架详解：残差 RL、稠密奖励与人在环的真实世界机器人训练

先说结论

FTC 通过残差 RL 将探索起点锁定在目标区域附近，大幅降低真实世界交互次数需求。
基于关键帧的可供性稠密奖励比 VLM 推理更轻量、实时，但依赖示教数据质量。
人类干预窗口设计在防止 RL 与示教冲突的同时，保留了专家引导的灵活性。

站在机器人算法选型角度，分析 FTC 在真实世界 RL 中解决样本效率和奖励稀疏问题的三个关键设计，并讨论其适用场景与局限性。

真实环境下的机器人强化学习（RL）一直有个矛盾：接触密集型任务（如 USB 插拔、零件装配）对精度要求极高，传统仿真引擎难以建模真实的物理接触，所以研究者转向“人在环”的直接真实世界训练。但真实世界的交互次数极其有限——一个下午可能只跑几百次episode。如何在这么少的次数里学到泛化策略？

最近刷到一篇论文 Focus-Then-Contact（FTC），给出了三个互相咬合的设计：残差 RL、关键帧可供性奖励、以及带窗口的人类干预。思路跟一些工厂场景下自研的方案不谋而合。下面拆开讲讲每个设计的用意和实际代价。

残差 RL：让探索更聚焦

标准的做法是直接用纯 RL 从零探索，但在真实机器上，前几十次可能都在乱撞，浪费时间且可能损坏工件。FTC 的做法是先通过模仿学习（IL）训出一个“基础策略”，它至少能完成一部分动作，比如把夹爪移动到孔洞附近。

然后冻结这个基础策略，加一个两层的 MLP 作为残差网络。每次决策时，基础策略输出一个候选动作，残差策略输出一个偏移量，两者相加作为最终动作。残差策略只负责“微调”，不需要从零学习末端执行器的全部6维增量——论文里甚至只让它输出第一个数值，其余由基础策略补齐。

这个设计的核心好处是：RL 只需要在目标区域附近探索，样本效率大幅提升。但代价也很明显：残差策略的表达能力受限于基础策略。如果基础策略本身就偏得离谱，残差可能学不会纠正。所以对基础策略的质量有一定要求。

稠密奖励：从关键帧到嵌入距离

稀疏奖励在真实世界 RL 里是致命问题——只有任务完成时才给+1，其余全是0，智能体可能几百次都尝不到甜头。FTC 的做法是提供稠密的过程奖励。

关键点在于，奖励信号不依赖 VLM 或大模型（速度太慢），而是直接从示教数据中提取“目标关键帧”。比如插 USB 任务中，取成功插入前一刻的图像作为目标。在训练时，将当前图像与目标关键帧都裁剪到相同 ROI，通过一个共享的视觉编码器（自监督训练的 ResNet）映射到嵌入空间，奖励就是两个嵌入之间的余弦距离。

这个方法的优点是实时性好、跨任务可迁移（同一个视觉编码器可用于多个任务）。缺点是依赖示教数据中关键帧的标注质量，而且如果任务场景变化较大（如光照、背景不同），距离函数可能失效。论文也点明，直接套用 ResNet 或 ViT 会不稳定，必须用时间对比学习专门训练编码器。

人在环：干预窗口的微妙平衡

FTC 保留了人类干预机制，但加了一个“干预窗口”——假设允许人类在触发后的 W 秒内接管控制。如果窗口内无干预，控制权交回 RL；如果人类持续干预超过窗口，则窗口重置。

这个设计是为了避免专家示教和 RL 策略打架。实际操作中，专家可以在机器人即将犯错时快速介入，纠正轨迹，纠正后机器人继续探索。窗口超时也能防止人类一直占着控制器，给 RL 留出自主学习的空间。

代价是：窗口长度 W 需要人工调。太短可能导致专家来不及反应，太长又会让 RL 学习被抑制。论文没有给出通用推荐值，更像是一个经验参数。

适用边界与取舍

FTC 比较适合以下场景：任务有明确的“接近—接触”两阶段，且接近阶段可以用示教数据覆盖；硬件上需要双腕相机（左右各一个），以应对旋转时的遮挡；团队有耐心采集示教数据并标注关键帧（每个任务4条成功轨迹+8条失败轨迹即可）。

不适合的场景：任务动作轨迹涉及全身协调（比如移动底盘+机械臂），基础策略本身不稳定或过复杂，以及人类专家无法频繁干预的情况。

站在个人开发者视角，如果做类似项目，我会先验证基础策略的成功率是否超过 30%。如果太低，残差 RL 可能救不回来，不如换成更强的基础策略或者直接走 VLA 路线。另外，稠密奖励的视觉编码器需要预训练，最好在大量通用操作视频上做对比学习，这部分成本容易被低估。

最后留一个问题供探讨：同样是真实世界 RL，FTC 的残差方案和 ConRFT 那种微调 VLA 的方案，你会选哪种？理由是什么？