全明星阵容聚焦灵巧手！T-Rex如何解决触觉添加难题，推动具身智能发展？

【全明星阵容齐聚具身智能】

李飞飞，ImageNet奠基人，美国三院院士；Trevor Darrell，伯克利BAIR联合创始人，他的Caffe深度学习框架曾是计算机视觉领域最广泛使用的平台之一；Jitendra Malik，R - CNN的核心贡献者之一，深刻影响了计算机视觉的发展轨迹，同样美国三院院士；Pieter Abbeel，深度强化学习先驱，伯克利机器人学习实验室主任、BAIR实验室联合主任，ACM计算奖得主；Ken Goldberg，机器人学泰斗，30年前就深耕机器人抓取和自动化，IEEE会士；Jim Fan，英伟达GEAR实验室掌舵者，具身智能领域最受瞩目的年轻学者之一。具身智能学术圈迎来如此全明星阵营，他们齐聚具身智能，关注点却是灵巧手。

【T - Rex要解决的问题】

T - Rex从何而起，要解决什么问题？自动驾驶靠纯视觉有可能解决问题，但机器人尤其是灵巧手却很难。手指、手掌进行精密复杂操作时，很难只用摄像头记录运动数据，360°无死角的视频数据量庞大，机位也没法布置，不同任务类别很难像自动驾驶那样形成标准化数据集，导致模型泛化性受限。因此，给模型加入触觉这个数据模态，能使感知精度更高、操作更精准细腻，还可形成较为标准的数据集。然而，T - Rex团队把触觉力信号直接拼接到一个预训练好的VLA模型里，任务成功率从17%掉到了6%。论文把原因拆成三层：第一层，数据太贵，现有的大规模机器人数据集主要面向平行夹爪，而灵巧手遥操作成本是平行夹爪的5到10倍；第二层，频率对不上，视觉模型处理一帧图像只能跑到5到10Hz，而触觉反应需要20Hz以上；第三层，表征太浅，很多方法把触觉当成静态数字，而触觉本质是时序信号。

【T - Rex的解决效果】

在12项真实世界的灵巧操作任务上，T - Rex平均成功率达到65%，比最强纯视觉基线的35%高出了30个百分点。翻书页96%对68%，开锁70%对0%，纯视觉方案在开锁任务上完全被碾压。消融实验显示，把T - Rex的触觉输入全部拿掉，成功率从65%掉到42%，降了23个百分点，12项任务里超过三分之一的有效操作纯靠“手感”撑着。数据效率也惊人，仅给10条微调演示时，经过中期训练的T - Rex能达到约40%成功率，没经过中期训练的模型直接归零，这说明模型真正理解了动作的通用手感。由此可见，视觉数据对灵巧手来说本质上不够用，触觉不是锦上添花，而是必选项。谁先解决“触觉怎么加”的架构问题，谁就可能在灵巧手赛道上卡住位置。

【T - Rex的核心思路与架构】

T - Rex的核心思路是给触觉单独开一条高速通路，而不是让它和视觉挤在同一条慢车道上。整体架构叫Mixture - of - Transformer - Experts，三个专家分工明确。Latent Expert处理视觉和语言，预测未来的视觉表征，为模型提供大局感；Action Expert做低频动作规划，参数量1.41B，是三个专家里最大的，跑一次管一个动作块；Tactile Expert做高频触觉精修，参数量只有0.62B，轻量到可以频繁触发。关键机制是Cascaded Flow Matching，扩散去噪通常需要10步才能从一团随机噪声变成一个干净的动作轨迹，而T - Rex在第4步处一切两半，前6步由Action Expert完成，生成半成品，后4步由Tactile Expert接手，注入实时触觉数据完成精修。作者团队通过实验发现，第4步刚好处在“该有的形状都有了，但细节还能改”的黄金位置。

【触觉信号编码与工程细节】

触觉信号怎么编码是另一个关键设计。触觉传感器有零点漂移和高频噪声，T - Rex用VQ - VAE把过去16帧（约0.5秒）的力历史压缩成64个离散码字，不同接触状态会被自动聚类到不同的码字上，这样过滤掉了传感器漂移，还让触觉信号变得可解释。还有两个工程细节，第一个是让码本“活起来”，T - Rex定期检查闲置抽屉，主动塞数据激活它，确保所有码字都被利用起来；第二个是给“有手感”的时刻更高权重，T - Rex给高力帧更高的学习权重，让模型把算力集中在关键接触点上。

【T - Rex的训练策略】

T - Rex采用三阶段训练：先在大规模人类视频上预训练（22,889小时），让模型看懂“人是怎么动的”；再用100小时遥操作数据做中期训练，覆盖207种物体和22种动作基元，目的是把人类视频里的运动知识迁移到机器人本体上；最后用约100条任务演示做后训练，快速适配特定需求。其中最核心是中期训练，解决了人手和机械手抓杯子方式不同的问题，让模型理解不同动作在不同物体上的执行方式。有了这个基础，最后阶段只用100条任务演示就能快速适配。

【T - Rex的技术价值与行业影响】

T - Rex的技术路线表明视觉和触觉在灵巧操作中是并行关系，它用异步架构解决频率不匹配矛盾，用时序编码让传感器信号可解释，用基元组合覆盖策略替代特定任务深度堆叠，为灵巧手的触觉利用提供了可复用的系统方案。灵巧手赛道的争论集中在关节运动形式和自由度数量，但学术前沿核心关注的是算法能否用好硬件。传统大模型范式缺乏针对触觉模态的有效利用方案，T - Rex团队跳出硬件参数争论，探索灵巧手做精细操作需要的数据，给出了能泛化的方案。T - Rex研究的关键前提是Sharpa Wave提供的硬件基础，反过来，T - Rex的算法探索也给硬件提出了新要求。T - Rex的软件、SHARPA的硬件探索方向，后续可能带来深刻变化。首先，灵巧手可能从具身智能本体中分化出来成为独立赛道，若触觉数据成为核心壁垒，谁掌握相关能力谁就掌握议价权；其次，可能启发更多专用场景的具身应用，T - Rex证明在垂直场景用专用方案可取得比“通用”方案更好的效果。

【作者简介】

牛丹彤，UC Berkeley PhD Candidate，NVIDIA Gear Lab实习生，导师Trevor Darrell，主要从事具身灵巧手大模型的研究，曾以第一作者或共同第一作者身份在CVPR, ICML, ICLR等国际顶级会议上发表论文8篇，领导或主要贡献T - Rex，EgoScale等工作，目前谷歌学术引用1100 +。刘卓洋，北京大学元培学院本科生，导师仉尚航，目前在UC Berkeley访问，导师Trevor Darrell，主要从事具身多模态推理大模型方向的研究，曾以第一作者或共同第一作者身份在ICML, ICLR, NeurIPS, ICRA等国际顶级会议上发表论文6篇，其他参与论文共计15篇，目前谷歌学术引用400余次，曾获2026商汤奖学金（全国30人），2025北京大学学术新星提名，北京大学元培学院年度科研奖励，北京大学新生奖学金等。Trevor Darrell教授，开发了Caffe深度学习库，该库在深度学习领域具有重要地位，推动了深度学习技术的发展。他现在是加州大学伯克利分校Berkeley DeepDrive研究中心的主任，同时担任伯克利EECS系计算机科学分部的教职，并受聘于加州大学附属的国际计算机科学研究所（ICSI），研究方向涵盖大规模感知学习算法等多种场景，研究兴趣包括计算机视觉、机器学习等。