大规模操纵数据的问题
训练人形机器人操控物体需要大量的演示数据,而且这些数据必须非常精确。训练集中任何一次抓取失误或手指错位,在实际部署中都可能成为故障模式。
N1 Robotics开发Waldo的目的正是为了弥补这一差距。Waldo是一个人形远程操作平台,能够将操作者自然的手部动作转化为结构化的操作轨迹,并可直接用于训练流程。为了大规模可靠地实现这一点,手部追踪输入必须精确捕捉操作者的意图,而不是近似地表达。
图片
图片
精确输入,精确输出
MANUS手套是一款基于电磁场追踪技术的专业数据手套。它可在25个自由度范围内实现毫米级的手部追踪,且无遮挡、无漂移。每一个关节、每一个微小动作、每一次捏握动作都会被实时记录下来。
对于N1 Robotics而言,这种保真度是后续所有工作的起点。Waldo使用MANUS手套作为操作界面,MANUS Core将手部运动数据处理成可重新定向到机器人手部所需的格式。由于抓取意图和手指协调性通过数据采集和结构化得以保留,Waldo能够获得精确的输入,最终的演示结果也反映了操作员的实际操作。
图片
从手套数据到机器人意图:WaldoRT
精确捕捉手部动作固然必要,但还不够。更艰巨的挑战在于动作重定向:将人手的动作映射到比例、关节和机械结构都与人手不同的机械手上。
N1 Robotics通过开发WaldoRT解决了这个问题。WaldoRT是一款定制的重定向器,可将MANUS的输出直接映射到机器人手模型上。WaldoRT 能够跨不同操作者手型和不同机器人末端执行器,保持抓取拓扑结构、手指协调性和捏合几何形状的一致性。它无需针对每个操作者或每个末端执行器进行手动重新调整。只要URDF可用,WaldoRT就能为该手生成重定向配置。该系统已在多个平台上进行了测试,包括 Inspire、BrainCo Revo 2、Sharpa和Dexhand等。
最终得到的重定向层能够随硬件扩展。同样的自然人类抓握动作可以完美映射到任何支持的机械手上,这意味着MANUS信号中固有的保真度能够保留到最终演示中。正是这种一致性使得实际数据具有意义。
图片
实际应用情况如何
N1 Robotics使用同一操作员、相同的三个操作任务(形状插入、抓取吐司和使用 BrainCo Revo2堆叠杯子)以及相同的十分钟窗口,对Waldo与基于Meta Quest的远程操作设置进行了测试。
在所有三项任务中,佩戴MANUS手套的Waldo尝试次数更多,演示成功率更高,且完成时间更短。在形状插入任务中,差距最为显著:Meta Quest操作员平均每集耗时 300秒,成功率仅为18.2%,而Waldo平均每集耗时42.86 秒,成功率高达93.3%—这一差距在抓取吐司和堆叠杯子任务中也同样存在。
部分差异源于界面本身的特性。Waldo的操作员无需外部协助即可立即重新尝试抓取失败的物品。而Meta Quest的操作员则需要第二个人来重置环境。当目标是大规模收集演示数据时,在一次实验中快速迭代的能力与每次尝试的质量同样重要。
关于搜维尔科技
我们热衷于动作捕捉技术的研发与推广。我们热衷于推动技术发展,使其处于技术前沿甚至更前沿。在这个频道上,我们想分享我们基于动作捕捉技术的最新体验。搜维尔科技与Manus数据手套总部签署代理合作协议,成为其在中国大陆地区的授权代理经销商。搜维尔科技现支持相关产品购买、咨询与售后支持等服务,欢迎垂询。
