CoRL 2025 投稿
量子位 | 公众号 QbitAI
手把手教『机器人』️，直接就能让它学到真本事！
不管是采茶沏茶做早餐，这些精细活儿都「手」到擒来。还是灵巧手的那种。
△星动纪元灵巧手星动XHAND 1
△星动纪元灵巧手星动XHAND 1
来自『斯坦福大学』、哥伦比亚大学、摩根大通AI研究院、卡耐基梅隆大学、『英伟达』提出了一种数据采集与策略学习框架DexUMI——
利用人手作为自然接口将灵巧操作技能迁移至多种灵巧手。该框架通过硬件与软件的双重适配，最大限度缩小人手与各类灵巧手之间的具身差异。
相信不少人看过去年他们发布的UMI，通过记录并学习人类操作，让夹爪类『机器人』️学会洗碗，结果在行业引发不小的关注和轰动。
除了效果惊艳，更深层的原因在于他们让夹爪的操作数据采集迅速便利化，行业多家厂商迅速跟进，推出了工业化数采产品。
今年，他们将夹爪升级到更复杂更高自由度的灵巧手，让『机器人』️学会更丰富更精细的操作任务，势必也将引发新一轮灵巧手数采革命。
正在首尔举办的CoRL 2025中，它被提名为最佳论文。
他们在两种灵巧手硬件平台（全驱和欠驱）上验证了DexUMI在多类操作任务中的能力与有效性，其平均任务成功率达到86%。与传统的远程遥操比，实现了3.2倍的数据采集效率提升。
值得一提的是，其中全驱采用的灵巧手正是出自国产『明星』️具身玩家星动纪元的星动XHAND 1。
手把手教『机器人』️做事
人类双手在执行各类任务时展现出惊人的灵活性，那么通过「手把手教『机器人』️做事」，也许就能来让『机器人』️解锁各种新任务。去年的UMI验证了这一思路的有效性。
它是一款可穿戴式夹爪设备，它能高效采集『机器人』️训练数据。通过装有GoPro和IMU传感器的手持夹爪，UMI能够精准高效地记录人类操作动作，并用于训练策略部署在机械臂真机上。UMI设备低成本，能够在15分钟内完成组装。这解决了夹爪类『机器人』️操作数据采集慢，这一困扰众多科研工作者的难题。
今年团队将目标聚焦在了灵巧手，不过相较于夹爪，要将把人类的操作技能整体迁移到灵巧手的挑战更为严峻。
最核心的原因在于两者之间存在显著的差异，包括在动力学结构、接触面形态、 视触觉感知等多个维度。
再加之不同灵巧手在自由度、驱动方式、大小尺寸等方面存在工程设计的多样性。因此要是缩小具身的差异，还需要考虑兼容各种硬件设计空间。
遥操已成为灵巧手的主流控制方式。但空间观测错位和触觉反馈缺失导致其操作困难，而这些障碍在人类直接执行操作任务时并不存在。
相较而言，人类的双手本身是更优越的操作接口。
基于这一背景下，本文提出了一个核心问题：
如何缩小具身差距，使人类手部成为各类灵巧手的通用『操作界面』？
DexUMI框架主要通过硬件和软件两方面的创新来搭建一座桥梁。
硬件方面，设计了可穿戴外骨骼装置。
团队针对每款灵巧手设计了专用外骨骼，通过硬件优化框架调整外骨骼参数（如连杆长度），使其在保持人手可穿戴性的同时，精准匹配灵巧手指运动轨迹。
△星动XHAND 1外骨骼
该装置采用编码器精准捕捉关节运动，配备150°广视场角相机📷️记录视觉观测数据，并通过刚性连接的iPhone借助ARKit技术追踪手腕位姿。
软件适配方面，采用数据处理流水线形式。首先通过视频分割技术从示教视频中移除人手及外骨骼，随后利用与目标动作匹配的灵巧手及环境背景进行视频修复。这一适配机制确保了尽管人手灵巧手存在视觉差异，训练阶段与『机器人』️部署阶段的视觉输入仍能保持一致。
具体包含四个步骤：
人手与外骨骼分割
环境背景修复
生成对应灵巧手视频
『机器人』️示教视频合成
人手与外骨骼分割
首先利用SAM2对观测视频中的人手及外骨骼进行分割（图4b）。由于SAM2需初始提示点，团队建立了标准化操作协议：操作者始终以相同手势开始演示，使得所有示教数据均可复用同一组提示点。
环境背景修复
通过分割掩码从图像数据中移除人手及外骨骼像素，随后采用基于光流的修复方法ProPainter完整填充缺失区域（图4c）。
生成对应灵巧手视频
为将灵巧手精准嵌入视频，团队在灵巧手上重放记录的关节动作，录制仅包含灵巧手的独立视频（图4d）。该步骤不涉及机械臂运动。再次使用SAM2提取灵巧手像素（图4e）并剔除背景。需说明的是，虽可训练图像生成模型基于动作输出灵巧手图像，但该方法需额外模型训练。
『机器人』️示教视频合成
最后一步将纯背景修复视频与纯灵巧手视频进行融合。保持正确的遮挡关系至关重要：灵巧手并非始终处于最上层。团队开发了遮挡感知合成方法来解决这一问题。
验证DexUMI的有效性
团队在两款不同灵巧手上对DexUMI进行测试。
Inspire手（IHand）：采用12自由度（6主动自由度）欠驱动设计。拇指配置2个主动自由度与2个被动自由度，其余四指各具1个主动自由度及1个被动自由度。
星动纪元XHAND 1：采用全驱动设计，具备12个主动自由度。大拇指配置三个自由度，食指含三个自由度，其余三指各配备两个自由度。
然后在四项现实任务中评估DexUMI系统：
立方体任务[IHand]：从桌面拾取2.5厘米宽立方体放入杯中，用于检验系统基础操作精度；
蛋盒开启[IHand]：多指协同开启蛋盒——需用食指、中指、无名指及小指按压盒盖，同时拇指抬起前扣，测试复杂手型控制能力；
茶艺操作[IHand & XHand]：从桌面夹取镊子，将茶叶从茶壶转移至茶杯。核心挑战在于通过多指接触稳定操控可变形工具；
厨房任务[XHand]：包含四个连续步骤：关闭灶台旋钮→将煎锅从灶台移至台面→从容器取盐→撒盐至锅中食物。测试系统在长时序任务中结合精确动作、触觉感知及非指尖操作的综合能力。
每个测试回合开始时，任务物体均在桌面上随机初始化摆放。每项任务进行20次评估回合，所有对比方法均采用完全一致的初始物体配置。
针对长时序任务，表1中按阶段统计累积成功率。
结果发现，软件适配对于弥合 DexUMI 流程中的视觉差距至关重要。比如在像学习蛋盒开启这种动作时，如果没有软件适配，就无法精准与物体交互并执行。
通过硬件与软件的双重适配，DexUMI能够采集多种任务数据并实现向『机器人』️的技能迁移。真实环境综合实验表明，DexUMI在两种灵巧手（6自由度Inspire手和12自由度XHAND 1)上均表现优异：
相比遥操作数据采集效率提升3.2倍，在包含需多指协同的长时序复杂任务等四项任务中平均成功率达86%。
相比于遥操，DexUMI具有两个主要优势：1）DexUMI 比传统的遥操作方法效率更高；2）DexUMI 提供直接的触觉反馈，而典型的遥操作系统通常无法提供这种反馈。
总结与展望
本文提出DexUMI——一种可扩展的高效数据采集与策略学习框架，该系统以人手为交互接口，在提供自然触觉反馈的同时，将人手运动精准转化为灵巧手动作。
通过大量复杂现实任务实验，验证了DexUMI能够学习适用于精密操作、多接触交互及长时序任务的灵巧操控策略。
本研究为超越传统遥操作模式、实现大规模灵巧手现实数据高效采集建立了新范式。
在DexUMI的测试中，星动纪元自研五指灵巧手星动XHAND 1相比因时五指灵巧手Inspire Hand表现更加卓越，凭借其独特的关节全直驱技术，显著提升了数据采集的精度和可靠性。
此外，星动XHAND 1单独完成了厨房长序列任务，该任务包括四个连续步骤：关闭stove旋钮、将锅从炉顶移到柜台、从容器中拿起盐、最后将其撒在锅中的食物上。该任务测试了DexUMI在具有精确动作、触觉传感和需要使用拇指和食指的侧面（而非指尖）的长周期任务上的能力。
星动XHAND 1之所以在厨房执行任务上表现良好，是因为其背后的关节全直驱方案以及指尖270度覆盖的高精度触觉传感器。 接下来，协同灵巧手如星动XHAND 1打造科研基础设施，贡献学习dataset建立数据采集共享社区将变成可能。
在这个社区中，众多的数据采集者、研究机构、企业以及其他相关从业者都可以积极参与其中，共同贡献和使用高质量数据集。对于后续的使用者可以直接从共享社区中获取到高质量的数据集。
这些数据集涵盖了多种类型和领域，能够满足不同用户在数据研究、模型训练、产品研发等方面的多样化需求。这种数据共享模式将降低数据采集的成本，避免了重复采集和资源浪费，还将大大提高了数据采集的效率，加速Scaling law中真实数据的比例，从而加速灵巧操作在实际应用场景的落地，推动扩大整体市场规模。
论文链接：https://arxiv.org/pdf/2505.21864v2
