8 月 16 日消息，研究机构 Ai2 现已在 GitHub 开源了旗下 MolmoAct 『机器人』️“行动推理模型”（Action Reasoning Model，ARM）模型，该模型主要运用于具身『机器人』️场景，号称可以解决『机器人』️在三维空间中的动作规划与理解问题。
据介绍，与传统仅依赖文字描述推导动作的视觉语言行动模型（VLA）不同，MolmoAct 旨在克服语言难以完整表达三维环境深度和距离关系的不足。因此 MolmoAct 在第一阶段会首先生成由 VQVAE 预训练得到的空间感知 Token，相应 Token 同时包含几何结构与位置信息，可用于评估物体间的距离，并为后续规划提供基础。
而在第二阶段，模型会在图像空间中生成一系列路径点，作为任务的中间目标，直观展示动作展开的顺序。第三阶段，路径点会被转化为『机器人』️末端执行器或机械爪的低层马达指令，并根据『机器人』️运动学配置进行动作解码。
研究团队指出，在名为 SimplerEnv 的模拟测试环境中，MolmoAct-7B 在训练集未见过的任务中达到了 72.1% 的成功率，优于 Physical Intelligence、谷歌、微软和『英伟达』等实验室的对照模型。在 LIBERO 模拟平台的多任务与终身学习测试中，经过高效参数微调，平均成功率提升至 86.6%。同时，相比业界 AI 『机器人』️大模型，MolmoAct 的训练成本更低：预训练仅使用了 2630 万样本和 256 颗 H100 GPU，大约 1 天即可完成；微调则只需 64 颗 H100，约 2 小时即可完成。
此外，为降低『机器人』️操作风险并提升可解释性，MolmoAct 在执行动作前会将内部规划的运动轨迹叠加到输入图像上，用户可以直接查看并修正动作方案。同时，用户还可以通过平板等设备使用手绘方式标注目标姿态或路径，模型会即时整合这些标注进行一系列调整。
目前，Ai2 已在 GitHub 同步开源了 MolmoAct-7B 的完整资源（https://github.com/allenai/MolmoAct），官方强调，这些资源与工具可以帮助其他研究团队在不同『机器人』️平台和任务中充分验证与优化。
