可实现三重空间感知：Ai2 开源具身机器人 AI 模型 MolmoAct

8 月 16 日消息，研究机构 Ai2 现已在 GitHub 开源了旗下 MolmoAct 机器人“行动推理模型”（Action Reasoning Model，ARM）模型，该模型主要运用于具身机器人场景，号称可以解决机器人在三维空间中的动作规划与理解问题。

据介绍，与传统仅依赖文字描述推导动作的视觉语言行动模型（VLA）不同，MolmoAct 旨在克服语言难以完整表达三维环境深度和距离关系的不足。因此 MolmoAct 在第一阶段会首先生成由 VQVAE 预训练得到的空间感知 Token，相应 Token 同时包含几何结构与位置信息，可用于评估物体间的距离，并为后续规划提供基础。

而在第二阶段，模型会在图像空间中生成一系列路径点，作为任务的中间目标，直观展示动作展开的顺序。第三阶段，路径点会被转化为机器人末端执行器或机械爪的低层马达指令，并根据机器人运动学配置进行动作解码。

研究团队指出，在名为 SimplerEnv 的模拟测试环境中，MolmoAct-7B 在训练集未见过的任务中达到了 72.1% 的成功率，优于 Physical Intelligence、谷歌、微软和英伟达等实验室的对照模型。在 LIBERO 模拟平台的多任务与终身学习测试中，经过高效参数微调，平均成功率提升至 86.6%。同时，相比业界 AI 机器人大模型，MolmoAct 的训练成本更低：预训练仅使用了 2630 万样本和 256 颗 H100 GPU，大约 1 天即可完成；微调则只需 64 颗 H100，约 2 小时即可完成。

此外，为降低机器人操作风险并提升可解释性，MolmoAct 在执行动作前会将内部规划的运动轨迹叠加到输入图像上，用户可以直接查看并修正动作方案。同时，用户还可以通过平板等设备使用手绘方式标注目标姿态或路径，模型会即时整合这些标注进行一系列调整。

目前，Ai2 已在 GitHub 同步开源了 MolmoAct-7B 的完整资源（https://github.com/allenai/MolmoAct），官方强调，这些资源与工具可以帮助其他研究团队在不同机器人平台和任务中充分验证与优化。

原文链接：可实现三重空间感知：Ai2 开源具身机器人 AI 模型 MolmoAct - IT之家