NVIDIA ProtoMotions

新
许可证: Apache-2.0 · 更新于 2026-11-11
我的评分

一、简介

ProtoMotions 是 NVIDIA 实验室出品的开源 GPU 加速仿真与学习框架,以 Apache 2.0 许可发布。它用于训练物理仿真的数字人与人形机器人,覆盖从动作捕捉数据、策略训练到真实硬件部署的完整链路。当前主版本为第 3 版,项目明确写出其设计原则:模块化、可扩展与可规模化。

这个框架的价值主张是整合。人形机器人学习项目通常需要把物理引擎、动作数据管线、重定向求解器、模仿学习算法与部署栈拼接起来,各有各的约定。ProtoMotions 把这些部件收在一套接口后面,其收益不只是省事:正因为同一策略可以换个参数就在另一台引擎上训练与评估,工程团队得以在策略上真机之前,先检查它是否依赖了某台模拟器的特有行为。

这篇指南对物理 AI 的意义在于,具身智能是”物理引擎本身构成学习问题”的那一类领域。智能体不是被动的数据消费者,它的行为会改变日后的状态分布,而仿真与现实之间的落差恰好决定这项工作能否交付。一个让跨引擎验证与部署变得几乎无摩擦的框架,因此是物理基础设施问题,超越了单纯的工具偏好。

本文要支撑的判断关乎范围与风险:哪些能力已经可用,哪些被明确标为实验性,以及框架自己的发布说明记录了哪些已知局限。近期发布的说明在这方面异常坦诚,甚至点明哪些内容未在真机上运行过。这些内容值得细读。文中所有表述均于 2026 年 11 月 11 日对照仓库、发布说明与官方文档核实,第九节记录版本时间线与许可拆分。

二、原理与工作方式

框架的核心设计决定是:任务不是一个巨型环境类,而是由若干独立组件拼装而成——管理任务状态的控制逻辑、把原始状态变换为特征向量的观测核、奖励函数与终止条件。每项都是独立函数或类,实验配置通过描述符把它们绑定成完整任务,描述符指明各自读写的上下文路径。

环境循环本身被重构为围绕模块化状态所有者与任务控制组件的显式步进阶段,阶段之间设有校验边界,因此一处改动不会静默破坏另一处。传感器按通道声明一次,每个通道携带测量噪声模型与一个状态估计阶段,这让域随机化与仿真到现实迁移有了原则依据,而不靠临时补丁。

物理后端抽象在统一的模拟器接口之后,分别有 NVIDIA Isaac Gym、Isaac Lab、NVIDIA Newton 与 MuJoCo 的实现。在它们之间切换是命令行参数,框架所宣传的跨引擎评估正由此而来。机器人资产格式统一到 MuJoCo XML 规范,Isaac Lab 在加载时转换打包文件并保留多轴关节结构与元数据,于是一份资产文件可服务全部后端。

重定向这一环节,即把人体动作转换到机器人骨架上,自第 3 版起由 PyRoki 优化器承担,更早版本使用另一套求解器。整条管线由配置系统驱动,观测、奖励与终止条件以声明式方式编写为纯张量核。

在学习侧,有三族对实践重要的策略。运动追踪器跟随参考片段。生成式策略自行选择动作以完成任务,而不重放某条参考。生成式预训练控制器先训练一个可复用的离散隐变量先验,再以小规模参数高效适配器迁移到新任务。

部署侧把策略导出为单一 ONNX 模型,观测计算一并烘焙其中,部署框架只需提供原始传感器信号。项目还原型了一套独立 C++ 运行时,含 MuJoCo 与机器人后端、安全监督器以及 TensorRT 构建与资格验证流水线,并明确标注这是原型参考代码,并非受支持的发布产物。

三、适用边界与前提

第一条边界是模拟器名单。框架支持 Isaac Gym、Isaac Lab、NVIDIA Newton 与 MuJoCo。Genesis 后端在早期版本存在,已在 2026 年 10 月的重构中移除,任何提到 Genesis 的方案都需要重新评估。渲染与物理也是两件事:Isaac Sim 5.0 及以后可加载高斯泼溅背景以提升视觉保真度,而项目明确说明该渲染场景目前无法参与物理交互。视觉表现与物理正确在这里分属两条轴线。

第二条边界是模型族。已发布工作覆盖有铰接的人形机器人、带灵巧手的人形机器人,以及 SMPL、SMPL-X、解剖学版 SOMA 与 SOMA 版数字人角色。它不覆盖四足、飞行器与车辆,也不覆盖可变形物体操作。

第三条是资产与许可模型。源码以 Apache 2.0 发布,预训练模型按 NVIDIA Open Model License 分发,各模型目录附有自己的模型卡、许可与归属声明;第三方软件与打包资产的声明单列,含机器人硬件、模仿学习代码库、Isaac Lab 与人体模型资产的归属。商用部署因此需要覆盖模型与资产的许可审查,不止代码。

第四条边界是框架不做的事。它不做动作捕捉,不做超出转换管线之外的场景或资产创作,也不自带物理引擎——它消费模拟器。物理仿真入门覆盖这些模拟器所采用的建模选择,流体仿真工具包合集则对照连续介质一侧的工作。

第五条边界关乎部署运行时。项目文档把原生 C++ 运行时描述为供人构建自有部署路径的原型参考。把它当作有稳定性保证的受支持产品,是对项目自身表述的误读。

四、上手路径

安装按后端分别文档化,Isaac Lab、Newton、Isaac Gym 与 Genesis 时代的环境各有独立依赖文件。当前文档推荐用 uv 创建虚拟环境并以可编辑模式安装本包,再按后端安装对应依赖。2026 年 8 月的发布说明还新增了 PyPI 与 uv 安装支持并保留预配置的 Torch 构建,这简化了集群节点上的环境搭建。

第一次训练应当使用文档给出的快速开始命令,配合动作模仿实验配置并显式指定机器人。机器人选择是命令行参数,因此从人体角色模型切换到机器人属于参数变更,无需改代码,前提是为目标骨架准备好重定向后的动作数据。

重定向是训练前必须准备的一步。项目为公开的 AMASS 动作捕捉数据集、其它动作来源与重定向流程分别提供了专门的数据准备指南。正确准备重定向动作是最常见的首次失败点,而发布说明在这一点上异常具体,逐项列出了哪些产物发生了变化、哪些没有。

第二次运行应当是跨引擎评估。在一台模拟器上训练,再换一个参数在另一台上评估。这是判断策略是否依赖模拟器特有行为最廉价的一步,也是最可能改变部署决策的一步。性能工程合集覆盖与之配套的剖析方法论。

接入新机器人需要两步且无需改工厂:把机器人的 MuJoCo XML 文件放入资产目录,并创建一个直接继承机器人配置基类的配置类。注册机制扫描该目录,文件名即传给机器人参数的名称。接入新模拟器需要实现模拟器接口,项目以 MuJoCo 后端作为最小参考实现。接入新的强化学习算法,在该模块化布局下据称约需五十行代码。

真机方面,项目提供从数据准备到真机部署的教程、原生部署运行时、实时指标看板,以及面向机器人手部的头显遥操作。Python 机器人学条目覆盖此类部署的更大工具语境。

五、横向对比

最近的兄弟项目是 ProtoMotions 自家的 MimicKit,官方定位为面向动作模仿学习的轻量替代。分工在于规模与范围:ProtoMotions 承载多后端物理、多 GPU 训练、生成式策略与部署,轻量兄弟覆盖模仿这一种场景。为单模拟器模仿任务引入更重的框架,只增加依赖重量而不增加能力。

与 Isaac Lab 直接相比是层次关系。Isaac Lab 是构建在 Isaac Sim 上的机器人学习框架,提供以任务为中心的环境模型与大量资产与算法。ProtoMotions 位于其上,专精一个问题域:人体与人形机器人动作。若目标是跨多种机器人形态的宽泛操作与运动研究,Isaac Lab 是更通用的平台;若目标是从人体捕捉数据迁移到人形机器人并完成生成与部署,ProtoMotions 是更专精的工具。

与由多个独立工具组成的流水线相比,差别在集成成本。已经拥有可用动作捕捉管线、重定向求解器、模仿学习代码库与部署栈的团队,从整合中收益有限,甚至可能失去更换任一组件的能力。整合的理由对新起步的团队最强,对被模拟器特有产物困扰、需要跨引擎测试才能暴露问题的团队也最强。

与直接使用物理引擎相比,该框架提供训练与部署层,物理本身完全继承自引擎。这一点值得留意,因为近期发布包含一长串逐后端修正:MuJoCo 的关节力矩回读语义、Newton 上按完整关节名分配增益、Isaac Gym 的关节属性顺序,以及 Isaac Lab 上角度推力的质心修正。这份清单本身就是该框架存在价值的论据,因为它记录了各引擎的差异所在。Warp条目覆盖 Newton 与 MuJoCo-Warp 路径所基于的 GPU 内核底座。

至于学习策略与经典求解器如何并置,经典求解器成本边界指南是相应的配套材料,PhysicsNeMo则覆盖该领域的物理信息分支。

六、基准与数据

项目的招牌训练数字是:完全物理仿真的角色可在四块 A100 上、约十二小时内学会公开 AMASS 数据集全部四十余小时人体动画中的动作技能。多 GPU 数字则是用二十四块 A100、每 GPU 一万三千条动作、以 SOMA 骨架格式的 BONES 数据集完成训练。这些是项目自述,描述的是特定数据集与硬件配置上的墙钟训练时间。

部署数字来自 2026 年 11 月发布的解剖学版 SOMA 追踪器工作。在 MuJoCo 上随包发布的十片段集上,平均身体位置误差为 0.045 米;在 256 条 BONES-SEED 片段上为 0.049 米。头部俯仰误差报告为 2.2 度,而重训前为 18.7 度。仓库还记录了通用追踪策略在 BONES-SEED 集合上约十四万两千条动作的数据规模,并描述了该策略向 Unitree G1 的零样本迁移。

验证流程本身值得一读,因为它异常具体。每个随包发布的权重包都被检查:能严格加载进其保存配置所构建的模型、能下发处于机器人关节范围内的目标、能在 MuJoCo 中推进;每个包都能从其配置文件逐字节重新生成。后端修复在可得处均以真实引擎验证,包括在 CPU 上验证 Newton、在消费级 GPU 上验证 Isaac Gym Preview 4。原生部署路径报告二十四项原生 C++ 测试与六十项看板测试通过。

Metatron 的结果以对比评估形式报告:相对参考追踪流水线,触达成功率更高、抗推搡能力更强;同一方法还让仿真角色完成攀爬与特技动作。

两个提醒应与这些数字并列。发布说明指出,解剖学版生成先验没有 rollout 质量评估,其模型卡只声明训练用模拟器;同一份说明也指出,原生遥操作、追踪与看板在该版本中没有在真机上运行。这些都是项目自己的披露,它们精确界定了所报告能力中有多大比例已由硬件演示。

七、物理 AI 场景中的用法

该框架在物理 AI 方案中占据一个特定位置:它是物理引擎变成学习环境的那一层,也是学习策略变成部署控制器的那一层。

在训练阶段,它的贡献是让物理引擎变得可互换。在 Isaac Gym、Isaac Lab、Newton 与 MuJoCo 中行为一致的策略,其行为是习得动力学的属性,并不某台引擎的产物。对计划交付的团队而言,这是框架提供的最有价值的单项检查,而且在这里做比到现场才发现差异便宜得多。

在数据阶段,贡献是弥合人体动作与机器人动作之间的差距。把整个公开捕捉数据集一键重定向到目标骨架并在其上训练,正是把策略从”会跟这一条片段”变成”掌握这项技能”的关键。

在部署阶段,贡献是观测计算随策略一同出发。把观测处理烘焙进导出的 ONNX 模型,消除了训练与部署之间整整一类不一致,原生运行时在此之上再补上安全监督器与资格验证流水线。

生成式策略方向最新也最具后果。冻结的通用运动策略配合可编程技能代码,改变了人形机器人任务开发的成本结构:新任务变成代码并非新的训练轮次。Metatron 的配套论文描述的正是这一拆分——冻结策略把部分身体目标、速度指令与风格线索转换为协调动作,而普通的有状态代码负责提供任务意图。物理 AI 学习路径把它置于技能获取的更大序列中,PyVista则覆盖让仿真行为可被检视的可视化一侧。

对把模拟器本身当作物理模型一部分的方案而言,框架最有价值的贡献或许正是它的变更日志:一份持续维护、带日期的逐后端行为记录,正是构建可信仿真到现实论证的原材料。

八、不适用场景与失效模式

第一条限制是最强的主张恰恰验证最少。2026 年 11 月发布的生成先验没有 rollout 质量评估,原生部署功能在仿真并非真机上验证过。计划做硬件试点的团队应当把这个框架视为提供了做该验证的工具,并不验证已经完成。

第二条是重构刻意破坏了兼容性。2026 年 10 月的结构改版替换了环境模型、配置系统与编写方式,早期版本保存的配置必须重新生成。依赖旧配置的长期实验需要重新解析,2026 年 11 月的发布说明逐项列出哪些保存配置变化、哪些权重变化,以及哪些既有环境因后端行为被修正而出现数值差异。这是健康的工程取舍,同时也是破坏性的。

第三条是后端之间的物理分歧。上述逐后端修正清单足够长,以至于同一策略在不同引擎上会产生可测量的奖励、力矩与速度差异。例如解剖学版人形的身体角速度上限,一套后端按度每秒读取,另一套按弧度每秒读取,其余两套不读取。跨引擎比较因此必须把这些差异计入,否则比较本身会成为误差来源。

第四条是资产保真度。MuJoCo XML 标准化是实质性简化且行得通,但渲染与物理的分离意味着高保真渲染只是装饰,而 Genesis 后端的移除也拿走了部分用户曾采用的选择。

第五条是原生运行时的实验地位。它被明确标注为原型参考,TensorRT 路径始终以捕获的 CUDA 图运行,发布说明还列出哪些部分从未在硬件上跑过。

第六条是学习型策略普遍存在、框架继承而未解决的限制:训练于仿真的策略受限于模拟器保真度与训练分布。性能工程合集描述这类策略的验证方式,基于物理的深度学习条目覆盖其下的建模假设。

九、版本与口径核对

已发布的版本历史为:3.3 版 2026 年 11 月 10 日、3.2 版 2026 年 8 月 11 日、3.1 版 2026 年 2 月 18 日、3.0 版 2026 年 1 月 12 日,以及 2.3 版 2025 年 10 月 10 日。另有一个 2026 年 8 月 13 日的发布位于 3.2 线内,包含实质性的后端迁移。

2026 年 8 月 13 日的发布切换到 Newton 1.0.0 与 Isaac Lab 3.0 搭配 Isaac Sim 6.0,把 MuJoCo XML 规范确立为机器人资产的唯一真实来源,跨 Newton、Isaac Gym 与 Isaac Lab 后端修正了摩擦随机化与组合模式转换,新增 PyPI 与 uv 安装支持,并以已解析配置边车文件刷新了预训练产物。

2026 年 11 月 10 日的发布为解剖学版 SOMA 人形机器人提供了生成先验,把 G1 的手部坐标系移至腕部,把带 Dex3 手的 G1 注册为机器人(47 个刚体、43 个自由度),以手部遥操作与实时指标看板扩展了原生部署,并修正了评审中发现的若干模拟器后端行为。它还以显式头部跟踪重训了解剖学版追踪器,使报告的头部俯仰误差从 18.7 度降到 2.2 度,并把解剖学版身体角速度上限从 100 提到 1000,与其他人形机器人对齐。

2026 年 10 月 28 日在主分支公布了两项:一是 Metatron 的发布,即面向 Unitree G1 的生成式全身策略,连同其论文、项目页、浏览器演示与可下载权重;二是环境的大规模重构,改为围绕模块化状态所有者的显式步进阶段,配套更清晰配置系统、把观测、奖励与终止条件声明式地编写为纯张量核、按通道声明传感器并携带测量噪声与状态估计阶段,并移除了 Genesis 后端。

关于许可:源码以 Apache 2.0 发布;NVIDIA 提供的预训练模型按 NVIDIA Open Model License 发布,各模型卡另有说明者除外。每个模型目录包含模型卡、许可与归属声明;第三方软件与打包资产声明单列,覆盖机器人硬件、模仿学习代码库、Isaac Lab 与人体模型资产。

关于出处:版本事实与行为变化来自仓库的发布说明与提交记录。架构、模块化组件模型、后端名单与许可拆分均为项目自有文档。第六节的训练时间与精度数字是项目自述的验证结果,并附上其验证流程与项目声明的局限。

十、参考资料

  1. ProtoMotions 仓库 README,GitHub 上的 NVlabs 仓库,框架总览、生成式策略、部署与渲染特性。

  2. ProtoMotions v3.3 发布说明,2026 年 11 月 10 日,解剖学版 SOMA 生成先验、G1 腕部坐标系、Dex3 机器人、后端修正与验证结果。

  3. ProtoMotions 2026 年 8 月 13 日发布,Newton 1.0.0 与 Isaac Lab 3.0 迁移、MJCF 作为资产唯一来源、安装支持。

  4. ProtoMotions 主分支公告,2026 年 10 月 28 日,Metatron 发布与环境重构。

  5. METATRON: A Promptable Whole-Body Execution Layer for Humanoids,arXiv 2610.38027,冻结的生成策略与可编程技能层。

  6. ProtoMotions 安装指南与快速开始,项目文档,虚拟环境搭建与分后端依赖文件。

  7. ProtoMotions G1 部署教程,项目文档,从数据准备到真机部署与原生运行时。

  8. ProtoMotions 生成式预训练控制器与参数高效微调指南,项目文档。

  9. ProtoMotions 机器人配置指南,项目文档,通过 MuJoCo XML 资产与配置类接入新机器人。

  10. NVIDIA Open Model License,预训练模型的许可条款与归属要求。

标签: