RAI
新一、简介
RAI(Robotec AI)是由 Robotec.ai 开源、与厂商无关的具身 AI 智能体框架,基于 ROS 2 构建,让机器人理解自然语言指令、对任务进行推理、规划并顺序执行动作,既可在真实硬件上运行,也可在仿真中验证。项目由总部位于波兰华沙的 deep-tech 公司 Robotec.ai 维护;该公司主营高保真数字孪生与面向自主系统的物理基础仿真,RAI 也是 ROS 2 具身 AI 社区组(Embodied AI Community Group)的重点项目之一。RAI 对模型保持中立:它通过 LangChain 编排大语言模型与视觉语言模型,用户既可选择前沿云模型,也可选择本地或隔离部署的开源权重模型。对机器人团队而言,RAI 是把通用模型转化为可由机器人执行、且自带日志、语音交互与基准评测的行为层。配套论文《RAI: Flexible Agent Framework for Embodied AI》(arXiv:2505.07532,2025)记录了其架构与设计动机,本站也同步收录了对应的 Robotec.ai 公司深度报告。
RAI 以模块化 Python 包集合形式交付,不采用单体式架构。核心负责多智能体系统协调、人机交互与多模态输入的统筹;围绕核心的专用包包括:rai whoami 从文档、图像与 URDF 中提取机器人本体信息;rai_asr 与 rai_tts 提供语音识别与语音合成;rai_sim 把 RAI 接入仿真环境;rai_bench 是针对智能体、模型、工具与仿真器的基准套件;rai_perception 提供开放集目标检测;rai_finetune 在具身数据上微调大语言模型。本站已覆盖 RAI 所接入的仿真后端,如 NVIDIA Warp 与 MuJoCo,以及其底层物理求解器 OpenFOAM;本文档记录把它们串联起来的智能体编排层,而更宽的 Physical AI 平台背景见 NVIDIA 公司报告。
二、原理与工作方式
RAI 的设计把三类职责分开:多智能体协调层、人机交互层与多模态感知层,三者统一由推理核心编排。一个典型任务始于一条自然语言指令:核心解析指令、选择合适的智能体或工具,并产出一段按机器人 ROS 2 接口表达的可执行步骤序列。由于编排骨架是 LangChain,规划器可以把大语言模型或视觉语言模型当作推理组件来调用,并把它们的输出串接成导航、操作或感知类的工具调用。rai whoami 提供机器人本体画像,使规划器知道它所推理的硬件;rai_perception 贡献开放集目标检测;rai_asr 与 rai_tts 通过语音闭合交互回路。得到的产物是一种可由自由语言驱动的行为,不依赖写死的状态机。
该框架对 ROS 2 Humble 与 Jazzy 发行版提供一等公民级的抽象,同时用一个抽象层简化跨网络与跨协议的通信,并允许未来扩展协议。实践中,开发者先配置机器人,用 rai whoami 提取其本体,再让智能体在真实或仿真环境中执行任务并与人交互。其底层的 M-Agent 模型把智能体定义为由推理系统、传感器与执行器构成,并将这些抽象精简进智能体核心逻辑与连接器。由于许多功能可以脱离实时 ROS 2 栈独立运行,RAI 也可用于非机器人的编排实验——这也正是它被定位为「通用智能体框架」、而不局限于「机器人库」的原因。
三、适用边界与前提
第一层边界是执行环境。RAI 面向 ROS 2 构建,期望机器人或仿真器暴露标准的 ROS 2 话题、服务与动作;运行私有中间件的机队需要先做适配,RAI 才能下发指令。第二层边界是模型层。RAI 在设计上对模型保持中立,这意味着任务质量完全取决于所选模型及其落地程度,框架本身并不保证某条规划在物理上有效或安全。第三层边界是评测。rai_bench 度量智能体、模型、工具与仿真器,但一次通过只是行为测试,并非真实世界的安全认证。官方文档明确写道,RAI 的定位是「在部署前测试智能体生成的行为」,不替代验证环节。团队应把 RAI 的输出视为待验证的候选行为,不是已认证的控制策略。
第四个现实前提是基础设施。运行 RAI 需要主机上有 ROS 2 工作空间、Ubuntu 22.04 或 24.04 上的 Python 3.10 或 3.12,以及到所选模型的网络通路。框架的语音与视觉功能各有额外依赖,rai_sim 还假定可达的仿真器。这些都不算罕见,但它们意味着 RAI 是面向开发者的工具,不面向终端用户;官方推荐入口是快速安装指引,项目刻意不提供开箱即用的 App。这一产品定位与 Robotec.ai 的服务业务一致——RAI 是客户在其自身 SOW 之下扩展的开源组件。
第五个需要明确的边界是责任与验证归属。RAI 把模型选择与行为验证职责交给使用方,框架本身不提供功能安全(functional safety)认证,也不给出形式化保证;在涉及人身或高价值资产的场景,使用方需自行叠加独立验证、故障保护与安全评审。换言之,RAI 建议的范式是「先仿真、再硬件、后验证」,验证职责不外包给框架本身。
四、上手路径
最快捷的入口是文档站点 robotecai.github.io/rai,提供快速安装指引与教程。框架以源码或 Python 包形式安装,主机上需要一个 ROS 2 工作空间。第一个实验可选 Rosbot XL 自主移动机器人演示,展示 RAI 通过自然语言处理导航与控制;或 Franka Emika 操作演示,RAI 把语言理解与 grounded segmentation(Grounded SAM 2)结合,完成灵活的抓取—放置任务。在真实硬件上运行同一条指令之前,先放到 rai_sim 中跑一遍,可以让团队在仿真里暴露规划失误。由于 RAI 对模型中立,首个配置决策是绑定哪种模型:追求能力选前沿云模型,看重数据主权与隔离部署则选开源权重模型。
除两个主打演示外,项目还记录了虚拟果园中的自主拖拉机——RAI 不仅检测障碍、更对突发状况推理最佳行进路线——以及 RB-KAIROS+ 移动操作臂的机载执行。ROSCon 2024 的演讲把 RAI 介绍给社区,具身 AI 社区组也持续举办例会。对评估该框架的团队,推荐路径是先在一个仿真中复现某个演示,再用 rai_bench 接入自己打算使用的模型与仿真器,因为 RAI 的价值在「同一条指令可跨模型、跨后端重复运行并记录指标」时最为明显。
具体落地时,团队通常先在 Ubuntu 22.04/24.04 上建立 ROS 2 Humble 或 Jazzy 工作空间,用 colcon 或 pip 安装 RAI 核心与各子包,再通过 rai whoami 导入机器人本体;随后以 rai_bench 注册目标模型与仿真器,形成可重复运行的评测基线。官方文档同时提供 API 参考与示例仓库,便于把既有 ROS 2 节点接入智能体编排,降低从零搭建的门槛。
五、横向对比
RAI 既不是仿真器,也不是某套单一机器人栈,而是位于模型与机器人之间的编排层。相对于 MuJoCo 或 OpenFOAM 这类提供物理能力的底层框架,RAI 高一层,通过仿真桥接调用它们。相对于 Nav2、MoveIt 这类 ROS 2 导航与操作栈,RAI 在其之上叠加了一层由语言驱动、由模型支撑的规划,使经典流水线可由意图驱动,而不依赖固定调用。其决定性特征是厂商与模型双中立:同一份智能体描述可以在不同模型、不同机器人本体上运行,这正是它与厂商绑定的智能体方案的区别所在。相较于其他 LLM 智能体机器人框架,RAI 的侧重是带显式本体机制的多智能体系统,以及「仿真优先、可基准化」的工作流。
概念上最接近的邻居是恰好面向机器人的通用智能体框架,但 RAI 的差异化在于其 ROS 2 原生集成、rai_bench 的评测纪律,以及它诞生于一家把同一套技术栈跑在 Isaac Sim、O3DE 与 Genesis 上的仿真公司。这一血统很关键:RAI 把重心放在「部署前在仿真中验证」,而不只是生成看似合理的机器人指令。对需要在 RAI 与某厂商捆绑智能体层之间选择的买家,权衡点是可移植性与透明度(RAI 开源、Apache-2.0、模型无关)对比垂直集成栈的便利性(后者可能把行为锁定到单一模型或单一机器人平台)。
在商用方案之外,RAI 也与 LangChain、AutoGen 等通用智能体框架形成对照:后者聚焦软件工作流编排,RAI 则把同一套智能体范式下沉到机器人执行层,并自带仿真接入与基准环节。这种定位使 RAI 既可利用通用智能体的生态,又保留面向物理执行与硬件在环的专门能力。
六、基准与数据
公开证据主要来自配套论文(arXiv:2505.07532,2025)对架构与一组具身任务的描述,以及 2024 年 ROSCon 上介绍 RAI 的演讲。rai_bench 随框架发布,用于度量智能体、模型、工具与仿真器的行为,但项目并不公布单一的头条基准数字;已报告的结果都是任务相关的,应在本地复现。Robotec.ai 自身的案例用 RAI 在搭载 AMD Ryzen AI 边缘硬件的仓储移动操作臂上协调智能体推理、感知与操作,并以 Rosbot XL 与 Franka 机械臂做演示。这些属于厂商演示,并非独立盲测,写入采购文档前应自行验证。
论文本身评估了物理 Husarion ROSBot XL(与其数字孪生耦合)加上两个仿真(机械臂操作器与拖拉机控制器)的部署,每个部署都从控制能力、本体有效性与感知能力三方面评估,作者还指出这项工作也帮助识别并解决了具身 AI 所用生成模型的若干缺陷。这是诚实的、任务限定型证据,不提供跨框架排行榜。对尽调而言,有用信号是 RAI 已在真实硬件与仿真中以明确指标被演练;需警惕的是,目前没有第三方、同任务集下把 RAI 与其他智能体框架横向排名的独立基准。
需要指出的是,具身 AI 领域目前缺乏统一、跨团队的基准协议,因此 rai_bench 的取向是「同一团队在自有硬件与模型上做可重复度量」,不追求跨机构可比的绝对分数。这种取向适合工程迭代与回归测试,但在横向选型时要求买方自行补齐对照实验,避免仅凭厂商演示下结论。
七、物理 AI 场景中的用法
在物理 AI 项目里,RAI 是把训练好的模型或通用模型连接到机器人 ROS 2 接口、并内置日志与基准的行为层。开发阶段,它缩短从「模型能做 X」到「机器人在测试场景里安全地做 X」的回路,因为 rai_sim 与 rai_bench 让团队在触碰硬件之前就能演练智能体生成的行为。验证阶段,它提供可重复的测试台:同一条指令可以跨模型、跨仿真或硬件后端运行,rai_bench 记录结果。部署阶段,它让模型选择保持可替换,团队可以在不重写机器人集成的前提下,从云模型切换到本地或隔离部署的开源权重模型。更宽的平台背景见 NVIDIA 公司报告。
RAI 在技术栈中的位置因此是与它所编排的仿真引擎和芯片互补、不构成竞争关系。一个典型的 Robotec.ai 工作流把 RAI 与 Nav2(导航)、MoveIt(操作)配对,再在 RoSi 或其他仿真器中验证组合行为后方才现场使用。对构建 Physical-AI 产品的组织,实际收益是用自然语言表达意图的标准方式,以及收集「不同模型与机器人在同一指令上表现如何」的可比证据。这一证据闭环把一次性演示变成可重复的工程流程,也让 RAI 成为更广义仿真与数字孪生平台的智能体层,不是单纯的机器人聊天机器人。
进一步看,RAI 与 Robotec.ai 的 RoSi 多引擎仿真、SLINGSHOT 实到仿真正向管线可形成数据闭环:仿真中生成的智能体轨迹与失败案例,可回流用于改进提示词、构造微调数据或标定数字孪生,从而把单次演示沉淀为可累积的工程资产。这种闭环正是 Physical-AI 产品从原型走向量产所需的基础设施之一。
八、不适用场景与失效模式
最常见的失效是过度信任语言模型的规划。由于 RAI 对模型中立,一个能力弱或落地差的模型会产出看似合理但不安全或不可行的规划,而框架内没有内置的物理校验。第二个失效模式是 ROS 2 假设:没有干净 ROS 2 接口的机器人需要先做大量适配,RAI 才有用。第三个是仿真—现实错位:在 rai_sim 中通过的行为,可能因为仿真没有建模相关接触、延迟或传感器噪声而在硬件上失败。RAI 明确是部署前的测试工具,不是安全认证方,因此它生成的任何行为在实地部署前仍需独立验证。许可证为宽松的 Apache-2.0,降低了采用风险;但用户接入的第三方模型或依赖包仍各自受原有条款约束。
一个更微妙的局限是评测深度。rai_bench 能度量智能体是否完成任务,但它本身并不认证物理安全、分布漂移下的鲁棒性,也不认证论文本身指出的、LLM 智能体固有的越狱与幻觉风险。由于 RAI 编排外部模型,其上限由这些模型决定;换用更强的模型即可在不改动 RAI 本身的情况下改善行为。对生产使用,团队应将 RAI 与独立验证、人在回路监督(AMD 仓储演示中的平板 UI 即一例)以及保守的回退策略配对,不应把智能体的首个规划当作最终动作。
此外,长时域任务中的误差累积、对非标准 ROS 2 接口的网络依赖,以及第三方模型在不同时点的行为漂移,都是需要在生产中持续监控并预设回退的失效来源。RAI 不内建这些保障,团队应把它纳入既有机器人安全与运维体系,不把它视作独立的安全边界。
九、版本与口径核对
记录一:RAI 由 Robotec.ai 维护,以 Apache-2.0 许可证发布;仓库为 github.com/RobotecAI/rai,文档位于 robotecai.github.io/rai。记录二:架构与设计见于《RAI: Flexible Agent Framework for Embodied AI》(arXiv:2505.07532,2025;作者 Rachwał、Majek、Boczek、Dąbrowski、Liberadzki、Dąbrowski、Ganzha)。记录三:RAI 是 ROS 2 具身 AI 社区组的重点项目之一,Robotec.ai 与 NVIDIA、Intrinsic 共同制定了 ROS 2 Simulation Interfaces 标准;这些合作声明来自 Robotec.ai 的技术页与 ROS 社区,并非独立审计结论。记录四:框架支持语音交互(rai_asr、rai_tts)、仿真接入(rai_sim)与基准评测(rai_bench),并且对前沿云模型与本地开源权重模型都保持中立;各子包成熟度不一,使用时应以仓库当时状态为准。
记录五:包集合已超出最初核心。除 rai core、rai whoami、rai_asr、rai_tts、rai_sim、rai_bench、rai_perception、rai_finetune 外,项目还记录了 rai_nomad(基于 NoMaD 的导航集成),反映其范围从操作、对话扩展到完整导航。记录六:支持的运行环境为 Ubuntu 22.04/24.04、Python 3.10/3.12 与 ROS 2 Humble 或 Jazzy;这些版本约束是实际的兼容性下限,采用前应对照仓库当前的安装指引确认。与任何快速演进的开源智能体项目一样,升级模型或依赖时请锁定版本并重跑 rai_bench。
记录七:RAI 与 Robotec.ai 的商业产品 RoSi、SLINGSHOT、AIKROS 共用同一仿真与机器人技术底座,但 RAI 以开源(Apache-2.0)形式独立发布,便于在不绑定商业合约的前提下做评估与原型。记录八:项目版本节奏与 ROS 2 发行版对齐,跨 Humble/Jazzy 的 API 可能随发行版演进而调整;采用方应参照仓库的 CHANGELOG 与发布标签锁定版本,并在升级模型或依赖后重跑 rai_bench,以确认行为未退化。对于把 RAI 纳入持续集成(CI)的团队,建议把 rai_bench 作为回归门禁,使模型或依赖变更在合并前就被基准捕获,从而降低「升级后行为悄悄退化」的风险。
十、参考资料
-
Robotec AI,《RAI 仓库》,github.com/RobotecAI/rai:README、组件、演示与引用。
-
Robotec AI,《RAI 文档》,robotecai.github.io/rai:安装、教程与配置。
-
Rachwał K.、Majek M.、Boczek B.、Dąbrowski K.、Liberadzki P.、Dąbrowski A.、Ganzha M.,《RAI: Flexible Agent Framework for Embodied AI》,arXiv:2505.07532,2025。
-
Robotec.ai,《技术栈》,robotec.ai/technology:仿真编排、ROS 2、O3DE、Isaac Sim、Genesis、OpenUSD、RAI 与 ROS 2 Simulation Interfaces 标准。
-
Robotec.ai,《官网》,robotec.ai:产品 AIKROS、SLINGSHOT、RoSi 与 RAI 定位,以及本站对应的公司深度报告。
-
ROS 2 Embodied AI Community Group,github.com/ros-wg-embodied-ai:RAI 作为重点项目。
-
ROSCon 2024,RAI 主题演讲,vimeo.com/1026029511。
-
Robotec AI,《RAI 引用(BibTeX)》,github.com/RobotecAI/rai,引用 arXiv:2505.07532。