HALO

新
许可证: Apple 自有权属许可(非 OSI 开源许可;GitHub 标注 Other/NOASSERTION,详见仓库 LICENSE) · 更新于 2026-11-15
我的评分

一、简介

HALO 是苹果机器学习研究(Apple ML Research)团队于 2026 年 11 月 4 日发布的「感知型人形机器人自主控制系统」,随论文《Perceptive Humanoid Motion from Simulation》(arXiv:2611.06908)一并公开,并在 apple-aiml-research/ml-halo 仓库中全量开源了数据生成、模型训练与部署代码。系统让人在形机器人根据自然语言指令与第一视角视觉,在从未扫描、建图或参与训练的陌生真实环境中自主完成全身动作;验证平台为市售的宇树 G1(非苹果自研机身),论文报告在 6 个未建图真实家庭共 360 次单项任务试验中获得 91% 的平均成功率,复合多步任务为 70%。HALO 的显著特征是全程基于合成数据训练:作者在 1,000 个程序化生成的虚拟住宅中合成了约 300 小时的「视觉—语言—动作」配对数据,使数据规模随算力扩张、不再受人力规模约束。本次放出覆盖完整链路——数据生成、模型训练与部署代码,但不随附训练好的跟踪器权重,需用仓内训练配方自行训练。项目主页为 apple-aiml-research.github.io/ml-halo,论文与代码合在一起,使 HALO 成为迄今最完整的「仿真到现实」人形机器人技术栈开源发布之一。该系统把自主控制拆为任务编排、动作生成与动作跟踪三层,验证时整套推理运行在机器人随身的 Mac mini 上、无需联网。作为消费电子巨头下场具身智能的标志性动作,HALO 以开源方式把一套可复现的工程配方交到社区手中,其意义不亚于一次公开的工程示范。

二、原理与工作方式

HALO 把「听懂指令 → 完成动作」的链路拆成三层异步架构,每层职责与模型各不相同,层与层之间只传递子任务描述与约 5 秒的动作规划。最上层是任务编排器,基于视觉语言模型(VLM)。默认采用千问 Qwen3.6-35B-A3B,以 4-bit MLX 格式在机器人随身的 Mac mini M4 Pro(64 GB)本地运行,从而无需联网即可闭环;需要更强推理时也可改用云端 API。编排器持续观察机器人第一视角画面,把模糊指令解析为具体子任务,判断当前动作是否成功,并据此推进或重试计划,每次只向底层下达一项明确子任务。中间层是动作生成器:以冻结的 Qwen3.5-2B 文本编码器搭配扩散(DiT)解码器,根据当前画面与当前子任务规划约 5 秒(150 帧)的全身动作,每秒重新规划约 3 次,使动作随环境持续修正;「以已执行帧为条件」的机制保证多次重规划之间的动作连续。最底层是 50 Hz 的动作跟踪器,经强化学习训练,接收深度图像与机器人本体感觉,向 G1 底层 PD 控制器输出 29 个关节位置目标,完成地形感知与防摔闭环。HALO 在渲染阶段依赖 MuJoCo 与 NVIDIA Warp 等引擎生成的训练画面,跟踪器则在 Isaac Lab 中分三阶段训练:特权专家 → 多教师蒸馏 → 多 critic 微调。这种「以语言规划、以扩散生成、以强化跟踪」的分工,使每一层都可被单独替换或训练,是 HALO 区别于端到端 VLA 方案的核心;层间只传递子任务描述与约 5 秒的动作规划,把复杂的全身控制问题拆成三层各管一段的协同。

三、适用边界与前提

第一层边界是「放出物」。仓库包含的是代码,不是训练权重:跟踪器学生权重不随仓发布,复现者须用仓内流程自训;G1 机身、相机与机载算力也不在代码之内。编排层模型采用社区 4-bit 量化版(mlx-community/Qwen3.6-35B-A3B-4bit,约 20 GB),需 ≥32 GB 内存的 Apple silicon。第二层边界是任务词表。演示建立在一组约十条固定指令模板之上(坐扶手椅、走到垃圾桶、钻到桌下、推箱子等),编排器把用户的自由表述映射到其中一条;新增技能仍需人工撰写提示词与动作关键帧,因此任务目录的增长受限于人力。第三层边界是感知。HALO 以视觉为主、没有触觉反馈;一旦物体离开视野或被遮挡,策略就失去「它在哪」的信号,接触密集的任务随之退化。作者把触觉感知列为下一步的自然方向。第四个现实前提是许可。代码以苹果自有条款发布(GitHub 标注 Other/NOASSERTION,非 OSI 认证的开源许可证):个人、非独占许可,允许使用、修改与再分发但附条件,商标权与专利权不在授予范围内;G1 描述文件等第三方资产保留原许可。需要提醒的是,苹果自有条款虽允许使用与再分发,但非 OSI 认证许可且不含专利授权,商用前需法务审阅;这与 Apache-2.0 等宽松开源许可的合规路径不同,团队在拿 HALO 做产品化时应单独评估许可风险。

四、上手路径

最快捷的入口是仓库 README(github.com/apple-aiml-research/ml-halo),其目录与论文章节一一对应。六个目录分别是:datagen(Infinigen 场景、Kimodo 动作、Isaac/MuJoCo 渲染)、generator(Qwen3.5-2B + DiT 的训练与开环评测)、tracker(Isaac Lab 三阶段训练及 Python/C++ 实时部署)、orchestrator(与生成器共驻的 halo_orchestrator 语言规划器)、system(闭环 run_sim.py / run_real.py 启动器、halo_comm 通信、halo_serve 机载调度与实时网页查看器)、assets(G1 的 MJCF/URDF/USD 描述文件与场景物体)。第一个实验是用 run_sim.py 在 MuJoCo 中跑闭环,训练好跟踪器后再用 run_real.py 上真机 G1。项目主页 apple-aiml-research.github.io/ml-halo 提供系统说明、图集、训练概览与总览视频。由于不随附训练权重,复现者应先在 Isaac Lab 跑完跟踪器三阶段训练(特权专家 → 多教师蒸馏 → 多 critic 微调)再考虑真机部署,并预留论文给出的算力体量:数据合成约 250 张 H100、约 48 小时,动作生成器 64 张 B200,跟踪器 4 张 H100。datagen 目录负责合成训练数据:先用 Infinigen 程序化生成住宅场景,再用 Kimodo 注入人体动作,最后在 Isaac 与 MuJoCo 中渲染机器人视角画面并排除碰撞配置;generator 训练 Qwen3.5-2B+DiT,tracker 在 Isaac Lab 完成三阶段训练并给出 Python 与 C++ 两套实时部署;orchestrator 与 generator 通过 halo_serve 共驻同一推理引擎。复现者应先跑通 run_sim.py 的 MuJoCo 闭环,再按 tracker 训练文档自训权重,最后用 run_real.py 上真机。system 目录还提供 halo_comm 消息总线与实时网页查看器,便于调试时观察规划与跟踪的协同;对没有 G1 的团队,run_sim.py 的 MuJoCo 闭环已足以验证三层架构的端到端逻辑。需要明确的是,HALO 是一份「从数据合成到部署」的完整配方,并非开箱即用的机器人产品;复现者要自行准备 G1 机身、相机与背包电脑,并承担训练算力。

五、横向对比

HALO 属于机器人学习的「仿真派」,与 NVIDIA Isaac Sim、GR00T 等平台同列,并与依赖遥操作或人类视频的「真机数据派」形成对照。其决定性架构选择是模块化:不同于端到端视觉—语言—动作(VLA)模型从像素直接映射动作,HALO 把「理解(编排 VLM)」「生成(扩散动作模型)」「跟踪(RL 控制器)」分开,层与层之间只传递子任务描述与约 5 秒的动作规划。这种分离使各层可独立替换与训练:换用更强的编排模型无需重训动作栈,跟踪器也能用强化学习磨出高频稳定的执行。相较于 Physical Intelligence 的 π0.5、NVIDIA 的 GR00T 等端到端 VLA,HALO 以部分端到端泛化能力换取可解释性与逐层可训性,并让「陌生环境」问题变得可解——因为策略从不依赖预先扫描的地图。论文还用消融实验暴露承重结构:去掉规划连续性使「坐椅子」成功率从 84% 跌到 24%,把 DiT 解码器换成同规模回归解码器则跌到 19%,跟踪器去掉深度则跌到 74%。更多背景见 Physical Intelligence 公司报告 与 NVIDIA 公司报告。从产业视角看,HALO 验证了「通用大脑可跨硬件部署」:算法足够强时,机器人在没去过的新环境里不靠提前画地图也能直接干活,把具身智能的竞争重心从「造身体」推向「配大脑」与「补触觉」。真机数据派强调真实交互数据的不可替代性,而 HALO 用纯仿真数据证明「数据规模可随算力扩张」,两派路线尚未收敛,但 HALO 为仿真派提供了迄今最有说服力的证据。

六、基准与数据

头条数字来自论文表 II。单项任务:在留出仿真环境(6 类任务 × 100 个房间 × 每环境 10 次 = 6,000 次)与真实环境(6 类任务 × 6 个未建图真实家庭 × 每环境 10 次 = 360 次)均报告 91% 的平均成功率——仿真与真机表现收敛,说明训练所得能力可迁移。复合任务:3 种两步或三步组合在 1 个真实家庭各 10 次,平均 70%,低于单任务成功率的乘积,表明子任务并不独立、长流程衔接是短板;其中「俯身过障—走向目标—推箱子」仅 50%。训练规模(见附录)以大模型标准看相当克制:1,000 个 Infinigen 程序化住宅、296.3 小时合成语料(162,698 个片段,正文四舍五入约 300 小时);数据合成用约 250 张 NVIDIA H100、约 48 小时,动作生成器用 64 张 B200 训练,跟踪器用 4 张 H100。这些是开发者报告、任务限定的评测,并非独立复现的排行榜;写入采购文档前应本地复现,且作者明确 91% 是精选均值、并非通用部署保证。论文还报告了若干消融用以定位承重设计:规划连续性机制(训练时把已承诺片段当条件、推理时做修补式接续)使「坐椅子」成功率从 24%(完全不处理)提升到 84%;把流匹配 DiT 解码器换成同规模回归解码器,成功率跌到 19%;跟踪器去掉深度只保留本体感觉,跌到 74%。在复合任务上,Door→Go-To 真实/仿真为 71%/73%,Go-To→Push 为 60%/64%,Crouch→Go-To→Push 仅 50%/64%,长流程衔接明显弱于单任务。总体来看,HALO 的单任务 91% 与仿真 91% 收敛,说明仿真训练所得能力确实可迁移到真机;但复合任务的下滑也诚实标注了长流程仍是开放难题,提醒读者不要仅凭头条数字判断系统成熟度。

七、物理 AI 场景中的用法

在物理 AI 项目里,HALO 是一份具体且完全脚本化的「仿真到现实」范例:合成数据生成、模仿与强化训练、在商用硬件上部署,并把「大脑」(推理)与「身体」(执行)分离。它明确主张「数据语料随算力扩张,不再受人力规模约束」,直击机器人学习的数据瓶颈之争;而采用市售机身(宇树 G1)+ 开源模型(千问)+ 消费级迷你电脑的做法,说明自主系统可以「组装」出来,不必从零自研。对构建物理 AI 产品的团队,HALO 的价值与其说是开箱即用的机器人,不如说是一份可复现的工程配方:在语言规划器、动作生成器与关节级跟踪器之间建立标准接口,整条链路开放可审计、可修改。本站已覆盖 HALO 所渲染依赖的仿真引擎,如 NVIDIA Warp 与 MuJoCo;大规模行为克隆参照可看 RoboCaSa 与 SuperMimic;更宽的平台背景见 NVIDIA 公司报告、Physical Intelligence 公司报告 与 RobotecAI 公司报告。具体落地时,团队可把 HALO 的三层接口当作模板:语言规划器负责「理解」、扩散生成器负责「想动作」、RL 跟踪器负责「做动作」,三者通过明确的子任务描述与 5 秒动作规划解耦。这种解耦让「大脑」与「身体」各自演进——换更强的 VLM 不必重训动作栈,换更稳的跟踪器不必改动上层规划。对国内具身团队而言,HALO 用宇树机身 + 千问模型 + 消费级算力的组合,也侧面说明国产硬件与开源模型已成国际顶刊研究的默认底座之一。

八、不适用场景与失效模式

最常被提及的失效是缺乏触觉:因 HALO 仅依赖视觉,物体离开视野或被遮挡即丢失接触信号,接触密集的任务随之退化。第二类是长流程退化——子任务串联会放大单次失败概率(「俯身过障—走向目标—推箱子」跌到 50%),暴露子任务彼此耦合、并非相互独立。第三类是层间接口狭窄、编排器相对简单:系统把自由语言映射到约十条固定指令模板,新增技能仍要人工写提示词与关键帧,覆盖增长缓慢。第四类是复现摩擦:不随附训练权重、跟踪器须自训、编排器依赖 Apple silicon 4-bit 模型,因此「代码开放」不等于「开箱即跑」;机身、相机与背包电脑完全在仓库之外。第五类是评测边界:91% 是 6 类脚本化单项任务在未建图家庭中的均值,并非覆盖日常全部活动泛化能力的度量,论文也明确该结果属研究限定。与任何研究型发布一样,HALO 的结果是论文限定的,并非通用部署保证。还有一个值得记录的编码器取舍:动作生成器的 Qwen3.5-2B 编码器刻意冻结不微调,附录交代了原因——微调后反应更快更平顺,但训练数据里跟随的只有一种人物模型,微调版就只认得长得像那人的人;冻结版反而靠预训练常识认得各种人,却牺牲了部分反应速度。把「常识保留」与「反应速度」分开标价,这段诚实的附录比主结果更值得细读。此外,编排层相对简单,任务一多就需要更进一步的智能体式设计。

九、版本与口径核对

记录一:HALO 由苹果机器学习研究团队发布;论文《Perceptive Humanoid Motion from Simulation》为 arXiv:2611.06908(v1,2026-11-04),作者 Siyuan Hu、Abulikemu Abuduweili、Yue Meng、Shipeng Liu、Quentin Leboutet、Chen Chen、Matthias Müller、Vladlen Koltun。记录二:代码仓库为 github.com/apple-aiml-research/ml-halo,约 2026-11-04/05 创建,单一 main 分支、少量提交;项目主页 apple-aiml-research.github.io/ml-halo。记录三:许可为苹果自有条款(GitHub 标注 Other/NOASSERTION,非 OSI 许可证),允许使用、修改、再分发但附条件,商标与专利权不授予,第三方资产保留原许可。记录四:不随附训练好的跟踪器权重;编排层模型为社区 4-bit 量化版 mlx-community/Qwen3.6-35B-A3B-4bit,需 ≥32 GB 内存的 Apple silicon。记录五:仓库六个目录 datagen / generator / tracker / orchestrator / system / assets 与论文方法章节一一对应,便于对照文本阅读代码。记录六:验证机身是未经改动的宇树 G1,外加广角相机(OAK-1W)与 RealSense D435i 深度相机,机载 Mac mini M4 Pro 与 Jetson Orin NX;这些硬件增改被记录在文档中,但不包含在代码仓内。记录七:论文共 8 位作者均来自苹果,资深作者为 Vladlen Koltun,其长期主导苹果具身智能与仿真研究方向;论文 v1 于 2026-11-04 提交,截至发稿未见更新版本。记录八:仓库观察时(2026-11 中旬)约 186 stars、单一 main 分支、3 次提交,目录与论文章节一一对应,便于对照文本阅读。记录九:HALO 项目主页除论文外还提供系统说明、图集、训练概览与总览视频,是理解三层架构可视化的最佳入口;社区已出现基于 mlx-community 4-bit 量化编排模型做本地部署的第三方教程。记录十:HALO 的代码、论文与项目主页三者同步于 2026 年 11 月初公开,本站收录口径以论文 v1 与仓库当时状态为准;若后续苹果更新版本或调整许可,请以官方来源为最终依据。

十、参考资料

  1. Hu S.、Abuduweili A.、Meng Y.、Liu S.、Leboutet Q.、Chen C.、Müller M.、Koltun V.,《Perceptive Humanoid Motion from Simulation》,arXiv:2611.06908,2026。

  2. Apple Machine Learning Research,《HALO 代码仓库》,github.com/apple-aiml-research/ml-halo:README、各目录文档与引用。

  3. Apple Machine Learning Research,《HALO 项目主页》,apple-aiml-research.github.io/ml-halo:系统说明、图集与总览视频。

  4. arXiv,《Perceptive Humanoid Motion from Simulation》,arxiv.org/abs/2611.06908。

  5. 中国银河证券,《物理AI & 机器人行业跟踪点评:苹果 HALO 论文,机器人仿真派又一重磅成果》,2026-11。

  6. OFweek 智能硬件,《苹果开源机器人”大脑”HALO:实测宇树 G1,单项成功率 91%》,2026-11。

  7. Robotics Guide,《Apple’s HALO Teaches a Unitree G1 to Navigate Unseen Rooms With Simulation-Generated Data》,2026-11。

  8. Unitree Robotics,《G1 人形机器人产品页》,unitree.com:HALO 验证所用硬件平台。

  9. NVIDIA,《Isaac Lab 训练框架》,developer.nvidia.com/isaac/isaac-lab:跟踪器三阶段训练所用。

  10. Infinigen,《程序化场景生成》,github.com/princeton-vl/infinigen:datagen 流水线的场景引擎。

标签: