据苹果机器学习研究项目页、澎湃新闻与Humanoids Daily报道,苹果研究团队11月4日在预印本平台arXiv提交论文《Perceptive Humanoid Motion from Simulation》,公布人形机器人自主控制系统HALO,并在宇树科技的G1人形机器人上验证。团队同时公开了数据生成、训练和部署代码。

HALO分三层:最上层由视觉语言模型负责任务编排,默认采用千问Qwen3.6-35B-A3B,在机器人背负的Mac mini上本地运行;中间层以Qwen3.5-2B为编码器,配合扩散模型规划约5秒的全身动作;底层动作跟踪器经强化学习训练,每秒运行50次,输出关节控制指令。

训练数据主要来自1000个程序生成的模拟家庭环境,合成约300小时。论文显示,机器人在6个未预先扫描或建图的真实房间完成走向物体、坐上椅子、侧身穿门、钻过桌底、推箱子等测试,360次单项任务平均成功率91%;3种组合任务各测10次,平均成功率70%。团队坦言,新增技能仍需人工编写提示和设计关键帧,机器人也缺乏触觉感知。

参考来源:arxiv.org、apple-aiml-research.github.io、thepaper.cn、humanoidsdaily.com