苹果研究团队在预印本平台 arXiv 提交论文,披露人形机器人自主控制系统 HALO:依托视觉、深度及本体感知完成全身动作规划,重点解决仿真环境学到的技能向真实世界零样本迁移的难题。
论文同时给出了一条不太符合发布惯例的判断:在物体被遮挡、脱离相机视野的场景下,接触类任务仍存在明显挑战。这句话的价值高于任何实验室演示视频,因为它精确划出了一个能力边界——感知驱动的全身控制在「看得见」时可用,在「看不见」时还不可用。
HALO 的问题定位:sim-to-real 的三重失配
仿真里训练、真机上零样本执行,失败从来不是一个原因,而是三种失配叠加。
第一种是动力学失配。仿真的刚体参数、关节摩擦、电机响应曲线、传动间隙都是近似。人形机器人有几十个自由度,每个自由度上百分之几的参数误差,会在接触瞬间被放大成完全不同的结果。
第二种是感知失配。仿真里的图像是渲染出来的,没有运动模糊、没有卷帘快门畸变、没有镜头眩光、没有标定残差。策略在仿真里学到的视觉特征,可能在真实相机下根本不存在。
第三种是接触失配。这是三者中最难的。接触是强非线性、不连续的事件:接触前力为零,接触瞬间力跳变。仿真器用罚函数或约束求解近似这个过程,真机上是柔性体变形与摩擦的连续演化。仿真里学到的「推一下就会滑动」,在真机上可能是「推一下纹丝不动,再推一下突然打滑」。
零样本迁移的含义是:不做真机微调,直接把仿真策略部署上去。这要求策略对上述三种失配同时具备鲁棒性,而不是只对其中一种。
输入输出拆解
按披露的描述,HALO 的输入是视觉、深度与本体感知三类,输出是全身动作规划。这个描述很简短,但可以把它展开成一张结构表。
| 层级 | 输入 | 输出 | 工程关注点 |
|---|---|---|---|
| 感知层 | RGB 图像、深度图 | 场景几何、物体位姿、可通行区域 | 标定精度、深度空洞、遮挡补全 |
| 状态层 | 关节编码器、IMU、足底力 | 本体状态估计、接触状态 | 估计延迟、漂移、足底力零点 |
| 决策层 | 感知 + 状态 + 任务目标 | 全身动作序列或轨迹 | 动作空间表示、时序一致性 |
| 执行层 | 动作指令 | 关节力矩或位置 | 控制频率、限幅、失效回退 |
这张表的关键在于「状态层」被单独列出。纯视觉方案的通病是把本体状态也当成从图像里推断出来的量,结果在遮挡时整条链路一起失效。把本体感知作为独立输入,意味着即使视觉退化,系统仍有内部状态可以维持平衡——这也是 HALO 能在遮挡下「仍有挑战但不至于摔倒」的结构性原因。
零样本迁移为什么难
域随机化是当前 sim-to-real 的主流手段:在仿真里随机化质量、摩擦、光照、纹理、相机位姿,让策略见过足够多的变化,从而对真实世界的偏差不敏感。但它有明确的边界。
边界之一是可随机化的维度有限。摩擦系数可以随机,但真实的摩擦不是各向同性的常数,而是与法向力、滑动速度、表面粗糙度相关的函数。把摩擦随机成 0.3 到 1.0 的均匀分布,学到的策略会倾向于「用大力气保证不打滑」,在真机上表现为过度用力和接触力超调。
边界之二是随机化范围的选择需要先验。范围太窄,覆盖不到真实偏差;范围太宽,策略变得过度保守,动作僵硬、效率低下。这个权衡没有解析解,只能靠实验调。
边界之三是观测延迟难以建模。真实系统的相机曝光、传输、推理、通信、执行器响应构成一条串联延迟链。仿真通常假设观测即时可用,真机上这条链条可能吃掉几十毫秒。
延迟的量化很直接。假设相机曝光 10 毫秒、传输 5 毫秒、推理 20 毫秒、总线通信 2 毫秒、执行器响应 5 毫秒,串联合计 42 毫秒。若末端在插装任务中的运动速度为 0.5 米每秒,42 毫秒对应 21 毫米位移。而精密插装的配合间隙通常在 5 毫米以内——延迟一项就吃掉了四倍于容差的位移量。这就是为什么高频本体感知反馈必须与低频视觉规划分层:视觉负责「往哪走」,本体感知负责「别撞上」。
遮挡与脱视野下的失效机理
论文点出的薄弱环节,机理可以拆成三层。
第一层是感知先验的缺失。视觉策略在训练中见到的物体,几乎总是「可见的」。当物体被机械臂自身遮挡、或滑出手掌进入相机盲区,输入分布就落到了训练分布之外,网络输出的位姿估计会迅速退化,且退化的方式不可预测——可能输出「保持原位」,也可能输出「消失」。
第二层是接触状态估计的缺失。接触类任务的核心变量不是物体在哪,而是「接触了没有、接触力多大、有没有滑动」。这三个量在视觉上几乎不可观测:手指与物体贴合时,接触面被完全遮挡。唯一可靠的信号是力/触觉与关节电流,而这依赖本体感知通道的精度与带宽。
第三层是闭环断裂。当视觉不可用、接触状态又估计不准时,系统实际上处于开环状态,只能靠动作先验「盲推」。盲推的成功率取决于任务容差与先验的匹配程度,对容差大的任务(如推门)尚可,对容差小的任务(如插接连接器)几乎必然失败。
对应的工程解法有三条:在掌部或指端增加近距离传感(触觉、接近觉),把「接触状态」变成直接观测量而不是推断量;在策略中显式维护一个物体状态的信念,允许在观测缺失时用动力学模型外推;以及在动作层加入「搜索」行为,即接触失败后执行小幅扫描而不是重复同一动作。
可复现的工程要点
以下是一段控制环的结构化伪代码,用于说明分层设计的工程要点,不是论文实现。要点在于:不同频率的回路各自闭环,视觉回路不阻塞本体回路,任何回路异常都有明确的降级路径。
三个频率层 -> 感知 30 Hz / 规划 100 Hz / 关节 1000 Hz loop at 30 Hz: # 视觉层 obs = capture(rgb, depth) if valid(obs): scene = estimate_pose(obs) # 位姿 + 置信度 belief.update(scene) # 带置信度的状态信念 else: belief.extrapolate(dt=1/30) # 观测缺失时用动力学外推 target = policy(belief, task) loop at 100 Hz: # 规划层 q, dq, tau = read_proprio() # 本体感知 contact = detect_contact(tau, dq) cmd = whole_body_control(target, q, dq, contact) cmd = clamp(cmd, limits) # 位置/速度/力矩三重限幅 loop at 1000 Hz: # 关节层 tau_ref = impedance(cmd, q, dq) if watchdog_ok(): send(tau_ref) else: hold_position() # 通信中断即保持,不追击
这段伪代码里有三个值得强调的设计决定。其一,置信度被显式建模:视觉输出的位姿带一个置信度,低于阈值时策略切换到外推模式,而不是无条件相信。其二,限幅放在规划层而不是关节层,因为全身控制的多关节耦合使得单关节限幅可能破坏整体平衡。其三,看门狗机制:通信异常时保持当前位置而不是继续执行最后一条指令,这是人形机器人最基本的安全设计。
评测该看哪些指标
零样本迁移的评测,单看成功率会掩盖大量信息。至少需要五个维度。
| 指标 | 含义 | 为什么重要 |
|---|---|---|
| 任务成功率 | 完成任务的试验比例 | 基础指标,但对失败模式不敏感 |
| 接触力超调 | 峰值接触力与目标力之差 | 反映接触建模误差,直接关联器件损伤风险 |
| 恢复时间 | 扰动后回到稳定状态所需时间 | 反映闭环带宽与鲁棒性 |
| 遮挡鲁棒性 | 不同遮挡比例下的成功率曲线 | 直接对应论文点出的薄弱环节 |
| 未见物体泛化 | 训练分布外物体的成功率 | 区分「记住」与「学会」 |
其中遮挡鲁棒性最值得关注。合理的做法是画一条曲线:横轴是遮挡比例(从 0 到 100%),纵轴是成功率。如果曲线在 30% 遮挡处断崖式下跌,说明系统依赖完整的视觉输入;如果缓降,说明本体感知与先验在起作用。论文说「仍有明显挑战」,对应的应该就是这条曲线在某个比例之后快速下滑。
接触力超调同样关键。人形机器人与环境的接触,力的大小直接决定是「推开门」还是「推坏门」。超调量反映的是策略对接触刚度不确定性的容忍度。
与主流路线的对比
当前人形机器人的控制路线大致三条,HALO 落在其中一条上。
| 维度 | VLA 端到端策略 | 世界模型预测式 | HALO 式分层全身控制 |
|---|---|---|---|
| 输入 | 图像 + 语言指令 | 图像序列 + 动作 | 视觉 + 深度 + 本体感知 |
| 输出 | 动作 token 或轨迹 | 未来观测 + 动作 | 全身动作规划 |
| 数据需求 | 大规模视觉-语言-动作配对 | 大规模视频 | 仿真 + 本体感知数据 |
| 泛化方式 | 语义泛化强,物理泛化弱 | 预测能力带来前瞻性 | 物理约束内建,语义泛化弱 |
| 实时性 | 受模型规模限制 | 计算开销大 | 分层后各层可独立满足 |
| 可解释性 | 低 | 中 | 较高,状态与约束显式 |
三条路线不是互斥的。VLA 擅长理解「做什么」,HALO 这类分层控制擅长保证「做得到且不摔」,世界模型提供「做了会怎样」的预测。工程上更可能的形态是三者组合:上层用 VLA 出语义目标,中层用世界模型做短期预测,底层用全身控制保证物理可行性。
判断与局限
论文开放的意义在于,它把「零样本迁移到人形全身控制」这个问题的边界说清楚了,包括说清楚哪里还不行。对一个高速迭代的领域,明确的能力边界比漂亮的演示更有用,因为边界告诉后来者该往哪里投入。
局限也很明确。论文的网络结构与训练数据规模未在底稿中体现,官方未披露;具体的成功率、接触力指标同样未披露。因此本文给出的所有数值都是量级推演,用于说明约束关系,不能用于横向比较。
从工程角度看,HALO 这类系统真正的门槛不在算法,而在「感知通道的完备性」。当视觉可用时,很多方案都能工作;当视觉不可用时,只有具备独立接触感知与本体状态估计的系统才不至于失控。这也是为什么触觉与力感知在人形机器人上的重要性,会在接下来一两年快速上升——不是因为它们让演示更好看,而是因为它们让系统在看不见的时候还能站住。