苹果 HALO 人形机器人控制系统:视觉与本体感知的零样本迁移

苹果研究团队在预印本平台 arXiv 提交论文,披露人形机器人自主控制系统 HALO:依托视觉、深度及本体感知完成全身动作规划,重点解决仿真环境学到的技能向真实世界零样本迁移的难题。

论文同时给出了一条不太符合发布惯例的判断:在物体被遮挡、脱离相机视野的场景下,接触类任务仍存在明显挑战。这句话的价值高于任何实验室演示视频,因为它精确划出了一个能力边界——感知驱动的全身控制在「看得见」时可用,在「看不见」时还不可用。

HALO 的问题定位:sim-to-real 的三重失配

仿真里训练、真机上零样本执行,失败从来不是一个原因,而是三种失配叠加。

第一种是动力学失配。仿真的刚体参数、关节摩擦、电机响应曲线、传动间隙都是近似。人形机器人有几十个自由度,每个自由度上百分之几的参数误差,会在接触瞬间被放大成完全不同的结果。

第二种是感知失配。仿真里的图像是渲染出来的,没有运动模糊、没有卷帘快门畸变、没有镜头眩光、没有标定残差。策略在仿真里学到的视觉特征,可能在真实相机下根本不存在。

第三种是接触失配。这是三者中最难的。接触是强非线性、不连续的事件:接触前力为零,接触瞬间力跳变。仿真器用罚函数或约束求解近似这个过程,真机上是柔性体变形与摩擦的连续演化。仿真里学到的「推一下就会滑动」,在真机上可能是「推一下纹丝不动,再推一下突然打滑」。

零样本迁移的含义是:不做真机微调,直接把仿真策略部署上去。这要求策略对上述三种失配同时具备鲁棒性,而不是只对其中一种。

输入输出拆解

按披露的描述,HALO 的输入是视觉、深度与本体感知三类,输出是全身动作规划。这个描述很简短,但可以把它展开成一张结构表。

层级输入输出工程关注点
感知层RGB 图像、深度图场景几何、物体位姿、可通行区域标定精度、深度空洞、遮挡补全
状态层关节编码器、IMU、足底力本体状态估计、接触状态估计延迟、漂移、足底力零点
决策层感知 + 状态 + 任务目标全身动作序列或轨迹动作空间表示、时序一致性
执行层动作指令关节力矩或位置控制频率、限幅、失效回退

这张表的关键在于「状态层」被单独列出。纯视觉方案的通病是把本体状态也当成从图像里推断出来的量,结果在遮挡时整条链路一起失效。把本体感知作为独立输入,意味着即使视觉退化,系统仍有内部状态可以维持平衡——这也是 HALO 能在遮挡下「仍有挑战但不至于摔倒」的结构性原因。

零样本迁移为什么难

域随机化是当前 sim-to-real 的主流手段:在仿真里随机化质量、摩擦、光照、纹理、相机位姿,让策略见过足够多的变化,从而对真实世界的偏差不敏感。但它有明确的边界。

边界之一是可随机化的维度有限。摩擦系数可以随机,但真实的摩擦不是各向同性的常数,而是与法向力、滑动速度、表面粗糙度相关的函数。把摩擦随机成 0.3 到 1.0 的均匀分布,学到的策略会倾向于「用大力气保证不打滑」,在真机上表现为过度用力和接触力超调。

边界之二是随机化范围的选择需要先验。范围太窄,覆盖不到真实偏差;范围太宽,策略变得过度保守,动作僵硬、效率低下。这个权衡没有解析解,只能靠实验调。

边界之三是观测延迟难以建模。真实系统的相机曝光、传输、推理、通信、执行器响应构成一条串联延迟链。仿真通常假设观测即时可用,真机上这条链条可能吃掉几十毫秒。

延迟的量化很直接。假设相机曝光 10 毫秒、传输 5 毫秒、推理 20 毫秒、总线通信 2 毫秒、执行器响应 5 毫秒,串联合计 42 毫秒。若末端在插装任务中的运动速度为 0.5 米每秒,42 毫秒对应 21 毫米位移。而精密插装的配合间隙通常在 5 毫米以内——延迟一项就吃掉了四倍于容差的位移量。这就是为什么高频本体感知反馈必须与低频视觉规划分层:视觉负责「往哪走」,本体感知负责「别撞上」。

遮挡与脱视野下的失效机理

论文点出的薄弱环节,机理可以拆成三层。

第一层是感知先验的缺失。视觉策略在训练中见到的物体,几乎总是「可见的」。当物体被机械臂自身遮挡、或滑出手掌进入相机盲区,输入分布就落到了训练分布之外,网络输出的位姿估计会迅速退化,且退化的方式不可预测——可能输出「保持原位」,也可能输出「消失」。

第二层是接触状态估计的缺失。接触类任务的核心变量不是物体在哪,而是「接触了没有、接触力多大、有没有滑动」。这三个量在视觉上几乎不可观测:手指与物体贴合时,接触面被完全遮挡。唯一可靠的信号是力/触觉与关节电流,而这依赖本体感知通道的精度与带宽。

第三层是闭环断裂。当视觉不可用、接触状态又估计不准时,系统实际上处于开环状态,只能靠动作先验「盲推」。盲推的成功率取决于任务容差与先验的匹配程度,对容差大的任务(如推门)尚可,对容差小的任务(如插接连接器)几乎必然失败。

对应的工程解法有三条:在掌部或指端增加近距离传感(触觉、接近觉),把「接触状态」变成直接观测量而不是推断量;在策略中显式维护一个物体状态的信念,允许在观测缺失时用动力学模型外推;以及在动作层加入「搜索」行为,即接触失败后执行小幅扫描而不是重复同一动作。

可复现的工程要点

以下是一段控制环的结构化伪代码,用于说明分层设计的工程要点,不是论文实现。要点在于:不同频率的回路各自闭环,视觉回路不阻塞本体回路,任何回路异常都有明确的降级路径。

三个频率层 -> 感知 30 Hz / 规划 100 Hz / 关节 1000 Hz
loop at 30 Hz:                      # 视觉层
    obs = capture(rgb, depth)
    if valid(obs):
        scene = estimate_pose(obs)   # 位姿 + 置信度
        belief.update(scene)         # 带置信度的状态信念
    else:
        belief.extrapolate(dt=1/30)  # 观测缺失时用动力学外推
    target = policy(belief, task)

loop at 100 Hz:                     # 规划层
    q, dq, tau = read_proprio()      # 本体感知
    contact = detect_contact(tau, dq)
    cmd = whole_body_control(target, q, dq, contact)
    cmd = clamp(cmd, limits)         # 位置/速度/力矩三重限幅

loop at 1000 Hz:                    # 关节层
    tau_ref = impedance(cmd, q, dq)
    if watchdog_ok(): send(tau_ref)
    else: hold_position()            # 通信中断即保持,不追击

这段伪代码里有三个值得强调的设计决定。其一,置信度被显式建模:视觉输出的位姿带一个置信度,低于阈值时策略切换到外推模式,而不是无条件相信。其二,限幅放在规划层而不是关节层,因为全身控制的多关节耦合使得单关节限幅可能破坏整体平衡。其三,看门狗机制:通信异常时保持当前位置而不是继续执行最后一条指令,这是人形机器人最基本的安全设计。

评测该看哪些指标

零样本迁移的评测,单看成功率会掩盖大量信息。至少需要五个维度。

指标含义为什么重要
任务成功率完成任务的试验比例基础指标,但对失败模式不敏感
接触力超调峰值接触力与目标力之差反映接触建模误差,直接关联器件损伤风险
恢复时间扰动后回到稳定状态所需时间反映闭环带宽与鲁棒性
遮挡鲁棒性不同遮挡比例下的成功率曲线直接对应论文点出的薄弱环节
未见物体泛化训练分布外物体的成功率区分「记住」与「学会」

其中遮挡鲁棒性最值得关注。合理的做法是画一条曲线:横轴是遮挡比例(从 0 到 100%),纵轴是成功率。如果曲线在 30% 遮挡处断崖式下跌,说明系统依赖完整的视觉输入;如果缓降,说明本体感知与先验在起作用。论文说「仍有明显挑战」,对应的应该就是这条曲线在某个比例之后快速下滑。

接触力超调同样关键。人形机器人与环境的接触,力的大小直接决定是「推开门」还是「推坏门」。超调量反映的是策略对接触刚度不确定性的容忍度。

与主流路线的对比

当前人形机器人的控制路线大致三条,HALO 落在其中一条上。

维度VLA 端到端策略世界模型预测式HALO 式分层全身控制
输入图像 + 语言指令图像序列 + 动作视觉 + 深度 + 本体感知
输出动作 token 或轨迹未来观测 + 动作全身动作规划
数据需求大规模视觉-语言-动作配对大规模视频仿真 + 本体感知数据
泛化方式语义泛化强,物理泛化弱预测能力带来前瞻性物理约束内建,语义泛化弱
实时性受模型规模限制计算开销大分层后各层可独立满足
可解释性低中较高,状态与约束显式

三条路线不是互斥的。VLA 擅长理解「做什么」,HALO 这类分层控制擅长保证「做得到且不摔」,世界模型提供「做了会怎样」的预测。工程上更可能的形态是三者组合:上层用 VLA 出语义目标,中层用世界模型做短期预测,底层用全身控制保证物理可行性。

判断与局限

论文开放的意义在于,它把「零样本迁移到人形全身控制」这个问题的边界说清楚了,包括说清楚哪里还不行。对一个高速迭代的领域,明确的能力边界比漂亮的演示更有用,因为边界告诉后来者该往哪里投入。

局限也很明确。论文的网络结构与训练数据规模未在底稿中体现,官方未披露;具体的成功率、接触力指标同样未披露。因此本文给出的所有数值都是量级推演,用于说明约束关系,不能用于横向比较。

从工程角度看,HALO 这类系统真正的门槛不在算法,而在「感知通道的完备性」。当视觉可用时,很多方案都能工作;当视觉不可用时,只有具备独立接触感知与本体状态估计的系统才不至于失控。这也是为什么触觉与力感知在人形机器人上的重要性,会在接下来一两年快速上升——不是因为它们让演示更好看,而是因为它们让系统在看不见的时候还能站住。