SuperMimic: 单一可微世界模型重塑人形全身控制的算力扩展定律

核心元信息

维度 内容
机构 UC Berkeley (Hybrid Robotics Lab & BAIR)
代码 / 权重 / 主页 https://supermimic.github.io
硬件载体 宇树 Unitree G1 人形机器人（29 个主动驱动自由度）
仿真底座 MuJoCo Warp (GPU 并行加速, 50 Hz 控制, 200 Hz 积分)
主要基线对比 SONIC (Science Robotics 2026, 128 卡集群 PPO), BeyondMimic, PPO-Sim

一句话本质 (TL;DR)

动捕库动作再繁复（数十万条、数百小时），执行机构的多刚体物理动力学始终唯一。
既有 Model-Free RL（PPO）把确定性物理当做不可导黑盒进行高维盲目试错，导致算力成为海量技能扩展的黑洞；SuperMimic 用单一可微神经世界模型摊销所有动作的共享动力学，以短程脑内想象的一阶解析梯度（BPTT）替代高方差零阶采样，搭配 GAE Critic 引导长远价值，用 1 张 H100 训练 3 小时击败 128 张 GPU 训练 7 天的 SOTA 基准，将 GPU-hours 削减逾 1000 倍，且在 129,514 个动作上实现零失败与真机零样本部署。

💡 对话攻克与认知记录（Aha Moments & Q&A）

Q1: 从物理第一性原理来看，为什么说既有 PPO 在大规模动捕跟踪上是在严重浪费算力？

  • 攻克认知：
    1. 物理转移函数的唯一性：无论上层人类演示是太极、侧滚还是跳水，机器人的本体动力学始终服从同一个受约束多刚体系统 M(q)q¨+C(q,q˙)q˙+g(q)=τ+JcTλcM(q)\ddot{q} + C(q, \dot{q})\dot{q} + g(q) = \tau + J_c^T \lambda_c。动作库从 1 小时扩展至 264 小时，本质上只是在同一个相空间中采样不同的初值和目标轨迹，物理规律本身从未改变。
    2. PPO 零阶采样的信息论劣势：PPO 使用似然比梯度 ∇θlog⁡πθ⋅A^\nabla_\theta \log \pi_\theta \cdot \hat{A}，将物理引擎当成完全不透光的黑盒子。机器人在 29 维动作空间中随机抖动探索，策略只能得到一个标量分数，根本不知道 29 个电机中具体是哪个电机给力正确、哪个发力错误，必须通过天文数字级别的采样靠大数定律抹平噪声。
    3. 重复学习相同物理律：PPO 没有显式维护物理模型，导致策略在学后空翻时重新估计重力和地反力，在学单脚跳时又在重复估计完全相同的重力和地反力，算力被海量冗余采样彻底吞噬。

Q2: “训练神经网络充当动力学仿真器”早有人做，为什么此前业界宁愿烧上万卡时跑 PPO 也不用世界模型？SuperMimic 解决了什么暗坑？

  • 攻克认知：此前同类工作在人形全身控制上屡屡碰壁，源于踩入了 4 个致命暗坑，SuperMimic 逐一进行了工程与算法闭环：
    1. 把神经模型当成“更快的黑盒仿真器”：很多工作（如 RWM）学了世界模型后依然在里面跑 PPO。实测证明，在世界模型里跑 PPO（PPO-WM）要达到相同回报，步数是解析梯度的 64 倍！真正的红利在于反向传播的一阶解析梯度（Analytic Gradients）。
    2. 缺乏 Sim-to-Real 泛化能力：以往图形学神经动力学工作（如 SuperTrack）只在无噪声环境下跑角色动画。真实硬件必须做域随机化（摩擦系数、质心偏差、零位漂移）。SuperMimic 提出显式参数条件化（Context-Conditioned） fω(s^t,at,ξ)f_\omega(\hat{s}t, a_t, \xi)，世界模型拥有特权参数 ξ\xi 学习物理流形，而机载部署策略 πθ(ot,gt)\pi\theta(o_t, g_t) 仅依赖带噪本体感知，成功跨越真实物理鸿沟。
    3. 缺乏 Critic 导致严重“近视”与抗扰崩塌：以往解析梯度工作为了避免长程梯度爆炸，直接优化短视界奖励和。这导致策略在受到外部强推力时，无法为了长远平衡做出暂时牺牲短程奖励的减速动作。SuperMimic 引入 GAE 训练的终端 Critic，兼顾了短程解析梯度与无限长程价值兜底。
    4. 打破经验主义偏见：实证打破了“264 小时、13 万动作无法被单一 MLP 拟合”的猜想，实验证实 8 步自回归预测误差始终稳定在 0.007∼0.0110.007 \sim 0.011，证明接触物理容量紧凑，无需复杂的专家混合（MoE）。

Q3: 为什么必须短程展开（H=32H=32）并引入 GAE 训练的 Critic？没有 Critic 为何会被推倒？

  • 攻克认知：
    • 长程 BPTT 的数学陷阱：直接对整条轨迹跨步求导（如连乘 100 步矩阵），由于刚体接触非线性和特征值累积，极易出现梯度爆炸或消失；
    • 短程展开的局限（近视）：将视界限制在 H=32H=32（0.64 秒），能获得低方差的高质量梯度；但当机器人遭遇 0.5∼4.0 m/s0.5 \sim 4.0,\text{m/s} 的外力推击时，摆正重心需要数秒。如果只优化 32 步内的奖励，策略为了不丢眼前的跟踪分，拒绝执行大幅度跨步防摔动作。
    • GAE Critic 兜底：通过 J^(θ)=∑t=0H−1γtc^tr^t+1+γHc^HVψ(s^H)\hat{J}(\theta) = \sum_{t=0}^{H-1} \gamma^t \hat{c}t \hat{r}{t+1} + \gamma^H \hat{c}H V\psi(\hat{s}_H)，Critic 给第 32 步的姿态赋予终身期望值。消融实验显示：无 Critic 的策略遭遇 0.5 m/s 推力就踉跄跌倒，带 Critic 的策略在 4.0 m/s 冲击下能在 1~2 秒内优雅自恢复。

Q4: 如何理解解耦架构（Goal Encoders + Shared Decoder）与下游任务的 Task RL？为什么它击溃了传统蒸馏？

  • 攻克认知：
    • 传统蒸馏的死穴：传统方法通过模仿动捕片段来实现手柄速度控制，但动捕库由人类演员录制，存在严重分布盲区（例如：边大步前冲边以 ≥2.8 rad/s\ge 2.8,\text{rad/s} 超高角速度急转弯，人类根本录不出来）。面对这种分布外（OOD）指令，蒸馏网络只能盲猜，在 7 个高难急转弯测试中 100% 跌倒。
    • 大脑-小脑解耦与任务导向 RL：
      • 共享解码器 decθ(z,o)\text{dec}_\theta(z, o)（小脑）：在 264 小时动捕上千锤百炼，把抽象意图 zz 翻译为 29 个电机的动力学平衡发力；
      • 速度编码器 encθ,vel(vcmd,o)\text{enc}{\theta, \text{vel}}(v{\text{cmd}}, o)（大脑）：将手柄指令映射为 zz；
      • 优化机制：直接用线速度和偏航角速度误差构建任务奖励 rvelr_{\text{vel}}，梯度穿透解码器直达速度编码器，但对解码器权重加 stop-gradient（冻结解码器）。小脑的平衡机制不被破坏，大脑通过世界模型解析求导自主探索发力方案。
    • 战果：在涵盖全速度空间的 672 个阶跃响应中，Task RL 在 650 个指令上精度占优，且在蒸馏全军覆没的 7 个极限急转弯中保持 0 跌倒。

核心架构与方法拆解

flowchart TD
    subgraph Phase1 [阶段 1: 真实数据收集]
        Sim[MuJoCo Warp 并行环境 4096 Envs] -->|带噪动作 a_t + ε_t| Sim
        Sim -->|状态转移与奖励| Buffer[(Replay Buffer 1000 steps/env)]
    end

    subgraph Phase2 [阶段 2: 拟合世界模型]
        Buffer -->|采样 k=8 步窗口| WM[可微世界模型 f_ω<br/>MLP: 2048-2048-2048]
        WM -->|自回归拟合 L_WM| OptWM[更新模型权重 ω]
    end

    subgraph Phase3 [阶段 3: 脑内想象与策略提升]
        Buffer -->|采样初始状态 s_0 与环境上下文 ξ| Imag[展开 H=32 步脑内想象]
        WM -.->|提供雅可比矩阵 ∂s/∂a| Imag
        Imag -->|BPTT 一阶解析梯度| OptPol[更新策略网络 π_θ]
        Imag -->|GAE 优势估计| OptCritic[更新价值网络 V_ψ]
    end

    OptPol -->|最新策略| Sim

1. 可微世界模型与 k=8k=8 步自回归抗漂移拟合

物理仿真虽确定，但硬接触不可导且计算密集。SuperMimic 用全连接神经网络拟合带物理参数上下文 ξ\xi 的系统转移： s^t+1=fω(s^t,at,ξ),r^t+1=rω(s^t,at,gt),o^t=gω(s^t,ξ),d^t=dω(s^t,gt)\hat{s}{t+1} = f\omega(\hat{s}t, a_t, \xi), \quad \hat{r}{t+1} = r_\omega(\hat{s}_t, a_t, g_t), \quad \hat{o}t = g\omega(\hat{s}_t, \xi), \quad \hat{d}t = d\omega(\hat{s}_t, g_t)

为了根治神经网络单步预测引起的累积误差爆炸，拟合损失在 k=8k=8 步自回归窗口上展开： LWM(ω)=EB[∑j=1k(∥s^j−sj∥2+(r^j−rj)2+∥o^j−oˉj∥2+BCE(d^j,dj))]\mathcal{L}{\text{WM}}(\omega) = \mathbb{E}{\mathcal{B}} \left[ \sum_{j=1}^{k} \left( |\hat{s}_j - s_j|^2 + (\hat{r}_j - r_j)^2 + |\hat{o}_j - \bar{o}_j|^2 + \text{BCE}(\hat{d}_j, d_j) \right) \right] 自回归训练强迫世界模型在前向推演中学会自我误差修正（Self-Correction）。

2. 可微存活权重（Soft Survival Weight）

仿真中的摔倒截断是离散的阶跃信号（0 或 1），直接求导梯度处处为零。作者设计了连续可微的存活权重链条： c^0=1,c^t+1=c^t⋅(1−d^t+1)\hat{c}0 = 1, \quad \hat{c}{t+1} = \hat{c}t \cdot (1 - \hat{d}{t+1}) 其中 d^t+1∈[0,1]\hat{d}_{t+1} \in [0, 1] 由网络预测。若动作 ata_t 诱发了失稳倾斜，d^\hat{d} 升高促使 c^\hat{c} 急剧归零，下游所有奖励被自动切断，梯度可穿透 c^t\hat{c}_t 顺畅反传给策略。

3. 短程 BPTT 与 GAE Critic 引导

策略在固定的世界模型权重下进行 H=32H=32 步脑内推演，目标函数为： J^(θ)=Es0∼ρ0,πθ[∑t=0H−1γtc^tr^t+1+γHc^HVψ(s^H,gH,ξ)]\hat{J}(\theta) = \mathbb{E}{s_0 \sim \rho_0, \pi\theta} \left[ \sum_{t=0}^{H-1} \gamma^t \hat{c}t \hat{r}{t+1} + \gamma^H \hat{c}H V\psi(\hat{s}H, g_H, \xi) \right] BPTT 利用链式法则计算一阶梯度： ∇θJ^(θ)=∑t=0H−1∂r^t+1∂s^t+1∂s^t+1∂at∂at∂θ+…\nabla\theta \hat{J}(\theta) = \sum_{t=0}^{H-1} \frac{\partial \hat{r}{t+1}}{\partial \hat{s}{t+1}} \frac{\partial \hat{s}{t+1}}{\partial a_t} \frac{\partial a_t}{\partial \theta} + \dots Critic VψV\psi 通过 GAE(λ=0.95\lambda=0.95) 在脑内轨迹上反向贴现更新： LV(ψ)=E[∑t=0H−1(Vt−R^t)2],R^t=r^t+1+γ(1−d^t+1)[(1−λ)Vt+1+λR^t+1]\mathcal{L}V(\psi) = \mathbb{E}\left[ \sum{t=0}^{H-1} (V_t - \hat{R}t)^2 \right], \quad \hat{R}t = \hat{r}{t+1} + \gamma(1 - \hat{d}{t+1})[(1-\lambda)V_{t+1} + \lambda \hat{R}_{t+1}]

4. 动态自适应“题库”：基于回报的重置采样 (Return-Based Reset)

针对 264 小时动捕库的长尾难度分布，将动作切分为 1 秒的 Bins，维护历史回报 GbG_b。重置环境时混合采样：

  • 50%：均匀采样（防全局遗忘）；
  • 40%：困难优先负指数采样 softmax(−25Gb/Gmax⁡)\text{softmax}(-25 G_b / G_{\max})（算力精准聚焦硬骨头）；
  • 10%：历史难点衰减保留。

实验结果与对比分析

1. 算力开销与跟踪回报对比

模型 / 方法 训练硬件 训练时间 总算力 (GPU-h) 129,514 动作失败数 归一化跟踪回报
SONIC (Science Robotics) 128 ×\times NVIDIA L40 168 小时 (7 天) ~21,000 179 0.88
SuperMimic (1 GPU) 1 ×\times NVIDIA H100 3.0 小时 3 (>7000×↓>7000\times \downarrow) 25 0.90 (超越 SONIC)
SuperMimic (2 GPUs) 2 ×\times NVIDIA H100 9.8 小时 19.6 0 (零失败) 0.92

2. 失败动作类别穿透分析 (Table A.8)

在 12.9 万个动作的全量严苛评测中：

  • SONIC：在复杂动作上大面积崩塌——44 个空翻全部失败，22 个侧滚翻全部失败，8 个成套舞蹈全部失败，跨步大跳失败 15/24；
  • SuperMimic (2 GPUs 9.8h)：在上述所有空翻、侧滚、下地摔倒起立、复杂舞蹈中全部成功（0 失败）。

3. 性能增益的机制剥离 (Figure 5)

SuperMimic 的超强样本效率由两个乘法因子共同构成：

  1. 纯推演吞吐量加速：GPU 原生 Tensor 运算使世界模型比 MuJoCo Warp 快 10 倍（极限 64k 并行下快 62 倍）；
  2. 一阶解析梯度红利：在世界模型中运行 PPO（PPO-WM）与运行 BPTT 对比，达到相同回报所需步数差了 64 倍。

10×64≈640×10 \times 64 \approx 640\times，解释了与传统集群 PPO 之间千倍算力代差的本质成因。

4. 扩展定律 (Scaling Law) 验证 (Figure 3)

数据从 1 小时增加至 7 小时、40 小时、264 小时：

  • 达到预定目标回报（0.82）的训练时间呈现极其平缓的亚线性增长；
  • 世界模型的 8 步自回归预测相对误差全程收敛在 0.007∼0.0110.007 \sim 0.011 区间，证明多刚体物理动力学具有极高的信息压缩比。

5. 真实机器人部署 (Unitree G1)

单一策略无任何单动作针对性微调，直接零样本上机实测成功：

  • 跳跃穿梭（Skipping Jump）落地冲击吸收；
  • 复杂地面侧滚翻（Side Roll）大面积躯干四肢接触摩擦滑行；
  • 90° 侧向跌倒受身受控翻滚；
  • 原地 360° 腾空翻转落地平衡。

总结与思考 (Takeaways & Critique)

最大启发

  1. 物理问题的归物理，表象问题的归表象：人形控制的动作空间与感知空间看起来无穷无尽，但受约束刚体运动学的内在自由度是紧凑且确定的。将“学物理规律（世界模型）”与“学目标意图（编码器/策略）”明确分工，是一切高维度控制降维打击的范式。
  2. 拒绝盲目把神经网络当黑盒：很多时候我们用强化学习是因为环境不可导；但既然已经拟合了一个白盒神经网络作为环境代理，继续用零阶黑盒采样（PPO）就是对算力的极大浪费，微积分的一阶导数永远是人类最强大的优化工具。
  3. 特权流形设计消除 Sim-to-Real 障碍：不必在仿真里把策略网络训成透视眼，而要把世界模型训成全知全能的物理流形映射，部署策略依然保持纯净本体感知，从而实现极强的鲁棒性。

局限与未来挑战

  1. 平地与无障碍物先验：当前动捕清洗与训练全部假定在刚性平整地面，去除了楼梯、箱子、椅子等交互；一旦涉及非结构化地形或重载物体推拉，接触模式的组合爆炸会考验世界模型的泛化边界。
  2. 动力学依然来自仿真器先验：世界模型目前是从 MuJoCo 的轨迹日志中拟合，如果仿真器本身动力学有系统性偏差（如减速器齿隙、电机发热非线性），世界模型也会继承该偏差，未来需要真机数据参与微调。
  3. 多接口联合训练的共享解码器冻结妥协：论文在训练速度接口时冻结了解码器。如果未来需要让手柄控制机器人做出动捕库之外的全新高难度体操动作，解码器是否必须接受多任务任务奖励的直接联合微调？这仍是未决问题。