VERA — 把视频模型变成通用机器人策略

两阶段：规划器 + 翻译器

VERA = Action-free 视频世界模型(规划器) + Jacobian IDM(翻译器)。二者独立训练：

[观测历史 o≤t + 文本指令 g]
        │
        ▼
┌─────────────────────────┐
│ 视频世界模型(规划器)      │  Wan-14B, Diffusion Forcing
│ Action-Free!            │  输入 N=6 context帧, 输出 M=4 future帧
│ 本体无关, 训一次         │  只 commit K=1 前缀
└──────────┬──────────────┘
           │ 梦到的未来帧 ô_{t+1..t+K}
           ▼
┌─────────────────────────┐
│ 光流估计器(现成)         │  RAFT / AllTracker
└──────────┬──────────────┘
           │ dense flow v_t(p) ∈ R^{H×W×2}
           ▼
┌─────────────────────────┐
│ Jacobian IDM(翻译器)     │  VGGT / DINOv2+DPT
│ 本体特异, 每机器人训一个  │  输出 dense per-pixel Jacobian
│ δa = J†·v (正则化伪逆)   │
└──────────┬──────────────┘
           │ 动作块 â_{t:t+K}
           ▼
   执行 → 拿新观测 → 重新查询规划器(闭环 receding-horizon)

为什么要解耦？

视频规划器细节

• 骨干 Wan-14B，用 LVP(Large Video Planner) checkpoint 初始化
• 训练目标 Diffusion Forcing，只预测未来帧，不碰 action
• 机器人后训练：在 DROID 39,816 episodes 上做 video-to-video 微调
• 多视角：多相机拼成单张宽图输入 tokenizer
• N=6 context latent 帧，M=4 预测帧，K=1 committed prefix，40 步 UniPC 采样

核心思想：图像空间的雅可比场

把经典机器人学的雅可比概念推广到图像空间——学习一个 dense per-pixel Jacobian field，表达"动作微增量如何驱动每个像素运动"。

给定图像 o，image-conditioned transformer J 对每个像素 p 输出一个矩阵，满足线性化关系：

其中 δa∈R^n 是动作增量，δp 是该像素的运动，J(p,o)∈R^(2×n)。

训练目标(前向+逆向联合损失)

• 前向项：用雅可比×动作去预测像素流，对齐真实光流 v(p)
• 逆向项：用伪逆从光流重建动作，对齐真实动作(w_a=0.3)
• ρ(x)=√(x²+ε²) 是 Charbonnier loss(鲁棒 L1)

推理：从光流反解动作(正则化伪逆)

即对所有像素的雅可比方程做 ridge 正则最小二乘，闭式解：

本质是把"所有像素怎么动"这海量约束，最小二乘地压回到低维动作 δa 上。

为什么 J-IDM 比 Direct-IDM 好

VERA ≈ 神经版、dense-flow 版的 IBVS

VERA 的数学形式与经典的 基于图像的视觉伺服 (IBVS) 高度相似：

三个关键区别

1. VERA 的"误差"不是手工设计的特征误差，而是dense 光流
2. VERA 的雅可比不是解析模型，而是用机器人 self-play 数据学出来的
3. VERA 的目标不是人工给的，而是视频生成模型想象出来的下一步视觉状态

VERA 不是 action-conditioned 世界模型

评测协议矩阵：作者到底测了什么

仿真结果

(成功率 %) UniPi 在高 DoF 完全失败，VERA 稳定完成。

真机对比 (vs π0.5, DreamZero)

视频模型初始化消融

优点

1. 解耦优雅：一个视频规划器 + 多个 IDM，视频模型可换、IDM 用自玩数据独立训
2. J-IDM 数据高效且能扩展到高维动作(16-DoF 灵巧手)
3. 保留视频模型推理能力：挑战性推理任务上远超端到端 VLA
4. 零样本语言条件操作 + 纯 RGB 灵巧手控制

局限

• 仍需机器人特定视频做规划器后训练；J-IDM 需该本体 self-play 数据(换机器人要重训 IDM)
• 依赖现成光流估计器，其质量直接决定 J-IDM 性能
• 无法从纯 RGB 推理力控(force-based control)
• 预测帧像素运动很小时，动作恢复精度下降
• 14B 模型 40 步去噪 + 光流 + 伪逆，推理延迟高，实时性堪忧
• 基础任务不如 DreamZero(60% vs 90%)，翻译保真度是瓶颈

可借鉴 / 差异化空间

一句话总结

VERA = action-free 视频世界模型(梦想未来) + Jacobian IDM(用学习的图像雅可比场把光流反解成动作)，是神经版、视频驱动的 IBVS，走"解耦规划+忠实翻译"路线实现零样本跨本体控制。

训练/评测资源配置 🟢论文核对

来源：VERA 论文附录 A.1(架构与训练配方)。核心是基于 Wan 家族视频模型的两个规模变体，混合精度训练。

所有运行使用混合精度。VERA 分两部分：video world model(上表，是资源大头) + 轻量的 Jacobian IDM(把预测帧对反解成动作，参数远小于视频模型)。

自测：5 题检验理解