VLA 训练与部署实战

训练范式全景：预训练 → 后训练，VLM 层面 vs VLA 层面 🟢论文核对

读完你能回答：什么是预训练/后训练？为什么"预训练"这个词在 VLA 里有两层含义(VLM 的 vs VLA 的)？各阶段用什么数据？以及最关键的——"在仿真 benchmark 上测试"是不是在 benchmark 数据上做后训练？(答案：是，下面详解)

三个阶段(从"通才"到"专才")

预训练 vs 后训练的具体实现：到底开放哪些参数？ 🟢论文+代码核对

你问的核心问题：预训练是开放更多参数吗？ 答案比"开放更多"更微妙——不同阶段的参数策略差异很大，且不同论文做法不同。

先给结论表

VLA 后训练的三种参数策略（从严到松）

用 StarVLA 代码举例：参数策略如何在配置里体现 🟢仓库代码核对

# StarVLA: examples/LIBERO/train_files/starvla_cotrain_libero.yaml
trainer:
  learning_rate:
    base: 2.5e-05              # 默认 LR
    qwen_vl_interface: 1.0e-05 # VLM backbone: 低 LR(保护预训练知识)
    action_model: 1.0e-04      # Action head: 高 LR(新模块,需快速学)
  freeze_modules: 'qwen_vl_interface'  # ← 这行控制是否冻结 VLM
  loss_scale:
    vla: 1.0    # 动作损失权重
    vlm: 0.1    # VLM 协同训练损失权重(防遗忘)

π0 的预训练为什么"开放全部参数"？

Qwen-RobotManip 的预训练 vs SFT 参数策略 🟢论文核对

ImageWAM 的"冻结理解、只训生成"策略 🟢论文核对

ImageWAM 明确说(论文原话)："We keep the VLM and multimodal understanding components frozen...Only the image editing branch and the action expert are updated during training."

一句话总结

VLM 在 VLA 里到底输出什么？文字？还是隐藏向量？ 🟢论文核对

常见误解："推理 VLA = VLM 先输出文字规划，再用文字条件化动作头"。这只对一部分模型成立。实际有三种完全不同的架构：

三种架构对照(附数据流图)

① 隐式特征型（大多数 VLA 是这种）

图像 + 指令 ──→ [VLM backbone] ──→ hidden states h (向量,不是文字!)
                                          │
                                          ↓ (直接送入,不经过"变成文字"这一步)
                                   [Action Head (DiT/OFT/FM)]
                                          │
                                          ↓
                                   连续动作 a_t:t+H

VLM 不输出任何文字——它的最后几层的隐藏状态（高维向量，如 2048 维）直接被 action head 读取。整个过程中没有"文字"这个中间产物。这是 π0、StarVLA 全系列、ImageWAM、OpenVLA 等大多数 VLA 的做法。

② 文本推理型(CoT)

图像 + 指令 ──→ [VLM backbone] ──→ 文字 token: "First pick up soup, then place in basket"
                                          │
                                          ↓ (文字 token 作为额外 context)
                                   [Action Head]
                                          │
                                          ↓
                                   连续动作 a_t:t+H

VLM 先生成一段文字规划(CoT)，然后 action head 以这段文字为条件预测动作。DWYS/SEAL 就是这种——先生成 textual plan，再验证动作是否和 plan 对齐。

③ 混合型（π0.5 / π0.7 / KI-VLA）—— 关键细节

图像 + 指令 + 状态 ──→ [统一 Transformer f]
                              │
                    输出序列: [y1, y2, ..., yM, yM+1, ..., yM+H]
                              │          │              │
                              ↓          │              ↓
                    前M个: text logits   │      后H个: action expert tokens
                    → 解码成文字 ℓ̂       │      → 线性映射 → 连续动作 a_t:t+H
                    (subtask标签)        │
                    如"pick up the       │
                     cutting board"      │
                              │          │
                              └──────────┘
                    推理时: 先生成subtask文字 → 再conditioned on它生成动作

图像+指令 → [VLM] → hidden states → [Action Head] → 连续动作
                    (向量,不是文字)

图像+指令 → [VLM] → 文字 token (subtask/plan) → [拼回序列作为条件]
                                                        ↓
                          图像+指令+文字+状态 → [Action Head] → 连续动作

类型1(视频WAM):  图像+指令 → [Video DiT] → 未来视频帧 → [IDM/decoder] → 动作
类型2(图像编辑WAM): 图像+指令 → [Edit Model] → KV cache(不解码图!) → [Action Expert] → 动作
类型3(subgoal):  图像+指令 → [World Model] → subgoal图像 → [低层策略] → 动作

图像+指令 → [VLM + Depth] → 3D表征 → [Trajectory Predictor] → SE(3)轨迹
                                                                    ↓
                                           [Action Decoder] → 可执行动作(joint/EEF)

Step 1: Transformer 自回归生成前 M 个位置 → 解码成 subtask 文字
        例: "pick up the cutting board"
        ↓ (这些 token 拼回序列作为 context)
Step 2: Action expert 接收 (图像 + 指令 + subtask文字 + 状态) → 输出连续动作 chunk
        [dx, dy, dz, rx, ry, rz, grip] × H 步

核心问答：仿真 benchmark 测试 = 在 benchmark 数据上后训练吗？

OOD benchmark 的特殊训练协议(别踩坑)

LIBERO-Plus / LIBERO-PRO 这类 OOD 套件，训练协议和标准 benchmark 不同：

所以：标准 benchmark 高分 = 会做这个任务(IID)；OOD benchmark 高分 = 换相机/换物体/换指令还能做(真泛化)。看一个 VLA 强不强，要看后者。详见 starVLA 数据集页(含 LIBERO-Plus vs PRO 对比)。

OOD 评测协议完整总览：各 Benchmark 及其变体含义 🟢论文核对

下面系统整理目前 VLA 领域所有主流 benchmark 的"标准(IID)"和"OOD"变体，逐一解释含义、训练协议、以及哪些论文用了它。

① LIBERO 系列

LIBERO(UT Austin）= 130 个桌面操作任务，分 4 个 suite(Spatial/Object/Goal/Long)，每套 10 任务 × 50 条遥操作演示。评测 = 在同任务新初始化上 rollout(IID)。

② RoboTwin 2.0 系列

RoboTwin 2.0（上海 AI Lab）= 50 个双臂操作任务。数据分两种采集环境：

③ SimplerEnv 系列

SimplerEnv（UCSD/Google）= 在仿真里复现真机策略表现的评测平台，有 WidowX 和 Google Robot 两种机器人。关键是两种评测协议：

使用论文：StarVLA, CogACT, SpatialVLA, π0, GR00T N1.5, Magma 等。VM 分数通常高于 VA。

④ CALVIN 系列

CALVIN（Freiburg 大学）= 34 个长程语言条件操作任务，Franka 机器人 + PyBullet 仿真。4 个环境(A/B/C/D)代表不同场景布局。

D 环境的场景布局与 A/B/C 不同（桌面物体摆放/颜色不同），模型从未在此环境训练过。ABC→D 是引导类方法（DynaGuide/VLS）的天然测试场——它们不微调 base policy，而是在推理时引导冻结策略适应新场景。

⑤ RoboCasa-GR1

RoboCasa-GR1（UT Austin + NVIDIA）= 24 个人形机器人桌面任务，比 LIBERO 难得多（涉及开关柜门/微波炉 + 物体放置组合）。目前只有标准(IID)评测协议——在全部 24 任务上训练一个模型，每任务 50 rollouts 统计成功率。暂无官方 OOD 变体。

使用论文：StarVLA, GR00T N1.6, π0.5。

总结：OOD 评测协议统一范式

完整论文×Benchmark 对照表(OOD 评测) 🟢PDF批量核对(233篇)

以下表格来自对本地 203 个论文目录、233 篇 PDF(含软链接)的批量全文检索。共 77 篇做了 OOD/鲁棒性评测。

仅 IID 仿真 / 仅真机评测的论文 🟢PDF核对(233篇)

以下论文不做 OOD 仿真评测——只做标准(IID)仿真、只做真机、或为综述/预训练数据类。

仅 IID 仿真评测(无 OOD 协议，9 篇)

仅真机评测(无仿真 benchmark，74 篇)

以下工作只在物理机器人上评测，不使用 LIBERO/RoboTwin 等仿真 benchmark。主要分布在：触觉/力控操作、视觉伺服、插装、灵巧手、真机 RL 等领域。

Benchmark 热度排行(被多少篇 OOD 论文使用)

时间鱼骨图 ①：各 Benchmark 发布时间线

时间鱼骨图 ②：本地 201 篇论文发布年份分布

按 Benchmark 分组：哪些论文在用？怎么用的？ 🟢233篇PDF全文检索

每个 benchmark 被哪些论文使用、具体怎么用(训练协议)。标🟢的协议已从论文原文精确核对；标🔍的为自动检测(regex)结果,需查原文确认。

LIBERO 系列(35 篇)

ALOHA(28 篇)

RoboTwin 2.0(19 篇，含 6 篇同时引原版 Mu et al.)

CALVIN(17 篇)

RoboCasa(15 篇) / SimplerEnv(9 篇) / RLBench(10 篇)

其余 Benchmark

贯穿各阶段的"防遗忘"：协同训练

无论预训练还是后训练，只要在动作数据上训 VLA，VLM 的语言视觉能力就会退化(VLA→VA 退化)。解法是协同训练(co-training)：动作数据里掺入 VLM 数据(VQA/grounding)一起训。这是"训练方式"里和阶段划分正交的一条主线，详见 协同训练 & KI tab。

各模型训练 Pipeline 横向对比 🟢论文核对

把主流 VLA 的"三阶段"逐模型拆解。关键信息：哪些做了 VLA 预训练(P.T.)、用了哪些数据。

"不做 VLA 预训练"的工作怎么跑？ 🟢论文核对

跳过阶段②、不做大规模跨本体预训练的工作，其训练 pipeline 和"基础模型"类有何本质区别？

端到端复现流水线：从零到刷出 LIBERO 96.6% 🟢仓库核对

以 StarVLA-OFT (Qwen3-VL) 在 LIBERO 上的 96.6% 为例，完整拆解"我要复现这个数字，具体跑什么"。所有路径/命令来自仓库 examples/LIBERO/。

Step 0: 环境准备

# StarVLA 环境
git clone https://github.com/starVLA/starVLA.git && cd starVLA
pip install -e .   # 或按 README 的 conda 指引

# LIBERO 仿真环境(评测需要)
# → 官方 LIBERO 仓库，推荐 Python 3.10
pip install tyro matplotlib mediapy websockets msgpack
pip install numpy==1.24.4 mujoco==3.2.3

Step 1: 下载数据集

# 从 HuggingFace 下载 4 个 suite 的 LeRoBot 格式数据(已去 no-ops)
export DEST=playground/Datasets/LEROBOT_LIBERO_DATA
bash examples/LIBERO/data_preparation.sh
# 实际下载：IPEC-COMMUNITY/libero_{spatial,object,goal,10}_no_noops_1.0.0_lerobot

Step 2: 下载 VLM 权重

# Qwen3.5-VL(或 Qwen2.5-VL / Qwen3-0.8B 等，按 config 指定)
# 放到 playground/Pretrained_models/Qwen3.5-VL
huggingface-cli download Qwen/Qwen3.5-VL --local-dir playground/Pretrained_models/Qwen3.5-VL

Step 3: 训练(后训练/SFT)

# 关键配置在 examples/LIBERO/train_files/starvla_cotrain_libero.yaml
# 训练脚本(自动检测 GPU 数)：
export NUM_PROCESSES=8  # 8× A100
accelerate launch \
  --config_file starVLA/config/deepseeds/deepspeed_zero2.yaml \
  --num_processes 8 \
  starVLA/training/train_starvla.py \
  --config_yaml examples/LIBERO/train_files/starvla_cotrain_libero.yaml \
  --framework.name QwenOFT \
  --framework.qwenvl.path playground/Pretrained_models/Qwen3.5-VL \
  --data.data_root playground/Datasets/LEROBOT_LIBERO_DATA \
  --data.data_mix libero_all \
  --output_dir playground/Checkpoints/libero_qwen3oft
# 训练约 30K 步(~9.5 epochs, per-device batch 16)即可达最佳
# 每 10K 步自动存 checkpoint + 可选 periodic 评测

Step 4: 评测(在仿真里 rollout)

# 启动 model server(GPU 侧)
python deployment/model_server/server_policy.py \
  --ckpt_path playground/Checkpoints/libero_qwen3oft/checkpoint-30000

# 启动 LIBERO 评测(另一终端, LIBERO conda 环境)
python examples/LIBERO/eval_files/eval_libero.py \
  --suite spatial --num_episodes 50
# 对 4 个 suite 各跑 500 trials(10 任务 × 50 episodes)
# 报告 success rate → 预期: Spatial ~97.8, Object ~98.6, Goal ~96.2, Long ~93.8, Avg ~96.6

Step 5: 解读结果