LAP — 把低层动作写成自然语言，支撑零样本跨本体迁移

论文真正解决的问题

LAP 把问题定义为：VLA 的“动作监督形式”本身阻碍跨本体泛化。一个 VLM 本来擅长语言、视觉语义和图文推理；如果让它输出 learned tokenizer 的离散码、连续向量或本体特定动作 token，就把动作学习放在了 VLM 预训练分布之外。

为什么这不是普通数据增强

LAP 的 language-action 不是为了给轨迹多一个 caption，而是作为训练接口：VLM backbone 被监督去输出“动作语义”，action expert 再用 flow matching 输出高频连续动作。它把“动作该如何表达”变成一个训练范式问题。

Language-Action 如何生成

LAP 利用机器人数据天然有 end-effector trajectory 的结构，不靠人工逐条标注。它对 action chunk 的累计位移做确定性解析，再用固定模板表达成自然语言。

数据混合与归一化

论文训练 mixture 里 DROID 占比最高，因为它任务覆盖广、环境多样；MolmoAct 占 1.73%。代码中由 OXEDatasets 读取 mixture、计算全局统计，并对 state/action 做 bounds_q99 归一化。

模型结构：PaliGemma backbone + action expert

论文说 LAP 可以接任何 VLM-based policy；实际系统 LAP-3B 用 PaliGemma-3B 初始化 VLM backbone，并沿用 π0.5 的 Mixture-of-Transformers 思路：一个 VLM expert 负责 image/text/language-action，另一个 action expert 负责 continuous action flow matching。

observation images ─► SigLIP image encoder ─┐
task prompt + discrete state ─► tokenizer ─┤
language-action tokens ─► causal CE loss ──┤
                                            ├─► PaliGemma / Gemma MoT backbone
noisy action chunk + τ ─► action suffix ───┘
        └─► action expert velocity field ─► continuous action chunk

关键注意力规则：image/prompt/state 是 prefix；language-action tokens 自回归；action expert 对 prefix 全注意，但不能 attend 到 language-action tokens。这样避免 raw action 和 language-action 互相偷看。

推理为什么不慢

如果真实机器人控制时每步都让 VLM 自回归生成一句 language-action，再解析成动作，会很慢。LAP 的做法是：language-action 主要用于训练 VLM 表征；部署时走 flow-matching action expert 直接采样连续动作，因此达到实时控制。

训练目标

L_CE 监督 VLM 生成 language-action；L_flow 监督 action expert 从噪声到真实 action chunk 的速度场。

训练命令

# 安装
GIT_LFS_SKIP_SMUDGE=1 uv sync
GIT_LFS_SKIP_SMUDGE=1 uv pip install -e .

# GPU 上训练 LIBERO fine-tune
JAX_PLATFORMS=cuda uv run --group cuda scripts/train.py lap_libero \
  --exp-name=lap_libero \
  --data.rlds_data_dir=<your_data_dir>

# 大规模 LAP 预训练配置入口
uv run scripts/train.py lap --exp-name=lap_pretrain \
  --data.rlds_data_dir=<oxe_data_dir>

代码训练入口是 scripts/train.py：初始化 JAX/FSDP mesh、加载 partial weights、构造 TrainState、读取 RLDS/VQA mixture、运行 train step 并保存 checkpoint。

代码地图

代码核心 1：模型初始化

# src/lap/models/lap.py
class LAP(_pi0.Pi0):
    def __init__(self, config, rngs):
        paligemma_config = _gemma.get_config(config.paligemma_variant)
        action_expert_config = _gemma.get_config(config.action_expert_variant)
        llm = _gemma.Module(configs=[paligemma_config, action_expert_config],
                            stop_action_to_vlm_grad=config.stop_action_to_vlm_grad)
        self.action_in_proj = nnx.Linear(config.action_dim, action_expert_config.width)
        self.action_out_proj = nnx.Linear(action_expert_config.width, config.action_dim)
        self.PaliGemma = nnx.Dict(llm=llm, img=SigLIP(...))

这证明 LAP 是 OpenPI/π0 系结构，不是单独搭一个 PyTorch transformer。

代码核心 2：语言动作 CE 和 action loss 共存

# src/lap/models/lap.py
if self.enable_langact_training:
    lang_loss = self._compute_language_loss(observation, pre_logits[0])
if self.enable_action_training:
    action_loss = self._compute_action_loss(pre_logits[1], suffix_inputs["u_t"])
total_loss = language_loss_weight * lang_loss + action_loss_weight * action_loss

实际代码还有 VQA/prediction mask、per-dataset VQA loss weights、verbose token accuracy 等工程细节。

代码核心 3：language-action 格式与解析

# src/lap/policies/lang_action_formats.py
VERBOSE_EEF_WITH_ROTATION_FORMAT = LanguageActionFormat(
    name="verbose_eef_with_rotation",
    style="verbose",
    include_rotation=True,
    use_eef_frame=True,
)

# parse: move left/right/forward/back/up/down + cm
# parse: tilt/rotate + degrees
# parse: open gripper / close gripper

这对应论文的模板化动作语言。重要点是它可逆：训练时把动作转语言，调试或 AR 路径可以把语言动作再解析回 delta。

代码核心 4：attention mask 是 LAP 稳定性的关键

LAP 不是把 language-action tokens 和 raw action suffix 随便拼一起训练。代码里显式构造了两套 prefix mask：一套给 language-action CE，一套给 action expert。action expert 可以看 image/prompt/state，但不能看 language-action tokens，避免连续动作预测直接“偷看”语言动作答案。

# src/lap/models/lap.py
def _build_prefix_action_mask(prefix_mask, observation):
    # language-action tokens are removed from the prefix visible to action expert
    langact_mask_full = concat(zeros_for_image_tokens, tokenized_langact_mask)
    return prefix_mask & (~langact_mask_full)

def _build_combined_attention_mask(...):
    # prefix: image/prompt bidirectional; langact causal
    # suffix/action rows: attend to image+prompt, not langact
    combined[:prefix_len, :prefix_len] = prefix_attn
    combined[prefix_len:, :] = action_mask

这和论文 Appendix B.7 的 attention mask 描述一致：prefix tokens 双向注意；language-action tokens 自回归；action expert 全自注意并 attend prefix，但不 attend language-action tokens。

代码核心 5：数据流从 RLDS 到模型 batch

RLDS datasets
  └─► dataset registry / dataset config
      └─► OXEDatasets
          ├─ instantiate each dataset
          ├─ compute global state/action statistics
          ├─ normalize with bounds_q99
          ├─ weighted interleave by mixture weights
          └─ prepare_batched_dataset
                ├─ resize image to 224×224
                ├─ augment robot images
                ├─ build prompt + language_action
                └─ pad state/action to model dims

代码里的 TrajectoryOutputBuilder 统一输出字段：observation、actions、language_action、language_instruction、dataset_name、raw_state 等。VQA 样本也被包装成相同风格，只是 action 用零填充、is_vqa_sample=True。

代码核心 6：sample_actions 的推理语义

虽然本页没有逐行展开完整 sample_actions，但代码结构清楚：推理时先用同一套 image/prompt/state transforms 构造 observation，再由模型从噪声动作出发，用 action expert 的 velocity field 迭代得到 action chunk。输出还要经过 Unnormalize 和 robot-specific output transforms。

policy.infer(request)
  └─► input transforms
      ├─ inject default prompt
      ├─ normalize image/state
      └─ tokenize prompt/state
  └─► model.sample_actions(...)
      ├─ initialize noisy action chunk
      ├─ run flow/ODE steps
      └─ output normalized actions
  └─► output transforms
      ├─ unnormalize with checkpoint assets
      ├─ robot-specific action conversion
      └─ return actions to websocket client

复现时最容易错的地方不是模型 forward，而是 checkpoint 的 normalization stats、action convention、gripper inversion、replan_steps 是否和训练保持一致。

从 insight 到实施：LAP 代码给我们的真实启发

LAP 最有价值的工程 insight 是：不要只把 language-action 当数据字段，而要把它做成贯穿 data transform、tokenizer、attention mask、loss、policy serving 的一整条接口。如果只在数据集里多存一句 “move left 5 cm”，但训练时不控制 mask、不控制 loss、不接入 action expert，那就只是 caption augmentation。

如果基于 LAP 做新工作，最稳的实施路径

1. 先不要改模型结构。先复用 LAPConfig、CoTInputs、PaligemmaTokenizer 和 policy server，保证原 LAP/LIBERO 跑通。
2. 新增数据字段，而不是改原字段。例如增加 candidate_language_action、preference_label、negative_type、stage，保留原 language_actions。
3. 新增 sample handler。参考 RobotSampleHandler / PredictionSampleHandler，写 PreferenceSampleHandler，把正负动作格式化为统一 prompt。
4. 新增 tokenizer mask。正负候选、答案、解释 token 要有独立 mask；不要让 action suffix attend 到答案。
5. 在 compute_loss 中加 preference 分支。不要混在普通 lang_loss 里，否则无法做消融和权重控制。
6. 推理时接到 action selection。至少做 candidate reranking：LAP flow action expert 生成 N 个候选，CLAP scorer/rejection head 选择或拒绝。
7. 评估必须 rollout。offline ranking 只能作为诊断，最终要看 LIBERO/MetaWorld/自定义 counterfactual rollout 成功率和错误类型下降。

建议新增的代码文件

src/lap/policies/transforms/preference_handler.py
  # 处理 positive / negative language-action preference 样本

src/lap/models/preference_head.py
  # 可选：从 prefix representation 输出 action suitability score

src/lap/training/preference_losses.py
  # pairwise ranking / DPO-style / binary rejection loss

src/lap/datasets/preference_dataset.py
  # 从 LIBERO/DROID/LAP action format 构造 hard negatives

scripts/eval_preference.py
  # offline: ranking accuracy / negative type breakdown

scripts/libero/eval_counterfactual.py
  # rollout: wrong-object / wrong-stage / wrong-direction tasks

CLAP / action rejection 的最小实验闭环

Real Robot 部署链路

官方部署采用 server-client：GPU 机器上跑 JAX policy server，机器人控制端通过 OpenPI client 发送图像/state/prompt，请求 action chunk。

# 下载 checkpoint
hf download lihzha/LAP-3B --local-dir ./checkpoints/lap

# 启动策略服务器
JAX_PLATFORMS=cuda uv run --group cuda scripts/serve_policy.py --env=LAP

# DROID 控制端
python scripts/real_robot/droid_main.py \
  --external_camera=right \
  --left_camera_id=<left> --right_camera_id=<right> --wrist_camera_id=<wrist>

LIBERO 评测链路

# 终端1：server
JAX_PLATFORMS=cuda uv run --group cuda --active scripts/serve_policy.py \
  policy:checkpoint --policy.config=lap_libero \
  --policy.dir=checkpoints/LAP-3B-Libero --policy.type=flow

# 终端2：sim
source scripts/libero/.venv/bin/activate
export LIBERO_CONFIG_PATH=$PWD/third_party/openpi/third_party/libero
python scripts/libero/main.py --task_suite_name=libero_spatial

scripts/libero/main.py 默认每个 task 50 rollouts，replan every 5 steps，读取 base/wrist image，向 server 请求 action chunk，再执行 OSC_POSE 控制。

部署排错清单

评测协议矩阵：作者到底测了什么

Zero-shot 跨本体实验

LAP 在 4 类机器人本体上评测：DROID 是训练中见过的本体；Custom Franka、YAM、Kinova 是未见本体。任务包括 pick-place、sort、tissue、put towel、pour 等，覆盖长时序、变形物体、旋转控制和 6-DoF 操作。

Fine-tuning 效率

LIBERO 完整表格中的位置

注意：LAP 的核心卖点不是 LIBERO 排第一，而是跨本体 zero-shot 和 fine-tune efficiency。LIBERO 主要证明它在常规 benchmark 上没有牺牲能力。

实验协议细节

• Zero-shot real robot：每个任务 20 trials，随机物体摆放；成功是 binary full-task success，不用部分成功。
• 未见本体：Custom Franka、YAM、Kinova 的 gripper、camera placement、DoF、control interface 均与训练分布不同。
• 评测任务设计：Pick-and-Place 测 gripper/camera 泛化；Sort 测长时序；Tissue/Put Towel 测 deformable/flat object；Pour 测旋转和 primitive sequencing。
• 统计口径：论文报告 95% finite-sample valid confidence intervals，不用普通 rollout std 代替。
• baseline 公平性：π0/π0.5/VLA-0 replicated 使用同样 data mixture、采样策略和架构，只换 action representation 或训练接口。

为什么 VQA co-training 能接上 LAP

LAP 的语言动作格式天然可作为 VQA answer。论文构造 motion-prediction VQA：给两帧图像，问“机器人从第一帧到第二帧做了什么运动？”，答案就是 language-action。

代码中支持 enable_prediction_training、enable_vqa_training，并有 VQA dataset registry：COCO captions、VQAv2、LVIS/PACO/PixMo 等。这说明发布仓库已经把 VQA co-training 做成工程开关。

对后续课题的意义

LAP 证明“把 action supervision 放进语言空间”有迁移收益；VQA co-training 进一步说明：如果任务输出形式与 VLM 本来会的问答形式一致，就可以吸收更广泛的视觉语言数据。对 CLAP/VLMGuide 来说，这启发是：不要只造 robot-only 数据，可以把 action suitability / rejection 也设计成 VQA-like 监督。

LAP、LA4VLA、CLAP 的关系

局限

• 仍依赖坐标约定。language-action 的方向词必须与 base/eef frame 一致，否则会引入系统性错误。
• 高频控制仍由 action expert 承担。语言动作是低频语义抽象，不等于替代连续控制。
• 训练资源高。主结果需要 TPU v6e-64 和大规模 OXE/DROID 数据。
• 目前聚焦单臂操作。论文自己也提到 bimanual/触觉/更复杂本体是后续方向。
• 复现门槛来自 OpenPI/JAX/RLDS 生态。代码不是简单 PyTorch 脚本，数据和 checkpoint 管理要严格对齐。

复现建议

1. 先跑 lap_libero checkpoint 的 LIBERO eval，验证 server-client、图像预处理、action unnormalize 正确。
2. 再用小 batch/小数据 smoke train，确认 compute_loss 的 language/action loss 都正常下降。
3. 不要一开始复现 64 TPU 大规模预训练；先做 LIBERO 或一个自定义 RLDS 数据集。
4. 如果要做 CLAP，应复用 LAP 的 tokenizer/prompt/action format，而不是重写一套 action language。

自测题