周苍田

任务背景：多格口 × 多笼车的复杂分拣

京东物流单臂需同时服务 2+ 分拣格口 × 4 笼车，每个相机只能看到局部场景，跨视角互补观测是核心挑战。

方案一：EDA 数据扩增（2k → 2.6w）

原始人工标注仅 2000 条，直接 SFT 严重不足。设计三阶段数据扩增：

方案二：GCR Loss — 强制利用全局多图上下文

SFT 易让模型只看单图作答。引入 Global Context Ranking Loss：要求"含全部视角"的输入比"含部分视角"产生更高的指令相似度，零推理开销。

在线三维装箱 + 物理稳定性约束

包裹逐个到来，每步决策放入笼车最优位，最大化体积利用率同时避免倒垛。难点：变长动作空间 + 真实物理稳定性 + sim2real gap。

GAT 编码器 + ACKTR Actor-Critic

MDP 设计

• State：已装包裹 + 候选位 + Next Item 尺寸
• Action：从 EMS 候选位选一个（+朝向）
• Reward：成功→体积；倒垛→终止清零

跨本体 Co-Train：piper + DOS-W1 混训

自采 piper 数据与 DOS-W1 数据融入 π0.5 跨臂型混训，核心是 UnifiedEEF 动作空间对齐——EEF 增量从基座坐标系变换到相机坐标系，确保同一物理运动跨数据集数值接近。

子模块消融

Memory 多尺度记忆 arxiv:2603.03596 ↗

5 帧历史 + SigLIP 每 4 层 ViT 插时间注意力。真机总成功率 86.5% → 88.5%（+2.0 个百分点），复杂任务收益明显。

FAST CE vs 纯 Flow Matching arxiv:2505.23705 ↗

KI 梯度隔离防 FM loss 污染 VLM。结论：多任务场景 FAST CE 相较纯 FM 未见整体收益，多数任务 MSE 上升——精细连续控制下 FM 更稳健。

RoboChallenge Table30-v2 打榜

任务：预测未来 120 帧视觉场景

输入首帧 RGB + 动作轨迹 + 文字指令，世界模型预测未来场景（PSNR / SSIM / LPIPS / FVD）。基础模型 Wan2.2-TI2V-5B，引入光流作为显式 Motion Prior。

原实验结构：RGB 分支 + Flow 分支，注入 Text / Proprio 条件，经过 30 层 Joint Self-Attention 生成未来帧。

RGB–Optical Flow 双流 DiT

• RGB 分支：处理外观语义，Cross-Attention 注入文字（UMT5）+ 14D 本体状态（→MLP→121 token）
• Flow 分支：独立 patchify + RoPE，与 RGB token 拼接后联合过 Self-Attention
• 训练用 GT Flow，推理置零：靠训练学到的"动作→运动"隐式映射生成画面
• 后处理：SeedVR2 超分 + 时序下采样（121→40/20 帧）提升画质

WorldArena 2.0 · Track1 排名 5 / 30

超过 25 支参赛队伍，Track1 排名第 5。光流显式编码机器人运动场，比让 RGB 隐式学运动更高效。