企业官网建设流程全解析

论文标题：Cosmos Policy: Fine‑Tuning Video Models for Visuomotor Control and Planning
核心一句话：以预训练视频生成底座 Cosmos‑Predict2‑2B 为基础，不改动网络架构，仅单阶段微调；通过隐帧注入(Latent Frame Injection)把本体状态、动作块、未来观测、状态价值全部编码为扩散隐序列中的隐帧，实现单模型同时充当策略、世界模型、价值函数；仿真与真实双臂机器人ALOHA任务取得SOTA，利用rollout经验做best‑of‑N规划，可进一步提升12.5%任务得分。

一、研究背景与动机

领域现状

当前具身智能两大主流路线：

1. VLA（视觉‑语言‑动作模型，π₀.₅、OpenVLA）：基于静态图文预训练VLM，再接动作头做微调；擅长语义理解，但缺少时序物理、运动交互的原生先验。
2. 视频基础模型做机器人策略：海量互联网视频预训练，天然学到时序因果、隐式物理、物体交互动力学，对机器人低层操作任务非常有价值。

现有痛点

1. 已有的视频‑机器人策略大多是多阶段流水线：先微调视频模型，再额外新增独立动作解码器/逆动力学模块，架构复杂，容易稀释视频预训练先验。
2. 部分工作训练统一视频‑动作模型，但从零初始化训练，无法复用大规模视频预训练权重，丢失时空先验。
3. 视频生成模型原生只处理图像序列，不支持机器人需要的本体感知、多相机输入、动作输出、价值预测；传统方案是新增编码器/解码器，引入大量新模块。
4. 仅靠专家演示训练的世界模型：样本大多是成功轨迹，分布狭窄，遇到失败场景预测不准，规划失效。

核心洞察：视频扩散模型本身擅长建模高维、多峰的复杂分布；既然它可以生成视频帧，那可以把动作、本体、价值全部伪装成隐空间视频帧，复用原生扩散去噪目标，不需要修改网络结构。

本文目标

1. 单阶段微调预训练视频模型，零架构改动得到机器人策略；
2. 同一个模型同时完成：动作生成（策略）、未来状态预测（世界模型）、回报预测（价值函数）；
3. 利用机器人自执行rollout数据精修世界模型与价值函数，实现测试时模型‑based规划。

二、方法详解

底座：Cosmos‑Predict2‑2B‑Video2World，隐空间视频扩散模型；Wan2.1时空VAE做压缩，EDM去噪损失。
L(Dθ,σ)=Ex0,c,n[∥Dθ(x0+n;σ,c)−x0∥22] L(D_{\theta}, \sigma)=\mathbb{E}_{x_{0}, c, n}\left[\left\|D_{\theta}(x_{0}+n ; \sigma, c)-x_{0}\right\|_{2}^{2}\right]L(Dθ​,σ)=Ex0​,c,n​[∥Dθ​(x0​+n;σ,c)−x0​∥22​]

1. 核心创新：隐帧注入 Latent Frame Injection

视频VAE输出隐帧维度H′×W′×16H' \times W' \times 16H′×W′×16。

• 在图像序列中插入空白占位图片，经过VAE编码得到空白隐帧；
• 将本体 proprio、动作块 action‑chunk、标量价值V做归一化[−1,+1][-1,+1][−1,+1]，复制铺满整个空白隐帧体积，直接覆盖占位隐帧；
• 多相机图像直接在图像序列层插入不同视角。

完整隐序列结构：[s, a, s′, V(s′)]\boldsymbol{[s,\ a,\ s',\ V(s')]}[s,a,s′,V(s′)]

• sss：当前观测（多相机图像 + 当前本体状态）
• aaa：待生成动作块
• s′s's′：未来状态（未来多相机图像 + 未来本体）
• V(s′)V(s')V(s′)：未来状态价值（蒙特卡洛折扣回报）

关键点：完全不修改Transformer/Diffusion网络，只在VAE前后做模态包装和解包装。推理时反向操作，从生成的隐帧中还原动作、本体、价值，不需要VAE图像解码。

以ALOHA双臂机器人（腕部+2个第三人称相机）为例，隐序列共11个隐帧。对于相机更少的机器人，可以直接删减对应帧，这套机制具备硬件灵活适配性。

2. 一套权重，三种功能：条件掩码实现联合训练

不需要三个独立网络，依靠哪部分做条件、哪部分做待去噪目标，同一个Diffusion Transformer就可以切换为三种功能。训练batch做比例划分：

1. 50%样本：训练策略p(a,s′,V(s′)∣s)\boldsymbol{p(a,s',V(s')|s)}p(a,s′,V(s′)∣s)：条件=当前状态sss；目标=[a,s′,V(s′)][a,s',V(s')][a,s′,V(s′)]；策略不光预测动作，同时预测未来状态与价值（辅助监督，带来性能增益）。
2. 25%样本：训练世界模型p(s′,V(s′)∣s,a)\boldsymbol{p(s',V(s')|s,a)}p(s′,V(s′)∣s,a)：条件=KaTeX parse error: Can't use function '\(' in math mode at position 1: \̲(̲[s,a]\)；目标=[s′,V(s′)][s',V(s')][s′,V(s′)]。
3. 25%样本：训练价值函数p(V(s′)∣s,a,s′)\boldsymbol{p(V(s')|s,a,s')}p(V(s′)∣s,a,s′)：条件=[s,a,s′][s,a,s'][s,a,s′]；目标=V(s′)V(s')V(s′)。

解码两种模式：

• 并行解码（纯策略部署）：全部目标帧并行去噪；只取出动作块执行，丢弃未来状态、价值；速度快，不需要规划时使用。
• 自回归解码（规划部署）：依次生成aaa→s′s's′→V(s′)V(s')V(s′)；质量更高，用于模型‑based规划。

3. Rollout经验精炼 + 双模型部署（规划能work的关键工程）

仅用专家演示得到的世界模型只能见过成功轨迹，分布外预测很差。

1. 在环境中运行策略，收集rollout轨迹（包含成功+失败样本）；
2. 在rollout数据集上二次微调：90%batch用于世界模型+价值，仅10%用于策略更新；
3. 双模型分开使用：
   • 原始checkpoint：策略模型，专门采样候选动作；
   • rollout精修后的checkpoint：规划模型，专门预测未来状态与价值。

价值函数两种模式，通过输入掩码切换：

• V(s′)V(s')V(s′)：需要世界模型先预测未来状态，model‑based规划（本文主方案，效果更好）
• KaTeX parse error: Can't use function '\(' in math mode at position 1: \̲(̲Q(s,a)\)：掩码掉未来状态，直接从当前状态+动作预测价值，model‑free规划，效果弱。

4. Best‑of‑N 测试时规划流程

1. 从策略模型采样N个候选动作块；
2. 使用规划模型，对每个候选动作预测未来状态、价值；为抗噪声，每个动作做3次世界模型集成，每个未来状态做5次价值预测；
3. **多数均值(majority mean)**聚合价值：先判断多数样本预测成功/失败，仅在该组别内取平均，抑制异常值；
4. 选择价值最高的完整动作块直接执行。

规划会带来推理开销，文中用多GPU并行加速搜索。

5. 工程细节：噪声分布修正

原生Cosmos视频模型使用对数正态噪声分布，对图像生成友好；但机器人动作生成需要高σ噪声区间的训练信号。

• 训练噪声：70%原始对数正态，30%均匀分布KaTeX parse error: Can't use function '\(' in math mode at position 1: \̲(̲U[1,85]\)；
• 推理最小噪声下限设置σmin=4\sigma_{min}=4σmin​=4，而不是接近0，提升动作预测精度。

三、核心实验结果

仿真Benchmark结果

LIBERO仿真基准

RoboCasa仿真基准（每任务仅50条人类示教，对比其他方法300~3000条）

数据效率突出，更少示教取得更高性能。

真实机器人ALOHA双臂实验

4项双臂任务：放物体到盘子、叠衬衫、糖果入碗、糖果进密封袋；其中后两项任务需要高多模态抓取、毫米级精密操作。

• 无规划直接策略：综合得分93.6，超过π₀.₅、OpenVLA‑OFT+；
• 开启model‑based规划：两个最难任务平均得分提升**+12.5**。

失败模式对比：π₀.₅抓密封袋容易滑脱；OpenVLA‑OFT+在多峰动作任务容易落在两个目标中间；Cosmos Policy对多峰动作分布建模更好。

消融实验

在实机叠衬衫任务，从头训练版本直接掉到80.8，动作抖动，甚至有损伤机器人风险。

关键发现：

1. 视频预训练时序‑物理先验，对机器人低层操作价值巨大；
2. 策略训练时带上未来状态、价值做辅助监督，免费提升性能；
3. model‑based规划(V(s′)V(s')V(s′))显著优于model‑free的KaTeX parse error: Can't use function '\(' in math mode at position 1: \̲(̲Q(s,a)\)；rollout收集失败样本是规划有效的必要条件。

四、核心亮点洞察

1. 隐帧注入 Latent Frame Injection范式：不需要新增网络模块，把本体、动作、价值全部伪装成隐帧塞进视频扩散序列，零架构改动复用视频大模型。这个思路可以迁移到其他生成底座。
2. 单模型三合一：同一个Diffusion Transformer同时是策略、世界模型、价值函数，靠条件掩码切换角色，权重高度共享，架构极简。
3. 双模型部署巧思：原策略模型负责采样，rollout精修的checkpoint专门做规划；解决演示数据集缺少失败案例，世界模型分布偏移的痛点。
4. 极强的数据效率：RoboCasa只用50条示教击败数百条示教的SOTA，视频预训练降低对机器人示教数据的依赖，对真实机器人昂贵的数据采集场景很友好。
5. 实机上体现视频模型的优势：在高多峰、高精度双臂操作任务，优于基于静态图文VLM的VLA模型。

五、局限与未来工作

1. 规划推理延迟高：best‑of‑N规划模式单次动作块推理约5秒，难以用于高动态实时任务；如何加速搜索是重要方向。
2. 规划依赖rollout数据：想要世界模型在分布外预测准确，必须收集大量包含失败的rollout；减少rollout样本需求是未来方向。
3. 当前仅预测ttt和KaTeX parse error: Can't use function '\(' in math mode at position 1: \̲(̲t+K\)两个时刻，没有长时序多步未来预测；可以扩展更长预测视界，做深度树搜索规划。
4. 输入不利用历史观测序列；只看当前时刻观测，长时序记忆能力存在上限。

六、相关工作横向对比

• 和VLA（π₀、X‑VLA）：底座来源不同，Cosmos Policy来自视频时序预训练，VLA来自静态图文预训练；Cosmos Policy原生内置可规划的世界模型。
• 和其他视频机器人策略：避免多阶段流水线，不新增动作子网络，完全复用预训练视频模型权重。
• 和Dreamer：Dreamer多模块从头训练；Cosmos Policy复用大规模互联网视频预训练先验，单模型三合一。

七、科研启发

1. 视频世界模型是VLA之外重要的具身底座路线：静态图文VLM强在语义，视频预训练强在时序动力学、物理交互；低层灵巧操作任务，视频底座有独特优势。
2. 模态适配不一定需要新增网络层：隐帧注入提示我们，可以把异构模态包装进原有生成模型原生表示空间，而不是无脑加adapter、加头。
3. 仅专家演示不足以训练好用的世界模型；必须引入rollout失败样本，否则规划模块会过度乐观。
4. 辅助监督不一定只限于动作；预测未来状态、回报作为附加目标，是低成本提升策略性能的手段。

评分

• 新颖性：⭐⭐⭐⭐⭐（隐帧注入范式，单模型三合一，零改动复用视频大模型）
• 实验充分度：⭐⭐⭐⭐⭐（LIBERO、RoboCasa仿真 + ALOHA真实双臂，大量消融，失败模式分析）
• 写作质量：⭐⭐⭐⭐（核心机制清晰，部分工程细节放在附录）
• 价值：⭐⭐⭐⭐⭐；开源代码、模型、数据；为视频基础模型做机器人策略提供完整基线。

如果你需要，我可以输出：

1. Cosmos Policy与X‑VLA对比的Related‑Work可直接复制段落；
2. 该论文的精简读书笔记；
3. 基于Cosmos Policy可挖掘的创新点列表。