企业官网建设流程全解析

图 1。WorldCrafter 实现了稳定且由相机控制的探索体验。如重建的点云所示，该工具可在静态场景 (a) 与动态场景 (b) 中保持场景外观与结构的连贯性；受试者在离开并重新进入视野后仍能保持行为一致性©；用户还可仅凭文字描述生成并探索场景 (d)。

标题：《WorldCrafter: Consistent Video World Model with Implicit 3D-aware Memory》
来源：腾讯ARC；北京大学
链接：https://drexubery.github.io/WorldCrafter

摘要

WorldCrafter 是一个视频世界模型，旨在解决现有模型在长视野和跨视角下难以保持历史观察一致性的问题。该模型通过学习可查询相机的隐式 3D 感知内存，允许请求的视角决定如何将多视图证据压缩到视频生成器有限的 Token 预算中，从而实现从单张图像或文本提示进行流式场景探索。

一. 核心机制与模型架构

基础原理：模型基于 Latent Video Diffusion，使用 VAE 将视频映射到时空潜在空间，从而减少 Diffusion Transformer (DiT) 处理的 Token 序列长度。

块状自回归生成：为了生成变长视频，模型采用分块（Chunk-wise）自回归方法，将长视频分割为固定长度的块并顺序生成。

长视野条件化：为了实现长视野记忆和用户交互，标准自回归流被扩展，使得每个数据块的生成，都联合条件化于累积历史的记忆M \mathbf{M}M和目标相机轨迹C \mathbf{C}C。

相机条件化：使用 UCPE 的并行相机注意力分支（不直接干扰模型原有的自注意力机制，而是针对相机信息采用独立的 Query、Key 和 Value 投影进行注意力计算）实现相机条件化，该分支对独立的查询、键和值投影进行处理，并将其输出通过零初始化（ControlNet 中新加的0权重分支，相机分支权重逐渐更新）投影添加到原始自注意力中。

图 2. WorldCrafter 流程。在尚未具备任何历史信息时，DiT 视频生成器首先根据相机位姿生成首个帧块。在后续的推演步骤中，最大覆盖度历史检索模块基于当前相机位姿筛选潜在帧，记忆编码器则将这些帧映射为紧凑的三维感知表征。
位姿条件化记忆读取模块提取固定尺寸的记忆token，这些token与近期历史信息共同指导当前帧块的生成。生成的帧将被加入历史池，用于后续推演过程。

二. 内存编码与读取 (Memory Encoder & Readout)

内存写入 (Memory Writing)：内存编码器Φ \PhiΦ将累积的历史潜在帧z h \mathbf{z}^hzh及其对应的相机参数C h \mathbf{C}^hCh编码为一个隐式的 3D 感知表示R \mathbf{R}R（输入限制为固定数量的k kk个历史潜在帧），从而在不进行显式 3D 重建的情况下聚合几何与外观信息。
R = Φ ( z h , C h ) ∈ R ∣ z h ∣ L × d \mathbf{R} = \Phi(\mathbf{z}^h, \mathbf{C}^h) \in \mathbb{R}^{\vert{}\mathbf{z}^h\vert{} L \times d}R=Φ(zh,Ch)∈R∣zh∣L×d

最大覆盖历史检索：为了控制编码成本，模型贪婪地选择k − 1 k-1k−1个互补的历史帧，使其联合视场 (FoV) 最大限度地覆盖未来的相机轨迹上的目标区域，这比传统的基于成对 FoV 相似度排名的检索提供了更广的覆盖和更高的鲁棒性。

无姿态内存读取 (Pose-free Readout)：将表示映射为固定集合的内存 Token，不依赖即将到来的相机轨迹：
M = Readout ( Φ ( z s , C s ) ) \mathbf{M} = \text{Readout}(\Phi(\mathbf{z}^s, \mathbf{C}^s))M=Readout(Φ(zs,Cs))

姿态引导读取 (Pose-guided Readout)：采用一组从未来目标相机轨迹中采样的query poseC q ⊂ C \mathbf{C}^q \subset \mathbf{C}Cq⊂C来查询内存表示，将特征映射为固定数量的内存 Token。经验表明，这种姿态引导的读取方式比无姿态读取（Pose-free readout）能更有效地分配固定内存预算，从而提供更准确的相机控制。M = Readout ( Φ ( z s , C s ) , C q ) \mathbf{M} = \text{Readout}(\Phi(\mathbf{z}^s, \mathbf{C}^s), \mathbf{C}^q)M=Readout(Φ(zs,Cs),Cq)

三. 模型训练与实时交互蒸馏

四阶段训练：

• 微调 DiT 模型以适应修改后的推理窗口。
• 冻结 DiT 骨干，训练基于 UCPE 的相机条件分支以引入相机控制。
• 使用 VAE 潜在表示对内存编码器进行预热适应。
• 联合训练内存读取模块、内存编码器、视频 DiT 和相机条件分支，使其相互适应。

金字塔蒸馏 (Pyramid Distillation)：采用从粗到细的金字塔去噪方案，使用 3 个空间分辨率，每个分辨率 2 个去噪步骤，从而显著减少采样步骤。

混合蒸馏模型 (Hybrid Distilled Model，训练两个模型)：为了平衡视觉保真度和主体跟随能力，推理时模型融合了用于1.保留视觉细节的低噪声模型（最后一步去噪时使用）和用于2.保留主体跟随能力的高噪声模型（最开始的去噪步骤），使得 WorldCrafter 在 4-GPU 机器上能达到 16 fps 的生成速度。

四. 重要公式

1.潜在扩散的噪声与目标速度。在条件流匹配（Conditional Flow Matching）中，对于扩散时间t ∼ U ( 0 , 1 ) t \sim \mathcal{U}(0, 1)t∼U(0,1)和高斯噪声ϵ ∼ N ( 0 , I ) \epsilon \sim \mathcal{N}(\mathbf{0}, \mathbf{I})ϵ∼N(0,I)，加噪的潜在表示和其目标速度定义为：
z t = ( 1 − t ) z + t ϵ , v t ∗ = ϵ − z \mathbf{z}_t = (1 - t)\mathbf{z} + t\epsilon, \quad \mathbf{v}^*_t = \epsilon - \mathbf{z}zt​=(1−t)z+tϵ,vt∗​=ϵ−z
2.流匹配损失函数。给定文本条件y \mathbf{y}y，DiT 模型v θ \mathbf{v}_\thetavθ​通过最小化以下损失函数来预测速度：
L F M = E z , t , ϵ [ ∥ v θ ( z t , t ∣ y ) − v t ∗ ∥ 2 2 ] \mathcal{L}_{FM} = \mathbb{E}_{\mathbf{z}, t, \epsilon} \left[ \Vert \mathbf{v}_\theta(\mathbf{z}_t, t \mid \mathbf{y}) - \mathbf{v}^*_t \Vert_2^2 \right]LFM​=Ez,t,ϵ​[∥vθ​(zt​,t∣y)−vt∗​∥22​]

3.标准块状自回归生成流
给定文本条件y \mathbf{y}y和近期历史帧z r \mathbf{z}^rzr，标准自回归模型通过以下条件流演化当前潜在状态：
d z t d t = v θ ( z t , t ∣ z r , y ) \frac{\mathrm{d}\mathbf{z}_t}{\mathrm{d}t} = \mathbf{v}_\theta(\mathbf{z}_t, t \mid \mathbf{z}^r, \mathbf{y})dtdzt​​=vθ​(zt​,t∣zr,y)

4.扩展后的长视野自回归流。为了支持长视野内存和相机交互，生成过程进一步条件化于内存M \mathbf{M}M和目标相机轨迹C \mathbf{C}C：
d z t d t = v θ ( z t , t ∣ M , z r , C , y ) \frac{\mathrm{d}\mathbf{z}_t}{\mathrm{d}t} = \mathbf{v}_\theta(\mathbf{z}_t, t \mid \mathbf{M}, \mathbf{z}^r, \mathbf{C}, \mathbf{y})dtdzt​​=vθ​(zt​,t∣M,zr,C,y)

五. 实验

实验设置

评测基准 (Benchmark)：作者构建了一个专门用于评估长视野视频世界模型的记忆能力、相机控制精度和视觉质量的基准数据集。包含145张起始图像（覆盖83个动态以物体为中心的场景和62个静态场景）。

测试轨迹：每张图像配有5条度量尺度的相机轨迹（长度在528到1,648帧之间），这些轨迹包含闭环重访（closed-loop revisits），专门用于测试模型在长视野下是否能记住之前观察过的内容。

对比基线：将 WorldCrafter 及其蒸馏加速版本（WorldCrafter-fast）与 8 个近期的相机可控视频世界模型（如 DreamX-World, Lyra 2.0, SANA-WM 等）进行对比。所有生成视频在评估前统一调整为 640 × 384 分辨率。

记忆能力评估 (Memory Evaluation)

评估方法：通过对比“重访同一位置时生成的帧”与“首次访问该位置时的帧”的一致性来衡量记忆能力。

性能表现：在 MEt3R、LPIPS、PSNR 和 SSIM 四个指标上，WorldCrafter 及 fast 版本包揽了前两名。例如，相比 Lyra 2.0，WorldCrafter 将 LPIPS 从 0.487 降至 0.255，PSNR 从 14.050 提升至 18.016 dB。

定性分析：结合VGGT-Ω 提取的三维点云重建结果显示，WorldCrafter 的重访帧与首次观察高度吻合，生成的视频能够产生连贯的点云和对齐的相机姿态。

图 3. 静态场景中的定性长时域重访对比。各行分别展示首次观测结果、探索过程中的中间视图、匹配的重访结果，以及生成视频的点云重建结果。

图 4. 动态场景中的定性长时域重访对比。各行分别展示首次观测、探索过程中的中间视图、匹配的重访结果，以及生成视频的点云重建结果。

相机控制评估 (Camera Control Evaluation)

评估方法：每隔4帧采样一次视频，使用 VGGT-Ω 恢复相机轨迹，并进行对齐计算误差。

性能表现：在旋转误差 (RotErr)、平移误差 (TransErr) 和姿态矩阵差异 (CamMC) 三个指标上，WorldCrafter 均取得最低误差（即最高精度），fast 版本排名第三。

视觉质量评估 (Visual Quality Evaluation)

评估方法：使用 VBench 评估 8 个维度的视觉质量。

性能表现：模型在 8 个维度中赢得了 5 项最佳。WorldCrafter 获得了最高的综合得分（81.910），而 WorldCrafter-fast 在时间闪烁（Temporal Flickering）指标上表现最好，证明了其强大的场景一致性和时间连贯性。

表3. VBench平台上的视觉质量评估结果。评分基于725条生成视频在自定义输入模式下计算得出。SC、BC、TF、MS、AQ、IQ、DD及OC分别代表主体一致性、背景一致性、时间闪烁性、运动平滑度、美学质量、成像质量、动态程度及整体一致性；“总体”列显示VBench综合评分。蓝色渐浅色块依次标示最佳、次佳及第三佳结果。

消融实验 (Ablation Study)

在进行模型蒸馏前，对 WorldCrafter 核心组件进行了消融验证：

• 隐式 3D 感知记忆 vs. 上下文记忆：直接检索历史帧作为“上下文记忆”会降低重访一致性和相机控制能力。随着重访时间间隔的拉长，WorldCrafter 的误差增长明显更缓慢，长视野优势显著。

• 联合优化机制：与冻结记忆编码器相比，将记忆编码器与视频 DiT 进行联合优化（Co-adapt）能够更快收敛并取得更低的重访误差。

• 记忆读取机制：姿态引导（Pose-guided）读取比无姿态（Pose-free）读取在记忆保持和相机控制上效果更好。

• 历史检索策略：基于最大覆盖率（Max-coverage）的检索优于基于视场相似度（Pairwise FoV similarity）的检索。这表明选择能共同覆盖目标区域的“互补视角”比单纯选择“相似视角”更有价值。

• 记忆效率 (Latency/Cost)：传统的基于深度估计和空间扭曲的方法（如结合 Depth Anything 3）处理一个数据块耗时高达 1.346 秒；而 WorldCrafter 直接在潜在空间进行记忆编码和读取，总耗时仅为 0.062 秒，将记忆处理成本降低了 21.7 倍，且无需显式的深度估计。

讨论与总结 (Discussion)

核心贡献：提出了一种具有隐式 3D 感知记忆的相机可控自回归视频世界模型。通过学习到的记忆编码器将历史帧聚合为紧凑表示，并转换为兼容 DiT 的 Token，显著提升了长视野下的重访一致性和相机控制精度。

现有局限：在极端复杂或极度延长的轨迹下，场景一致性仍有可能崩溃。此外，在生成每个视频块时都需要重新对历史信息进行编码，这引入了额外的延迟。

未来方向：开发一种自回归的流式记忆编码器（autoregressive streaming memory encoder），能够将新生成的视频块增量式地融入到现有的记忆状态中，从而减少对历史帧的重复计算