【免费下载链接】MiniMax-H3-360-Orbit-LoRA
MiniMax-H3-360-Orbit-LoRA 是一个基于 MiniMax-H3(FL2VA 变体)训练的 LoRA 微调模型,只需把同一张照片同时作为首帧和尾帧输入,就能生成一段"时间冻结"的 360° 相机环绕运镜视频,并且视频结尾精确落回起始画面,可以无缝拼接成更长的镜头。本文从 Ref2VA 与 FL2VA 两条技术路线的差异出发,深度解析它为何选择首尾帧(first-last-frame,FL2VA)方案,并给出推荐参数与使用要点。
项目一览:一张照片生成 360° 环绕视频
这个 LoRA 的核心卖点可以概括为一句话:画面里的一切都不动,只有相机在转。人物、物体、液体、背景保持原位,唯一的运动来源是相机视差(parallax)。
图:同一个 LoRA 分别从四张照片生成的 360° 环绕效果,首尾帧完全一致
核心文件:
- 模型权重:minimax_h3_flf2v_lora_v1.safetensors
- 完整说明文档:README.md
- 演示视频(MP4 原片):skate_comparison.mp4、man2_comparison.mp4、girl2_comparison.mp4、man_comparison.mp4
Ref2VA 与 FL2VA:两条视频生成路线的区别
要理解这个项目的设计取舍,先要区分两种把"图"喂给视频模型的方式:
| 维度 | Ref2VA(参考图生视频) | FL2VA(首尾帧生视频) |
|---|---|---|
| 输入语义 | 参考图,仅作为松散的外观参考 | 关键帧,首帧和尾帧必须精确复现 |
| 运镜自由度 | 高,相机怎么走由模型自己决定 | 受两端约束,适合闭环/定点运镜 |
| 结尾画面 | 不可控,不知道会停在哪一帧 | 可控,一定落在指定尾帧上 |
| 能否无缝拼接 | 难,片段之间会出现可见接缝 | 可以,首尾同帧天然闭环 |
| 已知短板 | 画面漂移,无法回环 | 首尾帧为同一张图时,基座模型容易"原地冻结" |
简单说:Ref2VA 像"照着演员的剧照自由发挥",FL2VA 像"必须从 A 景走到 B 景"。做 360° 环绕这种要求回到原点的运镜,Ref2VA 天然不满足——它连结尾在哪都不知道,更谈不上拼接。
为什么选 FL2VA:两端钉死,才是闭环的关键
作者选择 FL2VA 的核心原因,是**首尾帧钉住(keyframe pinning)**带来的确定性:
- 闭环是"构造出来的",不是碰运气。首帧和尾帧都指定为同一张照片,视频必然从它出发、回到它,片段首尾相接没有接缝,可以链式串联成更长的环绕镜头。
- FL2VA 的"冻结问题"恰恰可以被 LoRA 解决。基座模型在首尾帧相同时会把整段视频当成静态画面处理,几乎不产生运动。这正是训练空间:教模型"两端相同 ≠ 画面静止",而是执行一次真实的、几何一致的环绕。
- 推理时仍享受关键帧约束。LoRA 只负责教会模型"怎么转",FL2VA 的首尾帧机制负责保证"两端精确",两者分工清晰。
下面这组三栏对比图直观展示了这一点——同一输入、同一种子、同一提示词与步数,左边是基座模型只给首帧(相机会漂移、回不到起点),中间是基座模型给相同首尾帧(几乎冻结),右边才是加载 LoRA 后的完整 360° 环绕:
三个版本的行为差异总结:
- 基座 + 仅首帧:相机有运动,但越走越偏,永远回不到起始视角;
- 基座 + 相同首尾帧:模型把它当静图处理,几乎不动;
- 基座 + LoRA + 相同首尾帧:相机走完一整圈,平滑回到起始帧,无剪辑、无变形。
推荐生成参数:照着这份清单配置即可
根据 README.md 中的推荐设置,生成 360° 环绕视频的完整配置如下:
| 设置项 | 推荐值 |
|---|---|
| 基座权重 | MiniMax-H3 FL2VA pruned(int8 ConvRot 重打包) |
| 关键帧 | 首帧和尾帧使用同一张图,形成完整 360° 循环 |
| 分辨率 | 768 × 768 |
| 帧数 | 73 帧(24 fps 下约 3 秒) |
| 步数(steps) | 28 |
| 引导(guidance) | 无。MiniMax-H3 是 guidance-distilled 模型,没有 CFG,也没有负向提示词 |
| LoRA 强度 | 1.0 |
| 音频 | 关闭 |
提示词方面,项目要求逐字使用官方给出的固定 prompt("One frozen instant. Only the camera moves. In a continuous 360 orbit…"),全文可直接在 README.md 的 Prompt 一节复制。
训练细节:只有 28 条数据,为什么够?
这个 LoRA 的训练思路值得新手借鉴:数据集小,但每一帧都由 3D 构造保证了几何一致性。
- 数据:28 条人工挑选的高质量人物 Gaussian Splatting(高斯泼溅)场景环绕渲染。因为 splats 是静态 3D 场景,渲染出的每一帧天然几何一致——"只有相机动"这件事不需要事后筛选,构造上就成立;
- 规模:768 × 768、73 帧、24 fps,每条视频使用同一条固定 caption;
- LoRA 配置:rank 16、alpha 16,覆盖除
adaln_proj外全部 transformer linear 层(208 个模块); - 训练:flow matching + shifted timesteps,bf16 精度 + gradient checkpointing,单张 A100 80GB 训练 3000 步约 10 小时 24 分。
完整超参数表见 README.md 的 Training details 一节。
局限性与使用建议
- 领域较窄:训练数据只有 28 条以人物为主的方形 73 帧短视频,其他主体、宽高比和时长均未测试,建议按 768 × 768 / 73 帧的规格使用;
- 仍可能有细微动作:眨眼、轻微肢体晃动等细节无法完全杜绝,需要挑选可用片段;
- 环境:权重由 ostris/ai-toolkit 的
minimax_h3扩展训练,key 采用 ComfyUI 命名(diffusion_model.*),加载时注意命名空间。
总结
回到标题的问题:做 360° 环绕,Ref2VA 给不了确定性,FL2VA 才能钉住首尾形成闭环;而 FL2VA 基座"首尾相同即冻结"的短板,又正好是这个 LoRA 训练空间所在。如果你需要"一张照片 + 一段无缝环绕运镜",按上面的参数表配置即可直接上手。
【免费下载链接】MiniMax-H3-360-Orbit-LoRA
相关推荐
3个文件怎么挑?MiniMax-H3-Acc-LoRAs-ComfyUI中FL2VA、Ref2VA与Baked检查点对比清单
3个文件怎么挑?MiniMax H3 Acc LoRAs ComfyUI中FL2VA、Ref2VA与Baked检查点对比清单 MiniMax H3 Acc Lo
stable-diffusion.cpp 中的 MiniMax-H3 音视频联合生成实战:T2VA / I2VA / FL2VA / Ref2VA 全流程指南
stable diffusion.cpp 中的 MiniMax H3 音视频联合生成实战:T2VA / I2VA / FL2VA / Ref2VA 全流程指南
人工智能大模型本地部署推理引擎媒体生成Velero(原 Ark)`schedule get` 命令详解:查看定时备份计划的完整指南
Velero(原 Ark) schedule get 命令详解:查看定时备份计划的完整指南 本文基于 Velero 仓库 v0.5.0 时期的 CLI 参考文档
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考