MiniMax H3 本地部署完整指南:文件到底下哪些、FL2VA 还是 Ref2VA、显存不够怎么救
【免费下载链接】MiniMax-H3MiniMax H3 是一个通用的全模态生成系统。它支持对由文本、图像、视频和音频组成的多模态上下文进行统一理解,并能生成分辨率高达 2K、时长可达 15 秒的带原生立体声音频的视频。得益于面向任务泛化的系统设计,H3 在预训练阶段就已具备广泛的多模态上下文理解与生成能力,能够出色地执行复杂的多模态指令。项目地址: https://ai.gitcode.com/MiniMax-AI/MiniMax-H3
MiniMax H3 开源了,能本地生成最高 2K、带原生立体声音频的视频,最长 15 秒。听起来很香,但很多人一进下载页就懵了:一二十个模型文件、两个大版本、还是 BF16 全精度,直接克隆下来硬盘先红了。社区里最常见的吐槽就三句:"文件下错了几百 G,白等一下午""两个版本混着装,跑起来直接报错""全精度拉满,显卡当场阵亡"。这篇把文件清单、版本选型、翻车点一次性讲透,照着抄就行。
30 秒速览:H3 是什么,新手先做什么
一句话:H3 是个"全模态剧组"——你丢给它文字、图片、视频、音频任意组合,它还你一段声画同步的视频。
本地开源的部分是H3-Base,能出 768p(短边 768 像素、24 FPS、32kHz 立体声)的音视频。整个系统其实分三块:
- H3-Context-IR:把"人话需求"翻译成模型听得懂的上下文。这块是官方托管的,没开源,走 API;
- H3-Base:本地真正干活的主力,出 768p 片子,开源;
- H3-Regenerate-2K:把 768p 结果"再高清重做"成 2K,目前未开源,也走 API。
新手的第一课不是下载,是先想清楚自己要哪种任务:凭空生成选 FL2VA,照着参考素材二创选 Ref2VA,权重不能互换。想清楚这一步,下面的坑就避开一大半。
逐个拆解:这一堆文件,各是厨房里的什么角色
把 H3-Base 理解成一家餐厅最直观。每个 checkpoint(FL2VA 或 Ref2VA)都是一个自包含的"后厨",目录里这几位各司其职:
- text_encoder/(文本编码器):门口的"翻译领班"。它基于 Qwen3-VL-32B,负责把你说的话和图意转成模型内部能懂的表示。少了它:报"组件缺失",主干根本收不到指令。
- transformer/(Omni-Transformer 主干):灶台主厨,33B 参数的稠密模型,画面和声音都是它一起算出来的。少了它:整个厨房停摆。
- vae/ 和 audio_vae/(视频 VAE + 音频 VAE):"装盘点"。模型内部处理的是压缩过的 latent,VAE 负责解压成你能看的画面、能听的双声道声音。少了它:只有一堆数字,出不了片。
- tokenizer/、processor/、scheduler/ 和 audio_scheduler/:"下单小票和节奏控制"。小文件但缺一不可,尤其 tokenizer 带 H3 专属的特殊 token 配置,别拿别家 Qwen 的配置文件替代。
- model_index.json:整张"人员花名册"。框架就是照着它去逐个组件加载的,路径下错一个都对不上。
下载清单看这一条就够了(官方仓库里原始格式和 diffusers 格式并存,用哪个框架就只下哪个清单,别全拉):
hf download MiniMaxAI/MiniMax-H3 --include "model_index.json" "FL2VA/*" --local-dir MiniMax-H3版本怎么挑:一张表直接抄作业
选型原则一句话:按任务定版本,按显存定精度,2K 别指望纯本地。FL2VA 和 Ref2VA 是两套独立权重,各装各的,谁也别想串台。
| 你的需求 | 推荐版本/方案 | 硬件与成本门槛 |
|---|---|---|
| 纯文字生成视频(T2VA) | FL2VA | BF16 全精度,社区示例是 4 卡起跑;小显存等量化版 |
| 一张图动起来(首帧/尾帧) | FL2VA | 同上,最多喂 2 张图 |
| 首尾两张图、脑补中间 | FL2VA | 同上 |
| 参考图/视频/音频做二创(Ref2VA) | Ref2VA | 参考素材越多,序列越长,显存和时长需求更高 |
| 想要 2K 成片 | H3-Base 本地出 768p + 官方 Regenerate-2K API 重制 | 本地显存 + 少量 API 费用 |
| 只想看效果、不想装环境 | 网页版 / 官方 API | 零显卡成本 |
另外提醒:Ref2VA 的输入是有额度的——最多 9 张图、3 段参考视频、3 段参考音频,所有参考文件加起来不超过 12 个。
高频翻车实录:这 5 个坑占了一半求助帖
1. 文件下不全,缺胳膊少腿。现象:加载时报某个子目录或组件找不到。原因:只看了主干多大,就只下了最大的那个。解决办法:以model_index.json为准,processor、tokenizer、text_encoder、transformer、vae、audio_vae 一个都不能少。
2. 两种格式混搭装。现象:框架初始化报错、组件对不上。原因:仓库里原始格式(给 SGLang、vLLM 用)和 diffusers 格式并存,你从两边各抄了一半。解决办法:框架定了就只下对应清单,diffusers 用户甚至不用手动下,ModularPipeline.from_pretrained会自动拉它要的那几个组件。
3. 显存直接爆掉。现象:加载到一半 OOM。原因:文本编码器 32B、主干 33B,都是 BF16 全精度,单卡消费级显卡基本塞不下。解决办法:多卡并行部署(官方示例就是 4 卡 + ulysses 并行),或者等社区量化版本再上。
4. 白等 2K,结果本地只有 768p。现象:跑出来的片子比预期糊,怀疑自己环境有问题。原因:2K 靠的是 Regenerate-2K 模块,这块官方明说还没开源。解决办法:接受"本地 768p + API 重制 2K"的组合拳,官方 README 里就给了端到端的 2K 工作流脚本参考(见 scripts/readme/)。
5. 提示词一长就崩,参考视频被吃掉。现象:Ref2VA 效果远不如演示视频。原因:参考素材没经过 Context-IR 整理,直接塞给 Base 属于"把菜单直接扔进后厨"。解决办法:先用官方 Context-IR API 把上下文结构化再下发,或按 官方提示词指南 自己写。
收尾
H3 把"声画同步视频生成"从云端搬回了个人电脑,这一步本身就够有分量了。剩下的事只有一个:你愿意为了本地无限次出片去配多卡、蹲量化版,还是直接充 API 把算力外包出去?评论区聊聊你的选择,也欢迎丢出你踩过的坑。
【免费下载链接】MiniMax-H3MiniMax H3 是一个通用的全模态生成系统。它支持对由文本、图像、视频和音频组成的多模态上下文进行统一理解,并能生成分辨率高达 2K、时长可达 15 秒的带原生立体声音频的视频。得益于面向任务泛化的系统设计,H3 在预训练阶段就已具备广泛的多模态上下文理解与生成能力,能够出色地执行复杂的多模态指令。项目地址: https://ai.gitcode.com/MiniMax-AI/MiniMax-H3
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考