☰
说好“数周后开源“,十天就落地:FLUX 3 Image 开放权重版比预告跑得快
2026/10/16 12:34:31 网站建设 项目流程

说好"数周后开源",十天就落地:FLUX 3 Image 开放权重版比预告跑得快

【免费下载链接】flux-3-image-klein项目地址: https://ai.gitcode.com/hf_mirrors/black-forest-labs/flux-3-image-klein

10 月 2 日,Black Forest Labs 官宣 FLUX 3 Image:原生 4K 输出、0–1000 坐标网格的边界框排布、像素级保持的区域编辑,单次最多融入 10 张参考图,并承诺"开放权重版本数周内公开"。按照惯例,这通常意味着 4 到 8 周的等待——结果 10 月 15 日,官方博客直接放出 5.6B 参数的开放权重版 FLUX 3 Image Klein,间隔仅 13 天,比"数周"的预告快了一倍有余。更值得注意的是,这次官方不止丢出一个蒸馏检查点,而是把 BF16 主权重、FP8/NVFP4 量化变体、文本编码器、图像自编码器、微调用 base 模型一次性打包齐整。本文基于官方发布信息与仓库源码,拆解这次"提前兑现"的开放权重版到底装了什么、意味着什么、以及接下来生态会怎么动。

从预告到落地:13 天,而不是"数周"

先还原时间线。2026 年 10 月 2 日,Black Forest Labs 发布 FLUX 3 Image 公告,通稿给出三个核心卖点:最高 4K 的原生输出分辨率(放大后仍保持细节);在归一化 0–1000 坐标网格上为每个元素指定 ID、描述与精确边界框(格式为[y_min, x_min, y_max, x_max]);对指定区域修改、其余像素完全不变的像素级编辑。当时模型仅以付费 API 形式开放,官方口径是"开放权重版本将在数周内公开",自建部署的团队只能排队等。

10 月 15 日,官方博客发布《FLUX 3 Image Klein: open weights, 5.6B parameters》,开放权重版正式落地。从 10 月 2 日到 10 月 15 日,间隔恰好 13 天——比"数周"的保守承诺大幅提前。这个节奏与 FLUX 系列一贯"先商业版、后 dev 版"的打法相比明显提速,也延续了 7 月 23 日 FLUX 3 多模态基座 Early Access 上线、8 月 5 日 FLUX 3 视频模型(最长 20 秒原生 1080p)正式上线以来的高频发布节奏。对本仓库而言,README.md中的 checkpoint 表也印证了"发布即完备":distilled Klein 检查点(16 步、无 guidance)对应 BFL API 背后的生产版本,同时提供 undistilled 的 Klein Base(50 步、guidance 3.5)用于微调、LoRA 训练与研究。

klein 版装了什么:一份可以"当天跑起来"的完整模型包

"5.6B"指的是图像 transformer 的参数量,文本编码器是独立的,不算在内。仓库根目录的 manifest.json 给出了精确数字:params为 5,548,681,984(约 55.5 亿),包含 359 个 tensor,格式标注为f3_dit_export。这个尺寸放在当前开放权重生图阵营里很有竞争力——官方对比中,Qwen-Image 2.1 为 7B、Krea 2 为 12.9B,Klein 是同期对比里最小的开放模型。

与完整版 FLUX 3 Image 相比,Klein 共享核心能力:原生 4K 生成、像素级编辑、以及用边界框控制元素位置或限定编辑区域。官方内部评测称其文生图、多参考生成与图像编辑三项均列开放权重第一,对比前代 FLUX.2 klein 9B,文生图 Elo +91、编辑 Elo +70,参数量反而减少 38%。

从仓库结构看,这份"模型包"不只是单个权重文件,而是一个完整的推理组件集合:

  • 根目录 model.safetensors 为 distilled BF16 主权重;
  • ae.safetensors 为图像自编码器,vae/config.json 显示其架构为AutoencoderKLFlux2,latent 通道数 32;
  • text_encoder/ 内置 Qwen3-VL-4B-Instruct 文本编码器(text_encoder/config.json 中model_type为qwen3_vl,36 层、hidden size 2560),文本侧与视觉侧分别定义,用于理解参考图与长提示词;
  • transformer/ 为拆分的 DiT 权重目录,transformer/config.json 显示 24 头、5 个双流层 + 28 个单流层、flow_map: true,是一个典型的 MMDiT + 单流层混合结构;
  • variants/fp8r/ 与 variants/nvfp4/ 提供量化变体,variants/nvfp4/manifest.json 记录了 NVFP4 的量化细节(group_size 16、e2m1 打包、198 个量化矩阵),并附带了校准配置(37 条 prompt、覆盖 1024×1024 到 768×1344 五种分辨率)。

根目录 config.json 则定义了采样参数:steps: 16、guidance: null(蒸馏模型免 guidance)、alpha: 6.93、默认 1024×1024。16 步无 guidance 正是蒸馏版低延迟的关键——官方给出实测:用 INT8 构建,RTX 5090 上生成 1MP 图像约 4 秒、RTX 4070 上不到 9 秒;NVFP4 下 GB300 上不到 0.6 秒。BF16 生成器权重 11.2GB、FP8 5.6GB,配 INT8 构建可在 8GB 显存的 GeForce RTX 上运行,直接打通了消费级 GPU 本地部署与端侧图像编辑。

但有两个"配套件"绕不开

开放权重不代表开箱即用。README 反复强调两点:其一,必须搭配 prompt upsampler。Klein 接收的是完整场景描述(构图、主体、背景、光照),短提示词直接输入只会得到"generic output"。官方配套的flux-3-image-klein-pup(约 18.8GB)默认随参考代码加载,README 也给出了用 Transformers 手动调用它的完整示例——先让 upsampler 把短请求扩展成全场景 caption,再喂给 pipeline。其二,边界框是软约束。README 的 Limitations 明确写道:boxes 只设置位置与尺度、不是硬 mask,元素可能溢出框外,小尺寸元素可能不出现。这一点在工程接单时要当心。

"开放权重先行者"的三个信号

把 Klein 放在 FLUX 3 家族里看,它至少释放了三个信号。

信号一:FLUX 3 的开放节奏正在从"单点发布"变成"家族连续剧"。官方博客明确写道,Klein 是 FLUX 3 家族继 FLUX 3 Action(7B 机器人控制模型)之后的第二个开放权重发布,"More will follow"。加上 Klein Base 微调版、FP8/INT8/NVFP4 多精度构建(INT8 为 NVIDIA 支持开发),Black Forest Labs 明显在把开放权重做成一条产品线,而非偶尔的慈善动作。

信号二:许可证设计把"自托管商用"的口子留给了中小团队。仓库 LICENSE.md 即 FLUX Kommunity License v1.0:非商用用途免费;年化总收入(含关联方)低于 500 万美元的 Qualifying User 可将输出用于商业目的,但需实施内容过滤、对 AI 生成内容作披露。同时第 4 条保留了严格红线:禁止军事、监控、生物识别用途,禁止用 FLUX 输出训练"功能类似"的其他 AI 模型。对自建部署团队来说,这是一份"小团队可商用、大厂请走 API 或商业授权"的清晰定价分层。

信号三:模型本身就在为"本地运行"做设计。5.6B 的小尺寸、16 步蒸馏、INT8 支持 8GB 显存、API 端 1K 图像最低 $0.009 的定价——每一项都指向消费级硬件与低成本自托管。官方还给了参考实现与 Diffusers 两种用法:仓库 README 里既有snapshot_download的定向下载(allow_patterns精确到model.safetensors、ae.safetensors、text_encoder/*,可跳过量化变体),也有 ModularPipeline 的文生图 + 编辑闭环示例(同 seed 下先生成bison.png,再以它为参考图做"夜景月光"编辑得到bison_night.png),代码结构可以直接照搬。

接下来数周内可预期的生态动作

开放权重落地后的生态反应通常分三层,Klein 这三层几乎同步就位。

推理框架层是首日支持的。官方列出的日级支持名单覆盖了当前主流生图栈:ComfyUI(含边界框控制演示)、Hugging Face Diffusers(ModularPipeline)、NVIDIA TensorRT-LLM、SGLang Diffusion、vLLM-Omni。仓库 modular_model_index.json 也印证了这一点——它声明了Flux3DistilledModularPipeline/Flux3DistilledAutoBlocks的组件映射(transformer 为Flux3Transformer2DModel、VAE 为AutoencoderKLFlux2、文本编码为Qwen3VLForConditionalGeneration),这套模块化索引正是 Diffusers 侧"当天可跑"的接口契约。

微调生态的入口已经打开。Klein Base(undistilled、50 步)专为微调设计,官方点名的 LoRA 工具有 Ostris AI Toolkit,NVIDIA NeMo AutoModel 也直接发布了对齐检查点的 recipes。社区侧的部署实验同样在快速跟进:10 月上旬已有基于 Serverless 平台封装 FLUX 3 图像服务的实践文章出现,围绕显存占用、静态 shape、冷启动与按秒计费做工程验证。对想做风格定制或垂直领域 LoRA 的团队,这等于官方把"研究→微调→推理"的全链路工具都递到了手里。

更远的看点在于 FLUX 3 家族的下一步。Klein 与完整版共享原生 4K、像素级编辑、边界框三张牌,但完整版仍有 API 独占的部分能力。参考 FLUX 系列历史(dev 版通常晚于商业版但最终开放),后续最可预期的动作包括:完整 FLUX 3 Image 的开放权重版本、更多精度/尺寸变体,以及官方博客已经预告的"More will follow"——即 FLUX 3 家族(Video、Image、Action 之外)后续成员的开放节奏。对内容生产团队而言,现在最务实的路径是:用 Klein 的蒸馏版先跑通自建管线(记得接上 prompt upsampler),用 Base 版评估 LoRA 定制成本,再用边界框把版式从"抽卡"变成可复用的配置文件——这三件事做完,等完整版权重落地时,迁移成本基本为零。

【免费下载链接】flux-3-image-klein项目地址: https://ai.gitcode.com/hf_mirrors/black-forest-labs/flux-3-image-klein

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询