企业官网建设流程全解析

• 人工智能
• 大模型
• 基础模型

NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16（简称 Dory1.0-4B）是 NVIDIA 发布的 4B 参数循环式（Looped）大语言模型，官方提供BF16、MXFP8、NVFP4、Q5_K_M四种量化格式。本文基于仓库内的 README.md 与配置文件，整理出这四种量化格式的特点、DGX Spark 实测加速数据和选型建议，帮你快速确定该下载哪个版本。

🧠 模型速览：为什么量化选择很关键

Dory1.0-4B 采用循环式 normalized-GPT 架构：同一个共享层块可以被重复执行 1～4 次（"循环"），在不重训练的前提下用更多推理算力换取更高精度。从 config.json 可以看到核心参数：

循环次数直接决定"每 token 算力"：官方推荐默认2 次循环，追求极限精度可选 4 次，追求速度选 1 次。而量化格式则决定"显存占用和推理速度"，两者需要搭配选择。

📦 四大量化格式一览表

两个值得注意的技术细节：

• ⚡NVFP4 是"原生"精度：Dory 在 6T token 预训练的前约 4.5T token 阶段就使用 NVFP4 格式训练，因此导出 NVFP4 推理时精度损失极小。
• ✅Q5_K_M 有官方校验值：llama.cpp 路线下载 GGUF 文件后，README 中提供了期望文件大小（3,673,288,864 字节）与 SHA-256 校验和，可放心验证完整性。

⚡ DGX Spark 实测加速：NVFP4 最高 2.44 倍

下表为 NVIDIA 在DGX Spark（Blackwell 架构）上实测的推理加速比，基线为 BF16：

可以看出：

• 输出越长（decode 阶段占比越高），量化收益越大——128 输入 + 1024 输出场景下，NVFP4 相比 BF16 快2.44 倍；
• Blackwell 硬件（DGX Spark、B200/B300 同系列）对 FP4/FP8 有原生 Tensor Core 支持，NVFP4 的加速优势在 Blackwell 平台上最为显著；
• 官方测试硬件覆盖 H100、B200、B300 与 DGX Spark，Hopper 用户同样可用 MXFP8 获得约 1.7～1.8 倍加速。

🎯 选型建议：按场景对号入座

• vLLM 部署、追求质量上限→ 选BF16（本仓库即该检查点），并可通过--hf-overrides调整n_recurrent_loops；
• vLLM 部署、追求吞吐→ 选MXFP8，显存约减半，加速 1.7～1.8×，精度几乎无感；
• Blackwell/DGX Spark、追求极致速度→ 选NVFP4，4 位权重 + 原生预训练背景，加速最高 2.44×，是本模型在新一代硬件上的"甜点格式"；
• 本地运行、Mac/CPU 混合、llama.cpp 生态→ 选Q5_K_M（GGUF），用dory.num_loops与dory.recurrent_kv_cache_mode两个 override 参数即可控制循环数与 KV 缓存模式。

💡 额外提示：采样参数建议Temperature 1.0、Top_P 0.95（见 generation_config.json），对话模板见 chat_template.jinja。

📂 仓库文件清单

总结

面对 Dory1.0-4B 的四种格式，选择逻辑其实很清晰：vLLM 上 Blackwell 用 NVFP4（最快）、Hopper 用 MXFP8（均衡）、质量优先用 BF16；llama.cpp 生态直接用 Q5_K_M。配合 1～4 次循环的自由调节，同一个 4B 模型就能在速度和精度之间灵活取舍——这正是循环式架构"弹性推理算力"的价值所在。

• 人工智能
• 大模型
• 基础模型