企业官网建设流程全解析

• 大模型
• 基础模型
• 多模态
• 本地部署

NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF 是 NVIDIA Nemotron 系列中面向本地 Agent 任务的 74B（9B 激活）多模态大模型，本仓库已按 llama.cpp 的 GGUF 格式切分好从 IQ1 到 BF16 的完整量化梯度。本指南带你用llama.cpp在 10 分钟内把它跑起来：选对量化版本、看清内存需求、复制即可运行的完整命令。

📦 这个项目能做什么

在开始之前，先明确这个仓库的定位，避免下载错文件：

💡关键点：这是一套「量化全家桶」。同一个模型被压成了 13 种精度版本，你只需要根据自己电脑的内存，挑一个下载即可，无需全部拉取。

仓库的完整说明见 README.md，模型卡中给出了各基准测试表现与许可（OpenMDW-1.1，可商用）。

🚀 第一步：安装 llama.cpp

llama.cpp 是运行 GGUF 模型的标准引擎。推荐直接下载官方预编译二进制，无需编译环境：

# 1. 前往 llama.cpp 项目 Releases 页面，下载与你系统匹配的压缩包 # （Linux / macOS / Windows 各自独立包） # 2. 解压，会得到 llama-cli、llama-server、llama-llava 等可执行文件 # 3. 把可执行文件加入 PATH，或记住它的路径，例如： export PATH="$HOME/llama.cpp/build:$PATH" # 验证安装 llama-cli --version

⚠️版本提示：该模型是 Mamba-2 混合架构，请使用较新的 llama.cpp 构建版本（建议直接取最新 Release），旧版本可能无法识别混合层。

💾 第二步：下载模型（只下载你需要的量化版本）

克隆本仓库（文件通过 Git LFS 自动拉取，需已安装git-lfs）：

git clone https://gitcode.com/hf_mirrors/unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF.git cd NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF

量化版本怎么选？（内存需求速查表）

这是新手最容易卡住的一步。下表按内存从低到高排好，对号入座即可：

推荐组合：

• 🔹24 GB 内存→ 选IQ2_XXS或UD-IQ2_M
• 🔹32 GB 内存→ 选UD-Q2_K_XL
• 🔹64 GB 内存→ 选UD-Q4_K_XL（质价比最佳）
• 🔹追求最高质量→ 选Q8_0或UD-Q6_K_XL

📌 分片文件（-00001-of-00003）在运行时用第一个分片的路径指向即可，llama.cpp 会自动加载同目录的其余分片，例如 UD-Q4_K_XL/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-UD-Q4_K_XL-00001-of-00003.gguf。

⚡ 第三步：完整运行命令

方式 A：交互式命令行（最快上手）

# 以 64GB 的 Q4_K_XL 版本为例（按上表替换模型路径） llama-cli -m UD-Q4_K_XL/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-UD-Q4_K_XL-00001-of-00003.gguf \ --ctx-size 16384 \ --temp 1.0 --top-p 0.95

启动后即可直接在终端输入问题对话。--temp 1.0 --top-p 0.95是官方推荐的采样参数。

方式 B：本地 API 服务（对接前端 / 应用）

llama-server -m UD-Q4_K_XL/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-UD-Q4_K_XL-00001-of-00003.gguf \ --ctx-size 16384 \ --port 8080 --host 127.0.0.1

服务启动后，浏览器访问http://127.0.0.1:8080即可获得一个开箱即用的 Web 聊天界面，也可通过标准 OpenAI 兼容接口/v1/chat/completions调用。

方式 C：多模态视觉（图像 / 视频理解）🔍

本模型是 VLM，必须加载视觉投影器文件 mmproj-BF16.gguf（约 1.6 GiB）才能看图：

# 开启视觉的服务端（自动识别图片输入） llama-server -m UD-Q4_K_XL/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-UD-Q4_K_XL-00001-of-00003.gguf \ --mmproj mmproj-BF16.gguf \ --ctx-size 16384 --port 8080

🎬 视频输入支持 mp4（最长 2 分钟）。图像支持 jpg / png。

🏎️ 进阶：用 dflash 加速推理（可选）

仓库自带推测解码 drafter dflash-NVIDIA-Nemotron-3.5-Bolt-74B-A9B-NVFP4.gguf（仅约 0.9 GiB），通过 LiLiCorr/DFlash 机制可显著提升出字速度。在命令中追加：

# 在 llama-server / llama-cli 后追加 --draft-model dflash-NVIDIA-Nemotron-3.5-Bolt-74B-A9B-NVFP4.gguf

💡 这是「加速包」，不影响模型质量，纯提速。显存/内存紧张时可省略。

❓ 常见问题 FAQ

Q1：内存不够，模型能跑吗？能。MoE + Mamba 混合架构支持CPU + 内存混合加载。只要物理内存放得下权重（见上表），没有独立显卡也能跑，只是速度取决于内存带宽。

Q2：只想要某一个量化版本，怎么省流量？用git sparse-checkout只检出目标目录，例如只要 Q4：

git clone --filter=blob:none --sparse https://gitcode.com/hf_mirrors/unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF.git cd NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF git sparse-checkout set UD-Q4_K_XL

这样只会下载UD-Q4_K_XL/分片，节省大量带宽与磁盘。

Q3：提示「架构不受支持 / 加载失败」？多为 llama.cpp 版本过旧导致。请升级到最新 Release 后重试（见第一步版本提示）。

Q4：能商用吗？可以。模型遵循OpenMDW-1.1许可，支持商业与非商业用途。

✅ 总结

• 按内存从量化表中挑一个版本下载（24G 选 IQ2，64G 选 Q4_K_XL）。
• llama-cli快速试跑，llama-server起服务对接应用。
• 要看图就加--mmproj mmproj-BF16.gguf，要提速就加--draft-model。
• 全部命令均可直接复制运行，10 分钟即可在本机跑起这个 74B 多模态智能体模型。

• 大模型
• 基础模型
• 多模态
• 本地部署