企业官网建设流程全解析

RedHatAI/Qwen3.6-35B-A3B-NVFP4是基于 NVFP4 格式量化的小尺寸高能力多模态大模型，由 Alibaba Cloud 的 Qwen3.6-35B-A3B 基座模型压缩而来。它不仅能"看图说话"（image-text-to-text），还支持视频理解、深度推理和强大的工具调用（Tool Calling），同时显存占用大幅降低——新手也能快速上手部署与调用 🚀

核心关键词：Qwen3.6-35B-A3B-NVFP4、NVFP4 量化、多模态大模型、看图说话、vLLM 部署、工具调用

一、先搞清楚：这是一款什么样的多模态模型？

很多新手看到 "35B-A3B" 会以为模型很大跑不动，其实它是MoE（混合专家）架构：

也就是说：推理开销接近 3B 小模型，综合能力对标 35B 大模型，这正是 A3B 命名（Activating 3B）的含义。

📌 一个关键细节：量化时视觉编码器（visual tower）被完整保留为 BF16 精度，不参与压缩。查看 config.json 中的ignore列表可以看到，所有model.visual.*层都被排除在量化之外——这是为了保证图片理解精度不掉，属于非常"聪明"的量化取舍。

二、模型目录结构与关键文件速览

克隆仓库后即可看到完整的模型文件：

git clone https://gitcode.com/hf_mirrors/RedHatAI/Qwen3.6-35B-A3B-NVFP4

各文件作用一览 👇

三、最快部署方法：一行命令启动多模态服务

模型已在 vLLM 0.24.0 上完成验证，部署命令如下：

vllm serve RedHatAI/Qwen3.6-35B-A3B-NVFP4 --reasoning-parser qwen3 --moe_backend flashinfer_cutlass

三个参数各管一件事：

• --reasoning-parser qwen3：自动解析模型输出的思考过程（thinking），把推理链和最终回答分开返回；
• --moe_backend flashinfer_cutlass：MoE 专家计算的加速后端，官方 README 推荐搭配，性能更好；
• 启动后可选追加--enable-prefix-caching，多轮对话场景下明显提速。

如果显存偏紧、只跑纯文本任务，官方评测时还用了--language-model-only --max-model-len 96000的组合，加载会更快。

四、图文对话实战：让模型"看图说话"

服务启动后，通过标准 OpenAI 兼容接口调用即可。多模态请求的核心是：把content从纯字符串换成数组，其中放入image_url类型的内容块。

import requests resp = requests.post("http://localhost:8000/v1/chat/completions", json={ "model": "RedHatAI/Qwen3.6-35B-A3B-NVFP4", "messages": [{ "role": "user", "content": [ {"type": "text", "text": "描述这张图片里的内容，并总结关键信息"}, {"type": "image_url", "image_url": {"url": "https://example.com/photo.jpg"}} ] }], "max_tokens": 4096 }) print(resp.json()["choices"][0]["message"]["content"])

💡新手避坑点：

1. 图片不能放在 system 消息里——chat_template.jinja 中明确规定了System message cannot contain images，图片/视频只能出现在 user 消息中；
2. 多张图会自动编号——模板中支持Picture 1、Picture 2的形式，你可以直接说"对比 Picture 1 和 Picture 2 的差异"；
3. 视频也支持——processor_config.json 中配置了Qwen3VLVideoProcessor，按 2 fps 抽帧、最多 768 帧，适合做长视频内容总结。

五、不只是看图：工具调用能力实测

这款模型被标记为tool_calling_supported: true，在行业权威基准BFCL v4上的成绩如下（完整数据见 score/data_overall.csv）：

具体到细分场景（来自 score/data_agentic.csv）：

• Memory KV 记忆检索：39.35%
• Memory Vector 向量记忆：58.71%
• Memory 递归摘要：56.77%
• Web Search 联网检索：Base 场景 58.00%
• 无关函数拒绝（Irrelevance）：87.08%——模型很会"说 No"，不乱调用不存在的工具

📌 这意味着它可以作为 Agent 大脑使用：给它图片 + 一组工具定义，它能先理解图片，再决定调用哪个函数、传什么参数。原始评测记录可在 results_35B-A3B_NVFP4_all.txt 中查阅。

六、量化后精度几乎无损：基准成绩一览

NVFP4 把权重压到 4-bit，很多人第一反应是"精度会不会崩"。答案是不会，官方用 lm-evaluation-harness 与 lighteval 做了完整复测（详见 README.md 的 Evaluation 章节）：

有趣的是：数学类任务量化后反而略有提升（GSM8K 达 96.08，超过原版），这与校准数据集中 256 条 ultrachat 样本的分布有关，也说明 NVFP4 + 分组 scale（group_size: 16）的方案相当成熟。

七、常见问题 FAQ

Q1：需要多大的显存？主权重压缩到约 22.4 GB，加上视觉塔和 KV Cache，建议24 GB 显存的单卡（如 RTX 4090/3090）即可跑通短上下文；长上下文或高并发建议 2×24 GB 以上。

Q2：和原版 Qwen3.6-35B-A3B 怎么选？显存带宽是瓶颈的硬件（消费级显卡）推荐 NVFP4 版；算力远大于显存带宽的数据中心卡可以优先考虑原版 BF16。官方 README 也给出了同样的建议。

Q3：思考模式可以关掉吗？可以。模型默认开启 thinking（见 config.json 与模板逻辑），通过聊天接口传入chat_template_kwargs: {"enable_thinking": false}即可关闭，适合低延迟场景。

Q4：部署在哪些平台验证过？官方在 RHOAI 3.5、RHAIIS 3.5 和 vLLM 0.24.0 上完成了验证，使用 Apache 2.0 协议，可自由商用。

🎯总结：Qwen3.6-35B-A3B-NVFP4 是"小显存跑大能力"的优选多模态模型——NVFP4 量化几乎零精度损失，看图、看视频、工具调用、深度推理样样在行，一行vllm serve命令就能落地。新手从第四节的图文调用开始练手，半天内即可搭出自己的多模态应用原型。