企业官网建设流程全解析

Qwen3.5-35B-A3B-GGUF 是 Unsloth 发布的 Qwen3.5-35B-A3B 本地量化权重仓库，包含从 IQ2 到 BF16 的全套 GGUF 量化文件。本文带你用它快速搭建支持Tool Calling（工具调用）的本地 AI Agent，并接入 Qwen-Agent 框架，让你的模型从“会聊天”进化到“会干活”——调工具、读写文件、执行任务。

为什么 Qwen3.5-35B-A3B 适合做本地 Agent

在动手之前，先了解为什么这款模型是本地 Agent 的高性价比之选：

• ⚡MoE 架构，激活参数仅 3B：总参数 35B、每次推理只激活约 3B 参数（256 个专家中激活 8 个路由专家 + 1 个共享专家），推理速度接近小模型，效果却有大模型水准
• 🛠️工具调用能力突出：官方基准中 BFCL-V4 得分 67.3、TAU2-Bench 得分 81.2，TIR-Bench 达 55.5，均为同量级模型第一梯队（详见 README.md）
• 📚256K 原生上下文：默认支持 262,144 tokens，长上下文让多轮工具调用不"失忆"
• 🧩多模态原生：同一模型支持图像/视频输入，仓库附带 mmproj 视觉投影文件
• 💾Unsloth Dynamic 2.0 量化：官方 3 月 5 日更新后，所有 GGUF 均采用新 imatrix 数据与改进的量化算法，聊天、编码、长文本与tool-calling 场景均有提升（README.md）

模型架构详情可在 config.json 中查看：40 层、Gated DeltaNet 线性注意力 + Gated Attention 混合布局、词表 248320。

仓库文件清单：GGUF 量化怎么选

打开仓库目录，你会看到各精度版本的权重文件。针对"做 Agent"这一目标，推荐如下：

新手建议：直接下载Q4_K_M或UD-Q4_K_XL，显存不足就换UD-IQ3_XXS这类低比特版本。

另外两个辅助文件也值得了解：

• imatrix_unsloth.gguf_file：imatrix 校准数据文件，是量化精度的"质检报告"
• mmproj-BF16.gguf / mmproj-F16.gguf / mmproj-F32.gguf：视觉编码器投影文件，若要用图像/视频输入，需与主模型一起加载

最快启动方法：开启 Tool Calling 的推理服务

工具调用的前提是推理框架要能解析模型的函数调用输出。Qwen3.5 使用qwen3_coder工具调用解析器，官方在 README.md 中给出了标准启动方式。

方式一：llama.cpp 本地服务（GGUF 通用方案）

用llama-server加载 GGUF，务必带上--jinja参数——它会让服务端使用模型内置的聊天模板，这是 GGUF 文件正确输出 tool call 的关键：

llama-server -m Qwen3.5-35B-A3B-Q4_K_M.gguf --jinja -ngl 99 --host 127.0.0.1 --port 8000

启动后服务地址为http://127.0.0.1:8000，对外提供 OpenAI 兼容 API（/v1/chat/completions）。需要多模态时追加--mmproj mmproj-F16.gguf。

方式二：vLLM / SGLang（BF16 权重、高吞吐场景）

如果显存充足，用 BF16 权重 + vLLM 可获得更高的并发吞吐。vLLM 启动时需显式启用自动工具选择：

vllm serve Qwen/Qwen3.5-35B-A3B --port 8000 --tensor-parallel-size 8 \ --max-model-len 262144 --reasoning-parser qwen3 \ --enable-auto-tool-choice --tool-call-parser qwen3_coder

SGLang 则只需加--tool-call-parser qwen3_coder（参考 README.md）。

💡 排错提示：若遇到 OOM（显存不足），优先调小--max-model-len/--context-length；官方建议至少保留 128K 上下文以维持思考能力（README.md）。

Qwen-Agent 实战：三步搭建会调工具的 Agent

服务跑起来后，接入 Qwen-Agent 框架即可构建 Agent 应用。它支持 MCP 配置、内置工具或自定义函数三种工具接入方式。核心代码只有三件事：定义 LLM → 定义工具 → 创建 Assistant：

from qwen_agent.agents import Assistant # 1. 指向本地推理服务（vLLM / llama-server 均可） llm_cfg = { 'model': 'Qwen/Qwen3.5-35B-A3B', 'model_type': 'qwenvl_oai', 'model_server': 'http://localhost:8000/v1', 'api_key': 'EMPTY', 'generate_cfg': { 'use_raw_api': True, 'extra_body': { 'chat_template_kwargs': {'enable_thinking': True} }, }, } # 2. 定义工具（此处以文件系统 MCP 为例） tools = [{'mcpServers': { "filesystem": { "command": "npx", "args": ["-y", "@modelcontextprotocol/server-filesystem", "/Users/xxx/Desktop"] } }}] # 3. 创建 Agent 并对话 bot = Assistant(llm=llm_cfg, function_list=tools) responses = bot.run(messages=[{'role': 'user', 'content': 'Help me organize my desktop.'}]) print(responses)

运行后，模型会自主规划步骤：先"思考"，再发起工具调用，拿到结果后继续推理，直到完成任务。完整示例可参考 README.md 的 Agentic Usage 章节。

调优清单：采样参数与避坑指南

想让 Agent 更稳，官方在 README.md 最佳实践 中给出了明确建议：

⚠️常见坑点：

1. 思考模式：Qwen3.5 默认进入思考模式，回复前会输出think内容。Agent 场景若嫌慢，可通过chat_template_kwargs传{"enable_thinking": false}关闭（注意 Qwen3.5 不支持/nothink软开关）
2. 工具调用输出为空：llama.cpp 忘了加--jinja，或 vLLM 忘了加--tool-call-parser qwen3_coder，是最常见原因
3. 上下文超长：原生上限 256K，超限时官方建议用 YaRN 扩展至约 100 万 tokens（配置方法见 README.md），但日常 Agent 任务用 32K~128K 足够

常见问题 FAQ

Q1：16GB 显存能跑 Agent 吗？可以。Q4_K_M 配合 MoE 的低激活特性（激活仅 3B），16GB 显存全量入卡可行，上下文留 32K~64K 体验良好。

Q2：没有 NVIDIA 显卡怎么办？GGUF 格式正是为此而生——llama.cpp 支持纯 CPU 与苹果 Metal 后端，选 Q4_K_M 或更低比特量化，配合 32GB+ 内存可获得可用速度。

Q3：GGUF 和 BF16 版本怎么选？单卡/本地开发选 GGUF（省显存、部署简单）；多卡、追求极致精度或生产级高并发，选 BF16 权重 + vLLM/SGLang。

Q4：支持图像输入的工具调用吗？支持。Qwen3.5 是原生多模态模型，加载mmproj投影文件后，Agent 任务中可传入图片，例如让模型"看图识别发票并调用记账工具"。

总结

用 Qwen3.5-35B-A3B-GGUF 打造本地 AI Agent 的路径非常清晰：

1. 选量化：16GB 显存选Q4_K_M，大显存上Q6_K/Q8_0
2. 起服务：llama.cpp 加--jinja，vLLM 加--tool-call-parser qwen3_coder
3. 接框架：Qwen-Agent 三步接入，MCP 工具随接随用
4. 做调优：按官方采样参数表调参，控制思考模式与上下文长度

全程数据不出本机，工具调用、文件操作、代码生成一气呵成——这就是本地大模型 Agent 的魅力所在。🚀