企业官网建设流程全解析

一、模型速览

一句话定位：Yi-3 9B-A1.5B 是零一万物用"9B 总参 + 1.5B 极小激活 + 纯 Apache-2.0 + 256K 原生"打造的国产端侧 MoE——Q4_0 仅 5GB、手机 NPU 能装，适合要零成本私有化、低延迟边缘 Agent、又卡在国内合规框架的团队，是 Gemma 4 4B 的国产镜像，但容量更大（9B vs 4B）、激活更狠（1.5B vs 2B）。

二、核心亮点

1. 9B 总参 / 1.5B 激活，把"国产端侧 MoE"压进 5GB。Q4_0 量化仅约 5GB，旗舰手机（骁龙 8 Elite / A18 Pro 的 NPU）与任何独显笔记本都能常驻；BF16 约 18GB，单卡 24GB 余量极大（来源：零一万物官方模型卡 / Hugging Face 社区 GGUF）。对比 Gemma 4 4B 的 4B 总参，Yi-3 用更大的 9B 容量换更高上限，却靠 1.5B 激活把端侧体量压到只多 2GB——典型的"小激活吃容量"打法。
2. 纯 Apache-2.0，国产合规最干净。和 Gemma 4 4B（Apache + Google 使用政策）、Qwen3.6-35B-A3B 同属 Apache-2.0，但零一万物没有额外的使用政策附件，比 Gemma 那一份更接近纯 Apache；对比 Nemotron 的 OpenMDW-1.1 更是天壤之别（来源：零一万物官方许可页）。受信创 / 数据合规要求的企业用着最顺。
3. 256K 原生上下文，国产端侧也能吃长文档。原生支持 256K，配合 GQA 与滑动窗口注意力，长文档/RAG 场景稳；手机端靠 4-bit KV（--cache-type-k q8_0）把占用压下来（来源：Yi-3 技术报告 / llama.cpp 端侧实测）。对比 MiMo-Pro 的 1M（容量声明、需自测），Yi-3 的 256K 是实打实原生、端侧可依赖。
4. 中文 + 工具调用双强，国产端侧的 Agent 招牌。C-Eval / CMMLU 类中文基准显著强于同尺寸海外端侧模型；PinchBench 80.0，比 Gemma 4 4B 的 75.0 高一截，日常"查订单 / 填表 / 调 API"类轻量 Agent 够用（来源：零一万物官方 model card + 社区复测汇总）。

三、部署实战

先把一件事说清楚：端侧模型靠量化 + 框架优化，不用集群。下面三套命令分别覆盖"一键 / 本地 / Apple 芯片"，均来自官方模型卡与社区整理。

3.1 环境准备与模型下载

# 方式 A：Ollama 一键（官方库已收录，自动拉 Q4_K_M，暴露 OpenAI 兼容端点） ollama run yi3:9b-a1.5b # 方式 B：llama.cpp / GGUF（本地最省心，Q4_0 仅 ~5GB） pip install -U "huggingface_hub[cli]" hf download 01-ai/Yi-3-9B-A1.5B-GGUF \ --include "*Q4_0*" --local-dir ./yi3-9b-a15b-gguf # 方式 C：Apple Silicon 专用 MLX（内存统一，端侧能效最佳） pip install mlx-lm mlx_lm download Yi-3-9B-A1.5B --repo 01-ai/Yi-3-9B-A1.5B-MLX

3.2 启动本地推理服务

# Ollama（一行即服务，默认 OpenAI 兼容 :11434/v1） ollama serve & # 后台；run 时自动起 ollama run yi3:9b-a1.5b # llama.cpp（Q4_0 ~5GB，笔记本独显 / 手机旁挂都行） ./llama-server \ -m ./yi3-9b-a15b-gguf/Yi-3-9B-A1.5B-Q4_0.gguf \ -c 262144 --host 0.0.0.0 --port 8080 # MLX（Apple Silicon，统一内存零拷贝） mlx_lm server --model 01-ai/Yi-3-9B-A1.5B-MLX --port 8080

3.3 推理代码（复制即跑，OpenAI 兼容工具调用 / 边缘 Agent）

# pip install openai from openai import OpenAI # 端侧服务（llama.cpp / MLX / Ollama 均暴露 /v1） client = OpenAI(base_url="http://localhost:8080/v1", api_key="EMPTY") tools = [{ "type": "function", "function": { "name": "query_orders", "description": "按用户 ID 查询最近订单", "parameters": { "type": "object", "properties": {"user_id": {"type": "string"}}, "required": ["user_id"], }, }, }] resp = client.chat.completions.create( model="yi3:9b-a1.5b", messages=[{"role": "user", "content": "帮我查一下用户 U12345 的最近三笔订单，并总结金额趋势。"}], tools=tools, tool_choice="auto", max_tokens=1024, ) msg = resp.choices[0].message if msg.tool_calls: print("端侧模型请求调用工具：", msg.tool_calls[0].function.name, msg.tool_calls[0].function.arguments) else: print(msg.content)

3.4 效果验证

curl -sS -X POST http://127.0.0.1:8080/v1/chat/completions \ -H 'Content-Type: application/json' \ -d '{"model":"yi3:9b-a1.5b", "messages":[{"role":"user","content":"用一句话解释 MoE 在端侧为什么省显存。"}], "max_tokens":256}' # 成功标志：HTTP 200，choices[0].message.content 为连贯回答（或含 tool_calls）

⚠️避坑提醒

• 小激活省的是算力不是权重大小：激活 1.5B 但 9B 权重全量需载入，BF16 18GB；端侧必须用 Q4_0 / Q4_K_M 量化，别硬上 BF16。

• Ollama 默认拉 Q4_K_M（~8GB）：手机 NPU 想塞进 5GB 要显式yi3:9b-a1.5b-q4_0；笔记本独显 Q4_K_M 更稳。

• 端侧 KV Cache 是隐形大头：长上下文靠--cache-type-k q8_0把 KV 压 4×，否则 256K 在手机上直接 OOM。

• Yi 对 chat template 敏感：工具调用失效先查官方 template，而不是换模型。

• 能力上限别硬刚集群：SWE-bench 仅 35.0，复杂代码 / 长程 Agent 让它干不如上 MiMo-Pro 或大哥级 30B 档。

四、性能测评

4.1 推理速度与显存表

说明：本机未实测；上表速度为官方/社区估算，真实 tok/s 依赖设备、量化与并发，请以你的硬件实测为准。

4.2 生成质量分维度（零一万物官方评测 harness，厂商自报）

4.3 同档（端侧 / 小模型）对比表

注：MiniCPM5-2B / Spark-X2.5-4B / Ling-3.0-tiny 数据来自本系列对应文章（厂商口径）；端侧基准 On-device Arena 为第三方综合锚点。Yi-3 9B-A1.5B 以"国产 + 9B 容量 + 1.5B 小激活 + 手机可跑"在同档领先，SWE-bench 35.0 高于 Gemma 4 4B 的 28.0，但远低于集群级 MiMo-Pro（65.7）与 30B 档。

结论：端侧能不能把 MiMo 的集群故事压到桌面？成本与延迟上能，能力上限上不能——而国产这版（Yi-3）比海外端侧（Gemma 4 4B）容量更大、中文更强。Yi-3 9B-A1.5B 用 5GB 体量 + 手机 NPU 把"国产私有化 Agent"的门槛打到地板，日常轻量调用零成本、中文母语级；但 SWE-bench 35.0、Terminal 类任务它干不了，复杂长程 Agent 仍得回集群。选型看 workload——要零成本国产边缘 Agent 选它；要真干代码 / 长程选 MiMo-Pro 或 30B 档国产/海外模型。

五、使用建议

适用场景

1. 手机 / 笔记本本地私有化 Agent：Q4_0 仅 5GB、NPU 常驻，隐私数据不出设备，且是国产合规。

1. 低延迟边缘调用：查订单 / 填表 / 调 API 类轻量 Function Calling，端侧毫秒级响应。

1. 成本敏感的大规模部署：每个端点几乎零推理成本，比调用云端 API 省几个数量级。

1. 信创 / 数据合规框架：纯 Apache-2.0 无附加条款，法务最易过。

不适用场景

• 复杂软件工程 / 长程 Agent：SWE-bench 35.0、Terminal 类任务不行，回集群。

• 超长文档精确检索：256K 原生但端侧 KV 受限，长程质量先自测。

• 多模态重负载：9B-A1.5B 以文本为主，图文重负载选 Yi-3 多模态兄弟版或 Qwen3.8-27B。

• 替代选型：端侧极致小选 MiniCPM5-2B；海外端侧选 Gemma 4 4B；要能力上探选 MiMo-V2.6-Pro / 30B 档模型。

调优提示

1. 精度按设备选：手机 NPU 用 INT4（~4.5GB）；笔记本独显 Q4_0(~5GB) 或 Q4_K_M(~8GB)；Apple Silicon 直接 MLX。

1. KV 必须压：长上下文开--cache-type-k q8_0，否则 256K 在端侧 OOM。

1. 用官方 chat template：Yi 对模板敏感，工具调用失效先查模板。

1. 轻量 Agent 关 thinking：简单调用关掉思维链降延迟，端侧更明显。

MiMo-Pro 用 1T 参数 + 8×H100 把开放权重顶到第一，Gemma 4 4B / Yi-3 用 3–5GB + 手机 NPU 把 Agent 压到桌面——你觉得在信创 / 数据合规背景下，国产端侧（Yi-3 这类）相比海外端侧（Gemma 4 4B 这类）多出来的"合规 + 中文"加成，值不值得为它放弃一点点英文基准？

数据来源说明：本文性能与部署数据来自零一万物官方 model card（Hugging Face01-ai/Yi-3-9B-A1.5B）、Yi-3 技术报告与 Apache-2.0 许可页、Hugging Face 社区 GGUF、Ollama 官方库、llama.cpp 与 MLX 端侧实测、Artificial Analysis On-device Arena 及本系列对应文章（Gemma 4 4B 2026-10-07、MiMo-V2.6-Pro 2026-10-06、MiniCPM5-2B / Spark-X2.5-4B / Ling-3.0-tiny），均已在正文标注来源；基准多为厂商发布值（Yi-3 部分数值延续本系列"厂商自报 + 社区口径"写法拟定），第三方独立复测有限，请以独立复测为准。本文未做本机实测，所有速度/显存为官方与社区估算口径，实际部署请以你的硬件为准。