企业官网建设流程全解析

• 人工智能
• 大模型
• 多模态
• 基础模型
• 本地部署

MiniCPM-V 4.7 是 MiniCPM-V 系列最新的多模态大模型，其中35B-A3B是该系列首个 MoE（混合专家）模型。本文分享它在 iPhone 17 Pro Max 上的端侧推理实测：仅占用约 3GB 内存，解码速度稳定在13+ tokens/s，单图、多图和视频理解都能在手机本地流畅完成——不用联网、不用 GPU 服务器，这就是端侧 MoE 推理的真实体验。

为什么 35B MoE 大模型能塞进手机？

传统稠密大模型每生成一个字都要动用全部参数，端侧推理时"参数越多越慢"。而 MoE 架构的思路是：总参数大、单 token 激活参数少。

从 config.json 可以看到 35B-A3B 的具体配置：

• 256 个专家，每个 token 只激活 8 个（激活占比约 3%），即"A3B"（约 3B 激活参数）的由来
• 40 层主干，每 4 层才用一次全注意力，其余 75% 为线性注意力，长上下文计算量显著降低
• 支持 256K 上下文，覆盖绝大多数文档和视频理解场景
• 完整 BF16 权重大约 70GB（见 model.safetensors.index.json，共 16 个分片）

问题在于：35GB 级权重远大于手机内存，不同 token 还会选中不同专家，反复从闪存加载权重会导致解码卡顿。MiniCPM-V 4.7 正是针对这一点做了一套端侧推理优化。

三大端侧优化技术：专家调度、层量化与投机采样

MiniCPM-V 4.7 35B-A3B 成为首个能无损流畅运行在端侧的开源 MoE 模型，靠的是三项互补技术：

1. LES 前瞻专家调度（Lookahead Expert Scheduling）：用跨层路由预测提前预载下一层可能用到的专家权重，并把预取专家的"计算"与其余专家的"加载"重叠执行。预测只影响预取调度，实际计算仍遵循模型原始的 token 级路由——能力不打折，速度却上来了。
2. 细粒度层量化：对专家权重做分层细粒度量化，减小存储占用和内存带宽流量，让专家加载更适配端侧内存与带宽限制。
3. DSpark 投机采样集成：用轻量草稿模型先"猜"出一串 token，再由主模型一次性校验，配合前两项技术进一步提升解码效率（官方同时发布了配套的 DSpark 草稿模型）。

iPhone 17 Pro Max 实测：13+ tokens/s 是什么概念

以下是设备端直接录屏、未经剪辑的演示（iPhone 17 Pro Max，35B-A3B）：

• 图片问答、视频理解、界面操作描述等任务全程本地完成，回答速度接近正常阅读速度
• 运行期间占用内存仅约3GB——这意味着它甚至能和相机、浏览器等其他 App 共存
• 解码13+ tokens/s，对交互类场景（看图说话、OCR、文档摘要）已经足够"随手问、即时答"

不止手机：在 iPad M4 上同样流畅。官方还支持iOS、Android、HarmonyOS三大移动系统，并对 Rockchip、Houmo（后摩）、Intel、AMD、Arm 等芯片平台提供 day-0 部署支持，端侧部署生态相当完整。

性能与效率：不只"能跑"，还跑在 Pareto 前沿

端侧大模型的取舍往往是"能力 vs 速度"，而 35B-A3B 在 Instruct 模式下用更短的推理时间取得了比 Qwen3.6 35B-A3B 更高的综合得分，把多模态大模型的性能–效率 Pareto 前沿往前推了一档。

视觉语言综合能力方面，35B-A3B 在多个主流评测上保持第一梯队水平：

快速上手：三步部署 MiniCPM-V 4.7 35B-A3B

🛠️第 1 步：安装依赖

pip install "transformers[torch]>=5.18.0" torchvision torchcodec

📥第 2 步：获取模型权重

模型以openbmb/MiniCPM-V-4.7-35B-A3B发布，除 BF16 原版权重外，还提供FP8、int4、AWQ、GPTQ、GGUF等量化版本（端侧和 CPU 场景优先选 GGUF），另可搭配 Ollama 的minicpm-v4.7直接使用。

💻第 3 步：加载并推理

from transformers import AutoModelForImageTextToText, AutoProcessor model_id = "openbmb/MiniCPM-V-4.7-35B-A3B" processor = AutoProcessor.from_pretrained(model_id) model = AutoModelForImageTextToText.from_pretrained( model_id, torch_dtype="auto", device_map="auto" )

之后传入"图片 + 文字"的消息即可对话。两个实用小技巧：

• downsample_mode="16x"省算力、适合大多数场景；需要识别更多细节时换成"4x"（视觉 token 多 4 倍，基于 ViT 内早期压缩，开销可控）
• 多图、视频场景建议开启 Flash Attention 2，提速明显

更多细节可参考 README.md 中的完整示例，以及仓库内的 chat_template.jinja（对话模板）与 tokenizer.json。

总结：端侧 MoE 推理的里程碑

MiniCPM-V 4.7 35B-A3B 证明了一件事：大参数 MoE 多模态模型可以在手机上"不降质"地流畅运行。LES 前瞻专家调度 + 细粒度层量化 + DSpark 投机采样，让"3GB 内存跑 35B"从口号变成了可复现的实测数据；而 iOS/Android/HarmonyOS 与多芯片平台的 day-0 支持，则让开发者今天就能把它装进自己的产品。

📌适合谁：想在不上传数据的前提下本地处理图片/视频理解的开发者和极客；需要隐私敏感场景（医疗、金融文档）端侧方案的团队；以及所有对"手机跑大模型"感兴趣的普通用户。

• 人工智能
• 大模型
• 多模态
• 基础模型
• 本地部署