企业官网建设流程全解析

FunASR 语音识别模型 INT8 量化：体积缩小 73%，精度几乎不掉的部署实操

【免费下载链接】FunASROpen-source speech recognition toolkit for training, inference, streaming ASR, VAD, punctuation, speaker diarization pipelines, and OpenAI-compatible/MCP serving.项目地址: https://gitcode.com/GitHub_Trending/fun/FunASR

FunASR 是端到端语音识别工具包，覆盖离线识别、流式 ASR、VAD、标点与说话人分离，也提供 OpenAI 兼容服务。把它导出成 ONNX 再走一遍 INT8 量化部署，Paraformer-large 权重从 880MB 压到 237MB（缩小约 73%），AISHELL-1 上的 CER 保持 1.95% 不变，单路 RTF 从 0.078 降到 0.045 左右——下面直接给可复制的路线。

先看效果：量化到底值不值

以下数据来自仓库内的 ONNX CPU 基准测试记录（Intel Xeon Platinum 8369B，16 核，带 AVX512-VNNI），测试集为 AISHELL-1：

多路并发下收益更明显：Paraformer-large 32 并发时 RTF 从 0.0046 降到 0.0024，吞吐接近翻倍。结论先摆在这——体积省了近四分之三，精度基本白送，CPU 上白赚约 1.7 倍单路加速，值。

原理速览：为什么 INT8 又省又快

一句话版本：把 FP32 权重换成 8 位整数，显存/内存占用直接降到约 1/4，模型加载和搬运的数据量同步变小。ASR 模型的瓶颈算子是 MatMul，FunASR 的量化实现只对这些算子的权重做动态量化（激活值仍按 FP32 计算），所以不损失精度却拿到了主要收益。现代 x86 CPU 的 VNNI 指令还能对 INT8 矩阵乘做硬件加速，速度提升就是从这里来的。

动手跑通：三步拿到 INT8 推理

第一步：导出并量化模型

装好funasr和onnxruntime后，一条命令同时完成「PyTorch → ONNX → INT8」，产物是model.onnx和model_quant.onnx（量化逻辑见 funasr/utils/export_utils.py）：

pip install -U funasr modelscope onnx onnxruntime python -m funasr.export.export_model \ --model-name damo/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch \ --export-dir ./export \ --type onnx \ --quantize True

第二步：加载量化模型推理

Python 侧用funasr-onnx包，把quantize=True打开就会自动加载model_quant.onnx：

from funasr_onnx import Paraformer model = Paraformer("./export", batch_size=1, quantize=True) print(model("./asr_example.wav"))

想换 GPU，只需pip install onnxruntime-gpu并把device_id设为显卡编号。

第三步（可选）：编译 C++ 推理引擎

要打进服务端或嵌入式镜像，用 C++ runtime。以 Linux 为例，runtime/onnxruntime 下用 CMake 指定 ONNX Runtime 1.14 与 FFmpeg 路径即可，编译产物在build/bin：

git clone https://gitcode.com/GitHub_Trending/fun/FunASR cd FunASR/runtime/onnxruntime mkdir build && cd build cmake -DCMAKE_BUILD_TYPE=Release .. \ -DONNXRUNTIME_DIR=/path/to/onnxruntime-linux-x64-1.14.0 \ -DFFMPEG_DIR=/path/to/ffmpeg-master-latest-linux64-gpl-shared make -j 4

落地与选型：CPU 还是 GPU

• CPU 服务器 / 边缘盒子：首选方向。INT8 对纯 CPU 环境收益最大（内存带宽是 CPU 推理的主要瓶颈），配合 AVX512-VNNI 的服务器收益最好。仓库 runtime/deploy_tools 里提供了一键部署脚本：funasr-runtime-deploy-offline-cpu-*.sh用于离线识别服务，funasr-runtime-deploy-online-cpu-zh.sh用于流式服务，都支持直接拉取含 ONNX Runtime 的 Docker 镜像。
• GPU 服务器：FP32 模型在 GPU 上本来就很快，INT8 主要帮的是省显存和多卡并发，适合高密度部署场景；ONNX Runtime 的 GPU EP 对动态量化的加速有限，此时建议评估 TensorRT 路线（见 runtime/triton_gpu 的模型仓库）。

避坑指南：三个高频问题

1. INT8 一定要校准集吗？不一定。FunASR 默认的quantize_dynamic是权重量化（只压 MatMul 权重、按通道取缩放因子），无需校准数据，导出的产物在 AISHELL 上 CER 与 FP32 持平。但如果你要继续做全量化（连激活也量化到 INT8），就必须准备 500 条左右、覆盖真实声学场景的校准音频，否则精度会掉。

2. 量化后没提速，甚至更慢了？先看 CPU 是否支持 AVX512-VNNI（lscpu | grep vnni）。仓库基准里，不带 VNNI 的 Xeon 8163 单路 RTF 只有 0.0820 → 0.0778，基本没变。老 CPU 上 INT8 的主要收益是体积和内存占用，别指望速度。

3. 精度掉得超出预期怎么调？量化实现里默认排除了output、bias_encoder、bias_decoder等敏感节点（见 funasr/utils/export_utils.py）。如果你的模型出现异常，可以在nodes_to_exclude里追加出问题的节点名；再不行就把weight_type从 QUInt8 换成 QInt8，或对该子网单独保留 FP32，用 CER 逐段回退定位问题层。

写在最后

一条导出命令换 73% 的体积节省和接近免费的推理加速，是 FunASR 量化部署给普通开发者最实在的红利——今天导出的model_quant.onnx，明天就能塞进你的 CPU 服务器或边缘设备。后续可以关注 ONNX Runtime 对静态量化与更低比特宽度的支持，配合仓库 docs/ 中的运行时教程把精度再抠一抠。

【免费下载链接】FunASROpen-source speech recognition toolkit for training, inference, streaming ASR, VAD, punctuation, speaker diarization pipelines, and OpenAI-compatible/MCP serving.项目地址: https://gitcode.com/GitHub_Trending/fun/FunASR