多部门文档协作十大方案：从信息流转到版本管理的全链路拆解
2026/10/13 8:26:42
作者：昇腾实战派
知识地图：https://blog.csdn.net/Lumos_Lovegood/article/details/161601003
背景概述
本文档将介绍基于vLLM-Ascend的GLM-5.1模型在Atlas 800I A3上的单机混部部署实践，包括支持的特性、特性配置、环境信息以及性能测试典型case。
基本信息
| 软件版本 | 设备信息 | 组网形态 | 总卡数 | 数据格式 |
|---|---|---|---|---|
| 0.18.0 | NPU: Atlas 800I A3-560T, HBM 128G CPU: Kunpeng 920 (80核-2900MHz) 内存: 32根64G5200MHz OS: OpenEuler 22.03 LTS-SP4 | Atlas 800I A3单机 | 8 | W8A8C16 |
服务化配置
低时延/高吞吐
exportHCCL_OP_EXPANSION_MODE="AIV"exportOMP_PROC_BIND=falseexportOMP_NUM_THREADS=1exportHCCL_BUFFSIZE=200exportPYTORCH_NPU_ALLOC_CONF=expandable_segments:TrueexportVLLM_ASCEND_BALANCE_SCHEDULING=1exportVLLM_ASCEND_ENABLE_MLAPO=1vllm serve /mnt/weight/GLM-new-w8a8\--host0.0.0.0\--port8077\--data-parallel-size1\--tensor-parallel-size16\--enable-expert-parallel\--seed1024\--served-model-name glm-5\--max-num-seqs48\--max-model-len20480\--max-num-batched-tokens4096\--trust-remote-code\--gpu-memory-utilization0.95\--quantizationascend\--enable-chunked-prefill\--no-enable-prefix-caching\--async-scheduling\--additional-config'{"enable_npugraph_ex": true,"fuse_muls_add":true,"multistream_overlap_shared_expert":true}'\--compilation-config'{"cudagraph_mode": "FULL_DECODE_ONLY"}'\--speculative-config'{"num_speculative_tokens": 3, "method": "deepseek_mtp"}'典型测试用例
| 平均输入 | 平均输出 | 并行策略 | 上下文长度 | Prefix Cache命中率 | 总请求数 | 最大并发数 | 请求频率(req/s) |
|---|---|---|---|---|---|---|---|
| 2048 | 2048 | MLA：DP1+TP16 | 20480 | 0 | 16 | 4 | 0 |
| 3500 | 1500 | MLA：DP1+TP16 | 20480 | 0 | 96 | 24 | 0 |
| 3500 | 1500 | MLA：DP1+TP16 | 20480 | 0 | 16 | 4 | 0 |
| 16384 | 1024 | MLA：DP1+TP16 | 20480 | 0 | 20 | 5 | 0 |
| 16384 | 1024 | MLA：DP1+TP16 | 20480 | 0 | 4 | 1 | 0 |
| 2048 | 2048 | MLA：DP2+TP8 | 20480 | 0 | 144 | 36 | 0 |
| 32768 | 512 | MLA：DP2+TP8 | 33792 | 0 | 8 | 2 | 0 |
| 32768 | 512 | MLA：DP2+TP8 | 33792 | 0 | 4 | 1 | 0 |
测试命令
参考aisbench官方测试指南。
aisbench测试命令
vllm-ascend社区官网
特别声明
- 以上配置均未开启Prefix Cache，若实际生产环境需要使用该特性，参考vLLM-Ascend社区参数指南开启–enable-prefix-caching