企业官网建设流程全解析

npugraph_ex 后端使用指南

【免费下载链接】cannbot-skillsCANNBot 是面向 CANN 开发的用于提升开发效率的系列智能体，本仓库为其提供可复用的 Skills 模块。项目地址: https://gitcode.com/cann/cannbot-skills

npugraph_ex 是基于 torch.compile 的 aclgraph 图模式加速方案，通过捕获模式 (Capture & Replay) 构建模型运行实例。

适用场景

• 在线推理场景：追求简单快速适配
• 熟悉 CUDAGraph 模式：使用习惯类似
• LLM Decode 阶段：固定 shape 的单 token 输入

使用约束

快速上手

import torch import torch_npu model = YourModel().npu() opt_model = torch.compile(model, backend="npugraph_ex", fullgraph=True, dynamic=False) output = opt_model(input_tensor)

详细说明见 npugraph_ex 快速上手

问题定界流程

问题发生 │ ├─→ aot_eager 验证 ──失败──→ 修复用户脚本 │ ↓ 正常 │ ├─→ force_eager=True ──失败──→ 修复用户脚本 │ ↓ 正常 │ └─→ npugraph_ex/FX图问题

options 配置速查

opt_model = torch.compile( model, backend="npugraph_ex", fullgraph=True, options={ # ========== 调试 ========== "force_eager": False, # 强制 eager 模式调试 # ========== FX图优化 ========== "inplace_pass": True, # 原地操作优化 "input_inplace_pass": True, # 输入原地优化 "pattern_fusion_pass": True, # 算子融合 # ========== 内存优化 ========== "reuse_graph_pool_in_same_fx": True, # 图池复用 "clone_input": True, # 克隆输入 "clone_output": False, # 克隆输出 "use_graph_pool": None, # 图池配置 # ========== 性能优化 ========== "static_kernel_compile": False, # 静态Kernel编译 "remove_noop_ops": True, # 移除空操作 "frozen_parameter": False, # 冻结参数 # ========== 捕获控制 ========== "capture_limit": 64, # 重捕获次数限制 } )

核心 API

功能文档索引

在线文档：gitcode.com/Ascend/torchair/docs/zh/npugraph_ex

基础功能

进阶功能

DFX 功能

API 参考

常见问题

1. 如何判断是否应该使用 npugraph_ex？

• 适合：LLM decode 阶段、固定 shape 推理、简单快速适配
• 不适合：需要动态 shape、生产环境稳定性优先、训练场景

2. 报错 "不支持 capture" 怎么办？

检查代码中是否包含：

• 随机数算子（randn、dropout）
• 动态控制流（if/while 基于 tensor 值）
• .item()调用

3. 性能劣化怎么办？

1. 开启重编译日志：torch._logging.set_logs(recompiles=True)
2. 检查是否发生重编译
3. 参考llm-model-guide.md中的改造指南

相关文档

• LLM 模型改造指南：llm-model-guide.md（LLM 适配优先阅读）
• GE 图模式指南：ge-graph-guide.md

【免费下载链接】cannbot-skillsCANNBot 是面向 CANN 开发的用于提升开发效率的系列智能体，本仓库为其提供可复用的 Skills 模块。项目地址: https://gitcode.com/cann/cannbot-skills