企业官网建设流程全解析

CANN ops-nn算子库终极指南：一文看懂1000+神经网络算子与NPU加速架构

【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库，实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn

CANN ops-nn 是昇腾 CANN 软件栈中的神经网络类计算算子库，收录了 1000+ 个神经网络算子（含多 V 版本变体），覆盖激活、矩阵乘法、卷积、归一化、池化、损失函数、优化器、量化等 14 大类，是实现网络在 NPU 上加速计算的核心能力库。无论你是想调用现成算子加速推理/训练，还是想开发自己的自定义算子，这份指南都能帮你快速上手。

ops-nn 与 ops-cv、ops-transformer、ops-math 等算子库并列，共同构成 CANN 的算子能力底座，底层依赖 opbase 提供的基础设施。

一、CANN ops-nn 是什么？新手30秒建立认知

一个典型场景：你的 PyTorch 模型中某个融合激活算子（如 SwiGLU）在 NPU 上无原生支持，ops-nn 已提供swiglu_group、clipped_swiglu等现成算子，直接调用即可加速，无需自己写 kernel。

二、14 大类算子全景：你的模型需要哪些神经网络算子？

按源码目录统计，ops-nn 内置算子分布如下（不含 experimental 目录下的社区贡献算子）：

📌 完整清单（含每个算子的硬件执行单元、aclnn 支持情况、版本说明）可查看仓库内文档docs/zh/op_list.md，接口索引见docs/zh/op_api_list.md。

几个值得新手关注的亮点：

• 量化算子全面：matmul/quant_batch_matmul_v4支持 fp8/mxfp8/hifp8/mxfp4 等低比特数据类型，覆盖 pertensor/perchannel/pertoken/pergroup/perblock 多种量化粒度，大模型推理加速刚需。
• 融合算子降低访存：如activation/ge_glu_v2、norm/add_layer_norm把多个基础算子融合为一次 kernel 执行，减少数据搬运开销。
• 新一代芯片适配：开源算子已支持 Ascend 950PR / Ascend 950DT / KirinX90，Atlas A2/A3 系列同样可用。

三、NPU 加速原理：算子为什么快？

算子性能来自昇腾芯片的并行硬件架构。每个 AI Core 内含Cube（矩阵乘法单元）、Vector（向量运算单元）、Scalar（标量控制单元）等计算单元，配合 L1/L2/Global Memory 多级存储与 MTE 搬运单元协同工作。

以矩阵乘算子为例：matmul 类算子的主体计算由Cube 单元以 3D 张量方式完成；而激活、归一化等逐元素计算则走Vector 单元；Scalar 单元负责循环与分支控制。算子库中大量"融合算子"（如 fused_mat_mul）正是为了最大化 Cube 利用率、减少 Buffer 之间的数据搬运。

Ascend 950 架构在 AIV 部分新增了SIMD/SIMT 同构编程能力（Warp Scheduler、SIMT Register File 等），ops-nn 已支持 MapIndex、ScatterSub 等基于新编程模型的算子实现。

💡 简单记忆：Cube 管矩阵乘、Vector 管逐元素、Scalar 管控制流，写算子 kernel 的核心就是把数据高效地搬进 Cube/Vector 并流水执行。

四、三种算子调用方式：按场景选对姿势

ops-nn 算子支持三种主流调用路径，新手可按场景选择：

每个算子目录（如activation/gelu/）都会标注其支持的调用方式：有op_api/目录即支持 aclnn 调用，有op_graph/目录即支持图模式调用。

五、从零到跑通：5步编译运行你的第一个算子

以官方教学算子 AddExample（源码位于examples/add_example）为例，完整流程约 10 分钟：

第 1 步｜准备环境：安装 NPU 驱动与 CANN 包（推荐 CANNLab 或 Docker，开箱即用），并下载与 CANN 版本配套的源码分支：

# 以 9.0.0 标签为例，请替换为你安装的 CANN 对应版本 git clone -b 9.0.0 https://gitcode.com/cann/ops-nn.git

第 2 步｜编译算子：

# --soc 按芯片型号传参：ascend910b / ascend910_93 / ascend950 bash build.sh --pkg --soc=${soc_version} --ops=add_example -j16

第 3 步｜安装算子包：执行./build_out/cann-ops-nn-*linux*.run，算子包将安装至${ASCEND_HOME_PATH}/opp/vendors路径。

第 4 步｜配置环境变量：将自定义算子库路径加入LD_LIBRARY_PATH。

第 5 步｜运行样例验证：

bash build.sh --run_example add_example eager cust --vendor_name=custom

看到打印的加法计算结果，即代表算子已成功在 NPU 上执行 🎉。该流程同样适用于仓库内任意内置算子的快速验证。

六、项目目录结构：看懂就能自己加算子

ops-nn/ ├── activation/ conv/ index/ loss/ matmul/ norm/ # 14 个算子分类目录 ├── ${op_name}/ # 单个算子工程 │ ├── op_host/ # Host 侧：算子信息库、Tiling、InferShape │ ├── op_kernel/ # Device 侧：AI Core Kernel 实现（Ascend C） │ ├── op_api/ # aclnn C 接口（可选） │ ├── op_graph/ # 图融合规则（可选） │ ├── examples/ # 调用示例 │ └── tests/ # 单元测试用例 ├── examples/ # 端到端开发教学样例（add_example、fast_kernel_launch_example） ├── experimental/ # 社区自定义算子贡献目录（1291+ 文件，规模可观） ├── docs/ # 中文文档中心（安装/调用/开发/调试） └── torch_extension/ # PyTorch 算子扩展 wheel 构建

• 每个算子是一个完整工程：代码、示例、测试、文档全部内聚在一个目录里，改一个算子不会牵动全库。
• 自定义算子建议放入experimental/目录，方便调试后贡献回社区（流程见CONTRIBUTING.md）。
• 想快速体验开发全流程，直接阅读docs/QUICKSTART.md快速入门教程，从编译、开发、调试到验证一次讲清。

七、新手学习路线图与进阶资源

两个容易踩的坑，提前提醒：

1. 版本配套：源码分支必须与 CANN 软件版本配套，master 分支可能存在不匹配风险，请按 release 版本选择 Git tag。
2. V 版本选择：部分算子存在多个 V 版本（如 gelu_v2、layer_norm_v4），直接使用最高 V 版本即可，高版本已兼容低版本全部能力。

八、常见问题 FAQ

Q1：ops-nn 和 CANN 内置算子有什么区别？CANN 出厂已内置大量算子；ops-nn 是其神经网络算子部分的开源自实现仓库，可查看源码、二次定制、单算子编译替换，也支持把社区贡献的自定义算子融合进同一套编译体系。

Q2：没有 NPU 硬件能开发算子吗？可以。Ascend 950PR 产品支持 NPU Simulator 仿真工具开发调试（见docs/zh/debug/npu_sim.md），无需实卡即可验证精度与性能数据。

Q3：怎么给 PyTorch 模型用上这些算子？用torch_extension/目录构建cann_ops_nnwheel 包并安装，即可通过 JIT 编译方式在 PyTorch 中以类似原生 API 的形式调用 aclnn 算子，支持整包或按算子名定制构建。

Q4：想学算子开发，从哪个算子入手最好？从examples/add_example（AI Core）或examples/add_example_aicpu（AI CPU）入手，结构最小、路径完整；追求高性能场景可研究examples/fast_kernel_launch_example轻量级高性能工程模板。

写在最后

CANN ops-nn 算子库用 1000+ 个神经网络算子覆盖了从激活、矩阵乘到优化器的完整训练/推理链路，并给出了清晰的分层目录与调用方式。建议的新手路径：先跑通 AddExample → 再看 op_list 找到业务所需算子 → 最后进入 Ascend C 开发指南动手写 kernel。项目持续更新中，欢迎阅读 CHANGELOG 了解每个版本的算子新增与性能优化动态。

【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库，实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn