CANN ops-math 算子接口指南:aclnnClampMaxTensor 与 aclnnInplaceClampMaxTensor 的使用与原理
2026/9/19 20:26:51 网站建设 项目流程

CANN ops-math 算子接口指南:aclnnClampMaxTensor 与 aclnnInplaceClampMaxTensor 的使用与原理

【免费下载链接】ops-math本项目是CANN提供的数学类基础计算算子库,实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-math

本指南聚焦 CANN ops-math 仓库中clip_by_value_v2算子模块提供的两个单算子 API:aclnnClampMaxTensor(非原地版本)与aclnnInplaceClampMaxTensor(原地版本),二者用于将输入张量所有元素限制在[-inf, max]范围内。文章将以接口文档为主体,结合仓库内 op_api 实现 与 示例代码 展开,读者可据此完成参数选型、两段式调用编码与错误排查。

产品支持情况

产品是否支持
Atlas A2 训练系列产品 / Atlas A2 推理系列产品

此外,接口文档在 Inplace 版本的约束说明中还提到了 Atlas A3 训练/推理系列产品以及 Ascend 950PR / Ascend 950DT,使用时需以实际部署环境的 CANN 版本为准。

功能说明

接口功能:将输入张量self的所有元素限制在[-inf, max]范围内,即仅对每个元素施加上界限制,不做下界裁剪。

计算公式如下:

$$ {out}{i} = min({{self}{i}},{max}_{i}) $$

其中self是待裁剪的张量,max是逐元素的上界张量,输出out的每个元素取selfmax对应位置的较小者。由于下界固定为-inf,小于等于max的元素保持不变,大于max的元素被置为max

从算子定位看,该功能对应 README 中描述的ClipByValueV2算子(核函数名为clip_by_value_v2)在只关心上界时的特例场景,属于数学类基础计算在 NPU 上的加速实现。

函数原型与两段式接口

aclnnClampMaxTensoraclnnInplaceClampMaxTensor实现完全相同的数学功能,二者的区别仅在于结果写回方式

  • aclnnClampMaxTensor:需要新建一个输出张量对象out来存储计算结果,输入输出分离;
  • aclnnInplaceClampMaxTensor:无需新建输出张量,直接在输入张量selfRef的内存中写回计算结果,节省一份输出内存。

每个算子均为两段式接口:必须先调用第一段...GetWorkspaceSize接口,获取计算所需的 workspace 大小以及封装了算子计算流程的执行器aclOpExecutor,再调用第二段接口执行计算。四个函数原型如下:

aclnnStatus aclnnClampMaxTensorGetWorkspaceSize( const aclTensor* self, const aclTensor* max, aclTensor* out, uint64_t* workspaceSize, aclOpExecutor** executor) aclnnStatus aclnnClampMaxTensor( void* workspace, uint64_t workspaceSize, aclOpExecutor* executor, aclrtStream stream)
aclnnStatus aclnnInplaceClampMaxTensorGetWorkspaceSize( aclTensor* selfRef, const aclTensor* max, uint64_t* workspaceSize, aclOpExecutor** executor) aclnnStatus aclnnInplaceClampMaxTensor( void* workspace, uint64_t workspaceSize, aclOpExecutor* executor, aclrtStream stream)

上述声明与仓库头文件 aclnn_clamp.h 中的ACLNN_API导出声明保持一致,其中第一段接口标注了@domain aclnn_math。关于 workspace 的含义与两段式调用约束(第二段接口不可重复调用等),可参考两段式接口说明。

aclnnClampMaxTensorGetWorkspaceSize 参数说明

参数表

参数名输入/输出描述使用说明数据类型数据格式维度(shape)非连续Tensor
self(aclTensor*)输入输入tensor,需要进行限制的张量,即公式中的 selfishape可以与max进行broadcast,数据类型与max的数据类型需满足数据类型推导规则(参见互转换关系)。FLOAT16、FLOAT、DOUBLE、INT8、UINT8、INT16、INT32、INT64、BFLOAT16ND1-8
max(aclTensor*)输入输入tensor,对self的上界进行限制,即公式中的 maxishape可以与self进行broadcast,数据类型与self的数据类型需满足数据类型推导规则(参见互转换关系)。FLOAT16、FLOAT、DOUBLE、INT8、UINT8、INT16、INT32、INT64、BFLOAT16、BOOLND1-8
out(aclTensor*)输出输出tensor,即公式中的 outishape需要是self与max broadcast之后的shape,且数据类型需要是self与max推导之后可转换的数据类型。FLOAT16、FLOAT、DOUBLE、INT8、UINT8、INT16、INT32、INT64、BFLOAT16ND1-8
workspaceSize(uint64_t*)输出返回需要在Device侧申请的workspace大小。-----
(aclOpExecutor**)输出返回op执行器,包含了算子计算流程。-----

平台约束:在 Atlas A2 训练系列产品 / Atlas A2 推理系列产品上,selfout的数据类型不支持 BOOL

返回值

第一段接口返回aclnnStatus状态码,具体定义参见aclnn返回码。第一段接口完成入参校验,出现以下场景时报错:

返回值错误码描述
ACLNN_ERR_PARAM_NULLPTR161001传入的self、out其中一个为空指针,max为空指针。
ACLNN_ERR_PARAM_INVALID161002self、max和out的数据类型不在支持范围内。
ACLNN_ERR_PARAM_INVALID161002self与max的shape不满足broadcast关系,或broadcast后的shape与输出out的shape不一致。
ACLNN_ERR_PARAM_INVALID161002self与max类型推导失败,或推导类型无法转为out的数据类型。
ACLNN_ERR_PARAM_INVALID161002self、max或out的维度超过8维。

aclnnClampMaxTensor 参数说明

参数名输入/输出描述
workspace输入在Device侧申请的workspace内存地址。
workspaceSize输入在Device侧申请的workspace大小,由第一段接口aclnnClampMaxTensorGetWorkspaceSize获取。
executor输入op执行器,包含了算子计算流程。
stream输入指定执行任务的Stream。

返回值:aclnnStatus,具体参见aclnn返回码。

aclnnInplaceClampMaxTensorGetWorkspaceSize 参数说明

参数表

参数名输入/输出描述使用说明数据类型数据格式维度(shape)非连续Tensor
selfRef(aclTensor*)输入/输出输入tensor,需要进行限制的张量,即公式中的 selfi与 outishape可以与max进行broadcast,数据类型与max的数据类型需满足数据类型推导规则(参见互转换关系)。FLOAT16、FLOAT、DOUBLE、INT8、UINT8、INT16、INT32、INT64、BFLOAT16ND1-8
max(aclTensor*)输入输入tensor,对self的上界进行限制,即公式中的 maxishape可以与selfRef进行broadcast,数据类型与self的数据类型需满足数据类型推导规则(参见互转换关系)。FLOAT16、FLOAT、DOUBLE、INT8、UINT8、INT16、INT32、INT64、BFLOAT16、BOOLND1-8
workspaceSize(uint64_t*)输出返回需要在Device侧申请的workspace大小。-----
(aclOpExecutor**)输出返回op执行器,包含了算子计算流程。-----

平台约束差异说明:

  • Atlas 训练系列产品 / Atlas 推理系列产品
    • selfRef的数据类型不支持 BOOL、BFLOAT16;
    • max(文档中称 clipValueMax)的数据类型不支持 BFLOAT16。
  • Atlas A2 训练系列产品 / Atlas A2 推理系列产品 / Atlas A3 训练系列产品 / Atlas A3 推理系列产品 / Ascend 950PR / Ascend 950DT
    • selfRefmax数据类型需满足数据类型推导规则(参见 TensorScalar互推导关系);
    • selfRef的数据类型不支持 BOOL。

返回值

返回值错误码描述
ACLNN_ERR_PARAM_NULLPTR161001传入的selfRef或max为空指针。
ACLNN_ERR_PARAM_INVALID161002selfRef与max的数据类型不在支持范围内。
ACLNN_ERR_PARAM_INVALID161002selfRef与max的shape不满足broadcast关系。
ACLNN_ERR_PARAM_INVALID161002selfRef与max类型推导失败。
ACLNN_ERR_PARAM_INVALID161002selfRef或max的维度超过8维。
ACLNN_ERR_PARAM_INVALID161002selfRef与max类型推导失败,或推导后的数据类型无法转为selfRef的数据类型。

aclnnInplaceClampMaxTensor 参数说明

参数名输入/输出描述
workspace输入在Device侧申请的workspace内存地址。
workspaceSize输入在Device侧申请的workspace大小,由第一段接口aclnnInplaceClampMaxTensorGetWorkspaceSize获取。
executor输入op执行器,包含了算子计算流程。
stream输入指定执行任务的Stream。

返回值:aclnnStatus,具体参见aclnn返回码。

约束说明

  • 确定性计算aclnnClampMaxTensoraclnnInplaceClampMaxTensor默认为确定性实现,即相同输入在多次执行下结果可复现,不受并行调度影响。确定性计算的通用背景可参考确定性计算说明。

源码级实现原理

从源码结构看,两个接口在第一段GetWorkspaceSize中均汇入公共实现aclnnClampTensorCommon(见 aclnn_clamp.cpp)。其中 Inplace 版本通过将selfRef同时作为输入与输出传入(aclnnClampTensorCommon(selfRef, nullptr, max, selfRef, ...),见 实现处),实现"原地写回";非 Inplace 版本则将独立分配的out作为输出(见 实现处)。

aclnnClampTensorCommon的核心执行链路可归纳为以下几步:

  1. 入参校验CheckParams完成空指针检查,selfmaxout任一为空即返回ACLNN_ERR_PARAM_NULLPTR
  2. 类型推导ClampTensorPromoteType(源码)以self为起点,依次与maxPromoteType提升,得到统一计算类型promoteType,并要求该类型可转换到out的数据类型、且必须在GetDtypeSupportList()返回的平台支持列表内;
  3. 形状推导ClampTensorPromoteShape(源码)通过BroadcastInferShape逐级计算selfmax广播后的 shape,并校验其与out的 shape 完全一致;
  4. 前处理l0op::Contiguous将非连续 Tensor 归一为连续内存(这也是参数表中"非连续Tensor 支持 √"的底层保障),随后l0op::Castselfmax统一转换到promoteType
  5. 广播处理AddBroadcastNode(源码)在 shape 不一致时按需插入BroadcastTo节点,若数据类型属于AICORE_DTYPE_SUPPORT_LIST(FLOAT16、FLOAT、INT32、INT64、BF16)则直接交由 AI Core 在clip_by_value内部完成广播,避免显式展开;
  6. 核心计算:调用l0op::ClipByValueV2完成out = min(self, max)(等价于上界裁剪);
  7. 后处理l0op::Cast将结果转回out的目标数据类型,l0op::ReFormat对齐存储格式,最终l0op::ViewCopy写回输出 Tensor;
  8. workspace 汇总uniqueExecutor->GetWorkspaceSize()汇总整条链路所需的临时内存大小并返回,第二段接口通过CommonOpExecutorRun实际下发执行。

核函数侧的实现位于 clip_by_value_v2.cpp,算子类型ClipByValueV2、核函数名clip_by_value_v2,支持 ND 格式输入,具体算子规格可参考模块 README。

调用示例

下面两段示例代码分别演示非原地与原地两种调用方式,完整可编译工程可参考 test_aclnn_clamp_max_tensor.cpp 与 test_aclnn_inplace_clamp_max_tensor.cpp。编译与运行的具体步骤请参考编译与运行样例。

aclnnClampMaxTensor 调用示例

#include <iostream> #include <vector> #include "acl/acl.h" #include "aclnnop/aclnn_clamp.h" #define CHECK_RET(cond, return_expr) \ do { \ if (!(cond)) { \ return_expr; \ } \ } while (0) #define LOG_PRINT(message, ...) \ do { \ printf(message, ##__VA_ARGS__); \ } while (0) int64_t GetShapeSize(const std::vector<int64_t>& shape) { int64_t shapeSize = 1; for (auto i : shape) { shapeSize *= i; } return shapeSize; } int Init(int32_t deviceId, aclrtStream* stream) { // 固定写法,资源初始化 auto ret = aclInit(nullptr); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclInit failed. ERROR: %d\n", ret); return ret); ret = aclrtSetDevice(deviceId); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSetDevice failed. ERROR: %d\n", ret); return ret); ret = aclrtCreateStream(stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtCreateStream failed. ERROR: %d\n", ret); return ret); return 0; } template <typename T> int CreateAclTensor(const std::vector<T>& hostData, const std::vector<int64_t>& shape, void** deviceAddr, aclDataType dataType, aclTensor** tensor) { auto size = GetShapeSize(shape) * sizeof(T); // 调用aclrtMalloc申请device侧内存 auto ret = aclrtMalloc(deviceAddr, size, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMalloc failed. ERROR: %d\n", ret); return ret); // 调用aclrtMemcpy将host侧数据拷贝到device侧内存上 ret = aclrtMemcpy(*deviceAddr, size, hostData.data(), size, ACL_MEMCPY_HOST_TO_DEVICE); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMemcpy failed. ERROR: %d\n", ret); return ret); // 计算连续tensor的strides std::vector<int64_t> strides(shape.size(), 1); for (int64_t i = shape.size() - 2; i >= 0; i--) { strides[i] = shape[i + 1] * strides[i + 1]; } // 调用aclCreateTensor接口创建aclTensor *tensor = aclCreateTensor(shape.data(), shape.size(), dataType, strides.data(), 0, aclFormat::ACL_FORMAT_ND, shape.data(), shape.size(), *deviceAddr); return 0; } int PrepareInputAndOutput( std::vector<int64_t>& selfShape, std::vector<int64_t>& outShape, std::vector<int64_t>& maxShape, void** selfDeviceAddr, aclTensor** self, void** maxDeviceAddr, aclTensor** max, void** outDeviceAddr, aclTensor** out) { std::vector<double> selfHostData = {0, 1, 2, 3, 4, 5, 6, 7}; std::vector<double> maxHostData = {1, 1, 1, 2, 2, 2, 3, 3}; std::vector<double> outHostData(8, 0); // 创建self aclTensor auto ret = CreateAclTensor(selfHostData, selfShape, selfDeviceAddr, aclDataType::ACL_DOUBLE, self); CHECK_RET(ret == ACL_SUCCESS, return ret); // 创建max aclTensor ret = CreateAclTensor(maxHostData, maxShape, maxDeviceAddr, aclDataType::ACL_DOUBLE, max); CHECK_RET(ret == ACL_SUCCESS, return ret); // 创建out aclTensor ret = CreateAclTensor(outHostData, outShape, outDeviceAddr, aclDataType::ACL_DOUBLE, out); CHECK_RET(ret == ACL_SUCCESS, return ret); return ACL_SUCCESS; } void ReleaseTensorAndScalar(aclTensor* self, aclTensor* max, aclTensor* out) { aclDestroyTensor(self); aclDestroyTensor(max); aclDestroyTensor(out); } void ReleaseDevice( void* selfDeviceAddr, void* maxDeviceAddr, void* outDeviceAddr, uint64_t workspaceSize, void* workspaceAddr, aclrtStream stream, int32_t deviceId) { aclrtFree(selfDeviceAddr); aclrtFree(maxDeviceAddr); aclrtFree(outDeviceAddr); if (workspaceSize > 0) { aclrtFree(workspaceAddr); } aclrtDestroyStream(stream); aclrtResetDevice(deviceId); aclFinalize(); } int main() { // 1. (固定写法)device/stream初始化,参考acl API手册 // 根据自己的实际device填写deviceId int32_t deviceId = 0; aclrtStream stream; auto ret = Init(deviceId, &stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("Init acl failed. ERROR: %d\n", ret); return ret); // 2. 构造输入与输出,需要根据API的接口自定义构造 std::vector<int64_t> selfShape = {4, 2}; std::vector<int64_t> maxShape = {4, 2}; std::vector<int64_t> outShape = {4, 2}; void* selfDeviceAddr = nullptr; void* maxDeviceAddr = nullptr; void* outDeviceAddr = nullptr; aclTensor* self = nullptr; aclTensor* max = nullptr; aclTensor* out = nullptr; ret = PrepareInputAndOutput( selfShape, maxShape, outShape, &selfDeviceAddr, &self, &maxDeviceAddr, &max, &outDeviceAddr, &out); CHECK_RET(ret == ACL_SUCCESS, return ret); // 3. 调用CANN算子库API,需要修改为具体的API名称 uint64_t workspaceSize = 0; aclOpExecutor* executor; // 调用aclnnClampMaxTensor第一段接口 ret = aclnnClampMaxTensorGetWorkspaceSize(self, max, out, &workspaceSize, &executor); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnClampMaxTensorGetWorkspaceSize failed. ERROR: %d\n", ret); return ret); // 根据第一段接口计算出的workspaceSize申请device内存 void* workspaceAddr = nullptr; if (workspaceSize > 0) { ret = aclrtMalloc(&workspaceAddr, workspaceSize, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("allocate workspace failed. ERROR: %d\n", ret); return ret); } // 调用aclnnClampMaxTensor第二段接口 ret = aclnnClampMaxTensor(workspaceAddr, workspaceSize, executor, stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnClampMaxTensor failed. ERROR: %d\n", ret); return ret); // 4. (固定写法)同步等待任务执行结束 ret = aclrtSynchronizeStream(stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSynchronizeStream failed. ERROR: %d\n", ret); return ret); // 5. 获取输出的值,将device侧内存上的结果拷贝至host侧,需要根据具体API的接口定义修改 auto size = GetShapeSize(outShape); std::vector<double> resultData(size, 0); ret = aclrtMemcpy(resultData.data(), resultData.size() * sizeof(resultData[0]), outDeviceAddr, size * sizeof(resultData[0]), ACL_MEMCPY_DEVICE_TO_HOST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("copy result from device to host failed. ERROR: %d\n", ret); return ret); for (int64_t i = 0; i < size; i++) { LOG_PRINT("result[%ld] is: %f\n", i, resultData[i]); } // 6. 释放aclTensor和aclScalar,需要根据具体API的接口定义修改 ReleaseTensorAndScalar(self, max, out); // 7.释放device资源,需要根据具体API的接口定义修改 ReleaseDevice(selfDeviceAddr, maxDeviceAddr, outDeviceAddr, workspaceSize, workspaceAddr, stream, deviceId); return 0; }

以示例数据self = {0,1,2,3,4,5,6,7}max = {1,1,1,2,2,2,3,3}(shape 均为{4,2})计算,逐元素取min(self, max),期望结果为{0,1,1,2,2,2,3,3}

aclnnInplaceClampMaxTensor 调用示例

#include <iostream> #include <vector> #include "acl/acl.h" #include "aclnnop/aclnn_clamp.h" #define CHECK_RET(cond, return_expr) \ do { \ if (!(cond)) { \ return_expr; \ } \ } while (0) #define LOG_PRINT(message, ...) \ do { \ printf(message, ##__VA_ARGS__); \ } while (0) int64_t GetShapeSize(const std::vector<int64_t>& shape) { int64_t shapeSize = 1; for (auto i : shape) { shapeSize *= i; } return shapeSize; } int Init(int32_t deviceId, aclrtStream* stream) { // 固定写法,资源初始化 auto ret = aclInit(nullptr); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclInit failed. ERROR: %d\n", ret); return ret); ret = aclrtSetDevice(deviceId); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSetDevice failed. ERROR: %d\n", ret); return ret); ret = aclrtCreateStream(stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtCreateStream failed. ERROR: %d\n", ret); return ret); return 0; } template <typename T> int CreateAclTensor(const std::vector<T>& hostData, const std::vector<int64_t>& shape, void** deviceAddr, aclDataType dataType, aclTensor** tensor) { auto size = GetShapeSize(shape) * sizeof(T); // 调用aclrtMalloc申请device侧内存 auto ret = aclrtMalloc(deviceAddr, size, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMalloc failed. ERROR: %d\n", ret); return ret); // 调用aclrtMemcpy将host侧数据拷贝到device侧内存上 ret = aclrtMemcpy(*deviceAddr, size, hostData.data(), size, ACL_MEMCPY_HOST_TO_DEVICE); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMemcpy failed. ERROR: %d\n", ret); return ret); // 计算连续tensor的strides std::vector<int64_t> strides(shape.size(), 1); for (int64_t i = shape.size() - 2; i >= 0; i--) { strides[i] = shape[i + 1] * strides[i + 1]; } // 调用aclCreateTensor接口创建aclTensor *tensor = aclCreateTensor(shape.data(), shape.size(), dataType, strides.data(), 0, aclFormat::ACL_FORMAT_ND, shape.data(), shape.size(), *deviceAddr); return 0; } int PrepareInputAndOutput( std::vector<int64_t>& selfShape, std::vector<int64_t>& maxShape, void** selfDeviceAddr, aclTensor** self, void** maxDeviceAddr, aclTensor** max) { std::vector<double> selfHostData = {0, 1, 2, 3, 4, 5, 6, 7}; std::vector<double> maxHostData = {1, 1, 1, 2, 2, 2, 3, 3}; // 创建self aclTensor auto ret = CreateAclTensor(selfHostData, selfShape, selfDeviceAddr, aclDataType::ACL_DOUBLE, self); CHECK_RET(ret == ACL_SUCCESS, return ret); // 创建max aclTensor ret = CreateAclTensor(maxHostData, maxShape, maxDeviceAddr, aclDataType::ACL_DOUBLE, max); CHECK_RET(ret == ACL_SUCCESS, return ret); return ACL_SUCCESS; } void ReleaseTensorAndScalar(aclTensor* self, aclTensor* max) { aclDestroyTensor(self); aclDestroyTensor(max); } void ReleaseDevice( void* selfDeviceAddr, void* maxDeviceAddr, uint64_t workspaceSize, void* workspaceAddr, aclrtStream stream, int32_t deviceId) { aclrtFree(selfDeviceAddr); aclrtFree(maxDeviceAddr); if (workspaceSize > 0) { aclrtFree(workspaceAddr); } aclrtDestroyStream(stream); aclrtResetDevice(deviceId); aclFinalize(); } int main() { // 1. (固定写法)device/stream初始化,参考acl API手册 // 根据自己的实际device填写deviceId int32_t deviceId = 0; aclrtStream stream; auto ret = Init(deviceId, &stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("Init acl failed. ERROR: %d\n", ret); return ret); // 2. 构造输入与输出,需要根据API的接口自定义构造 std::vector<int64_t> selfShape = {4, 2}; std::vector<int64_t> maxShape = {4, 2}; void* selfDeviceAddr = nullptr; void* maxDeviceAddr = nullptr; aclTensor* self = nullptr; aclTensor* max = nullptr; ret = PrepareInputAndOutput(selfShape, maxShape, &selfDeviceAddr, &self, &maxDeviceAddr, &max); CHECK_RET(ret == ACL_SUCCESS, return ret); // 3. 调用CANN算子库API,需要修改为具体的API名称 uint64_t workspaceSize = 0; aclOpExecutor* executor; // 调用aclnnInplaceClampMaxTensor第一段接口 ret = aclnnInplaceClampMaxTensorGetWorkspaceSize(self, max, &workspaceSize, &executor); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnInplaceClampMaxTensorGetWorkspaceSize failed. ERROR: %d\n", ret); return ret); // 根据第一段接口计算出的workspaceSize申请device内存 void* workspaceAddr = nullptr; if (workspaceSize > 0) { ret = aclrtMalloc(&workspaceAddr, workspaceSize, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("allocate workspace failed. ERROR: %d\n", ret); return ret); } // 调用aclnnInplaceClampMaxTensor第二段接口 ret = aclnnInplaceClampMaxTensor(workspaceAddr, workspaceSize, executor, stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnInplaceClampMaxTensor failed. ERROR: %d\n", ret); return ret); // 4. (固定写法)同步等待任务执行结束 ret = aclrtSynchronizeStream(stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSynchronizeStream failed. ERROR: %d\n", ret); return ret); // 5. 获取输出的值,将device侧内存上的结果拷贝至host侧,需要根据具体API的接口定义修改 auto size = GetShapeSize(selfShape); std::vector<double> resultData(size, 0); ret = aclrtMemcpy(resultData.data(), resultData.size() * sizeof(resultData[0]), selfDeviceAddr, size * sizeof(resultData[0]), ACL_MEMCPY_DEVICE_TO_HOST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("copy result from device to host failed. ERROR: %d\n", ret); return ret); for (int64_t i = 0; i < size; i++) { LOG_PRINT("result[%ld] is: %f\n", i, resultData[i]); } // 6. 释放aclTensor和aclScalar,需要根据具体API的接口定义修改 ReleaseTensorAndScalar(self, max); // 7. 释放device资源,需要根据具体API的接口定义修改 ReleaseDevice(selfDeviceAddr, maxDeviceAddr, workspaceSize, workspaceAddr, stream, deviceId); return 0; }

与原地方案不同,Inplace 示例中不创建独立的out张量:第一段接口aclnnInplaceClampMaxTensorGetWorkspaceSize的入参只有self(对应原型中的selfRef)与max,结果直接写回self对应的 Device 内存,因此第 5 步回读结果时使用的是selfDeviceAddr

使用建议与注意事项

  • 选型:若后续仍需使用原始数据,请选择非原地的aclnnClampMaxTensor;若原始数据不再需要且希望省去输出内存申请,可选aclnnInplaceClampMaxTensor
  • shape 约束selfmax须满足 broadcast 关系,且广播后的 shape 必须与out(或原地场景的selfRef)完全一致,否则第一段接口返回ACLNN_ERR_PARAM_INVALID(161002)。
  • 维度限制:输入/输出维度不得超过 8 维。
  • 数据类型selfmax需满足互转换关系的类型推导规则;注意平台差异(如部分产品self不支持 BOOL、max支持 BOOL 但selfRef不支持 BOOL),详见上文参数表与约束说明。
  • workspace 管理:当第一段接口返回的workspaceSize大于 0 时,必须通过aclrtMalloc在 Device 侧申请对应大小的内存,并在任务结束后释放,示例代码中已包含该逻辑。

【免费下载链接】ops-math本项目是CANN提供的数学类基础计算算子库,实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-math

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询