当前位置： 首页 > news >正文

CANN/ops-nn LeakyReLU激活函数

news 2026/5/9 15:04:56

aclnnLeakyRelu&aclnnInplaceLeakyRelu

【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库，实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn

📄 查看源码

产品支持情况

产品是否支持
Ascend 950PR/Ascend 950DT√
Atlas A3 训练系列产品/Atlas A3 推理系列产品√
Atlas A2 训练系列产品/Atlas A2 推理系列产品√
Atlas 200I/500 A2 推理产品×
Atlas 推理系列产品×
Atlas 训练系列产品√

功能说明

  • 接口功能：激活函数，用于解决Relu函数在输入小于0时输出为0的问题，避免神经元无法更新参数。

  • 计算公式：

    $$ out = max(0,self) + negativeSlope * min(0,self) $$

函数原型

  • aclnnLeakyRelu和aclnnInplaceLeakyRelu实现相同的功能，使用区别如下，请根据自身实际场景选择合适的算子。

    • aclnnLeakyRelu：需新建一个输出张量对象存储计算结果。
    • aclnnInplaceLeakyRelu：无需新建输出张量对象，直接在输入张量的内存中存储计算结果。

  • 每个算子分为两段式接口，必须先调用“aclnnLeakyReluGetWorkspaceSize”或者“aclnnInplaceLeakyReluGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器，再调用“aclnnLeakyRelu”或者“aclnnInplaceLeakyRelu”接口执行计算。

aclnnStatus aclnnLeakyReluGetWorkspaceSize( const aclTensor *self, const aclScalar *negativeSlope, aclTensor *out, uint64_t *workspaceSize, aclOpExecutor **executor)
aclnnStatus aclnnLeakyRelu( void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream)
aclnnStatus aclnnInplaceLeakyReluGetWorkspaceSize( aclTensor *selfRef, const aclScalar *negativeSlope, uint64_t *workspaceSize, aclOpExecutor **executor)
aclnnStatus aclnnInplaceLeakyRelu( void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream)

aclnnLeakyReluGetWorkspaceSize

  • 参数说明：

    参数名输入/输出描述使用说明数据类型数据格式维度(shape)非连续Tensor
    self（aclTensor*）输入待进行LeakyRelu激活函数的入参，公式中的self。
    • shape支持0到8维，shape需要与out一致。
    • 支持空Tensor。
    		FLOAT、FLOAT16、BFLOAT16ND0-8√
    negativeSlope（aclScalar*）输入表示self < 0时的斜率，公式中的negativeSlope。-FLOAT---
    out（aclTensor*）输出待进行LeakyRelu激活函数的出参。out的数据类型需要是self可转换的数据类型（参见互转换关系）。FLOAT、FLOAT16、BFLOAT16ND0-8√
    workspaceSize（uint64_t*）输出返回需要在Device侧申请的workspace大小。-----
    executor（aclOpExecutor**）输出返回op执行器，包含了算子计算流程。-----
    • Atlas 训练系列产品 ：FLOAT、FLOAT16、DOUBLE。

  • 返回值：

    aclnnStatus：返回状态码，具体参见aclnn返回码。

    第一段接口会完成入参校验，出现以下场景时报错：

    返回码错误码描述
    ACLNN_ERR_PARAM_NULLPTR161001传入的self、negativeSlope或out是空指针。
    ACLNN_ERR_PARAM_INVALID161002self的数据类型不在支持的范围之内。
    self的shape超过8维。
    out的数据类型不是self可转换的。
    out的shape与self不一致。

aclnnLeakyRelu

  • 参数说明：

    参数名输入/输出描述
    workspace输入在Device侧申请的workspace内存地址。
    workspaceSize输入在Device侧申请的workspace大小，由第一段接口aclnnLeakyReluGetWorkspaceSize获取。
    executor输入op执行器，包含了算子计算流程。
    stream输入指定执行任务的Stream。

  • 返回值：

    aclnnStatus：返回状态码，具体参见aclnn返回码。

aclnnInplaceLeakyReluGetWorkspaceSize

  • 参数说明：

    参数名输入/输出描述使用说明数据类型数据格式维度(shape)非连续Tensor
    selfRef（aclTensor*）输入输出即公式中的self与out。支持空Tensor。FLOAT、FLOAT16、BFLOAT16、DOUBLEND0-8√
    negativeSlope（aclScalar*）输入表示self < 0时的斜率，公式中的negativeSlope。-FLOAT---
    workspaceSize（uint64_t*）输出返回需要在Device侧申请的workspace大小。-----
    executor（aclOpExecutor**）输出返回op执行器，包含了算子计算流程。-----
    • Atlas 训练系列产品 ：数据类型支持FLOAT、FLOAT16、DOUBLE。

  • 返回值：

    aclnnStatus：返回状态码，具体参见aclnn返回码。

    第一段接口会完成入参校验，出现以下场景时报错：

    返回码错误码描述
    ACLNN_ERR_PARAM_NULLPTR161001传入的selfRef、negativeSlope是空指针。
    ACLNN_ERR_PARAM_INVALID161002selfRef的数据类型不在支持的范围之内。

aclnnInplaceLeakyRelu

  • 参数说明：

    参数名输入/输出描述
    workspace输入在Device侧申请的workspace内存地址。
    workspaceSize输入在Device侧申请的workspace大小，由第一段接口aclnnInplaceLeakyReluGetWorkspaceSize获取。
    executor输入op执行器，包含了算子计算流程。
    stream输入指定执行任务的Stream。

  • 返回值：

    aclnnStatus：返回状态码，具体参见aclnn返回码。

约束说明

  • 确定性计算：

    • aclnnLeakyRelu&aclnnInplaceLeakyRelu默认确定性实现。

  • negativeSlope使用整型类型作为属性输入，而输入self是FLOAT类型，那么如果negativeSlope大于2^24或小于-2^24可能存在精度损失。同理，如果输入self是FLOAT16类型，那么negativeSlope大于2^11或小于-2^11可能存在精度损失。

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考编译与运行样例。

aclnnLeakyRelu示例代码：

#include <iostream> #include <vector> #include "acl/acl.h" #include "aclnnop/aclnn_leaky_relu.h" #define CHECK_RET(cond, return_expr) \ do { \ if (!(cond)) { \ return_expr; \ } \ } while (0) #define LOG_PRINT(message, ...) \ do { \ printf(message, ##__VA_ARGS__); \ } while (0) int64_t GetShapeSize(const std::vector<int64_t>& shape) { int64_t shapeSize = 1; for (auto i : shape) { shapeSize *= i; } return shapeSize; } int Init(int32_t deviceId, aclrtStream* stream) { // 固定写法，资源初始化 auto ret = aclInit(nullptr); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclInit failed. ERROR: %d\n", ret); return ret); ret = aclrtSetDevice(deviceId); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSetDevice failed. ERROR: %d\n", ret); return ret); ret = aclrtCreateStream(stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtCreateStream failed. ERROR: %d\n", ret); return ret); return 0; } template <typename T> int CreateAclTensor(const std::vector<T>& hostData, const std::vector<int64_t>& shape, void** deviceAddr, aclDataType dataType, aclTensor** tensor) { auto size = GetShapeSize(shape) * sizeof(T); // 调用aclrtMalloc申请device侧内存 auto ret = aclrtMalloc(deviceAddr, size, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMalloc failed. ERROR: %d\n", ret); return ret); // 调用aclrtMemcpy将host侧数据拷贝到device侧内存上 ret = aclrtMemcpy(*deviceAddr, size, hostData.data(), size, ACL_MEMCPY_HOST_TO_DEVICE); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMemcpy failed. ERROR: %d\n", ret); return ret); // 计算连续tensor的strides std::vector<int64_t> strides(shape.size(), 1); for (int64_t i = shape.size() - 2; i >= 0; i--) { strides[i] = shape[i + 1] * strides[i + 1]; } // 调用aclCreateTensor接口创建aclTensor *tensor = aclCreateTensor(shape.data(), shape.size(), dataType, strides.data(), 0, aclFormat::ACL_FORMAT_ND, shape.data(), shape.size(), *deviceAddr); return 0; } int main() { // 1. （固定写法）device/stream初始化，参考acl API // 根据自己的实际device填写deviceId int32_t deviceId = 0; aclrtStream stream; auto ret = Init(deviceId, &stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("Init acl failed. ERROR: %d\n", ret); return ret); // 2. 构造输入与输出，需要根据API的接口自定义构造 std::vector<int64_t> selfShape = {4}; std::vector<int64_t> outShape = {4}; void* selfDeviceAddr = nullptr; void* outDeviceAddr = nullptr; aclTensor* self = nullptr; aclScalar* negativeSlope = nullptr; aclTensor* out = nullptr; std::vector<float> selfHostData = {1, 2, 3, 4}; std::vector<float> outHostData = {0, 0, 0, 0}; float negativeSlopeValue = 0.01f; // 创建self aclTensor ret = CreateAclTensor(selfHostData, selfShape, &selfDeviceAddr, aclDataType::ACL_FLOAT, &self); CHECK_RET(ret == ACL_SUCCESS, return ret); // 创建negativeSlope aclScalar negativeSlope = aclCreateScalar(&negativeSlopeValue, aclDataType::ACL_FLOAT); CHECK_RET(negativeSlope != nullptr, LOG_PRINT("negativeSlope is null!\n"); return false); // 创建out aclTensor ret = CreateAclTensor(outHostData, outShape, &outDeviceAddr, aclDataType::ACL_FLOAT, &out); CHECK_RET(ret == ACL_SUCCESS, return ret); // 3. 调用CANN算子库API，需要修改为具体的API名称 uint64_t workspaceSize = 0; aclOpExecutor* executor; // 调用aclnnLeakyRelu第一段接口 ret = aclnnLeakyReluGetWorkspaceSize(self, negativeSlope, out, &workspaceSize, &executor); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnLeakyReluGetWorkspaceSize failed. ERROR: %d\n", ret); return ret); // 根据第一段接口计算出的workspaceSize申请device内存 void* workspaceAddr = nullptr; if (workspaceSize > 0) { ret = aclrtMalloc(&workspaceAddr, workspaceSize, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("allocate workspace failed. ERROR: %d\n", ret); return ret); } // 调用aclnnLeakyRelu第二段接口 ret = aclnnLeakyRelu(workspaceAddr, workspaceSize, executor, stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnLeakyRelu failed. ERROR: %d\n", ret); return ret); // 4. （固定写法）同步等待任务执行结束 ret = aclrtSynchronizeStream(stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSynchronizeStream failed. ERROR: %d\n", ret); return ret); // 5. 获取输出的值，将device侧内存上的结果拷贝至host侧，需要根据具体API的接口定义修改 auto size = GetShapeSize(outShape); std::vector<float> resultData(size, 0); ret = aclrtMemcpy(resultData.data(), resultData.size() * sizeof(resultData[0]), outDeviceAddr, size * sizeof(resultData[0]), ACL_MEMCPY_DEVICE_TO_HOST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("copy result from device to host failed. ERROR: %d\n", ret); return ret); for (int64_t i = 0; i < size; i++) { LOG_PRINT("result[%ld] is: %f\n", i, resultData[i]); } // 6. 释放aclTensor和aclScalar，需要根据具体API的接口定义修改 aclDestroyTensor(self); aclDestroyScalar(negativeSlope); aclDestroyTensor(out); // 7. 释放device资源，需要根据具体API的接口定义修改 aclrtFree(selfDeviceAddr); aclrtFree(outDeviceAddr); if (workspaceSize > 0) { aclrtFree(workspaceAddr); } aclrtDestroyStream(stream); aclrtResetDevice(deviceId); aclFinalize(); return 0; }

aclnnInplaceLeakyRelu示例代码：

#include <iostream> #include <vector> #include "acl/acl.h" #include "aclnnop/aclnn_leaky_relu.h" #define CHECK_RET(cond, return_expr) \ do { \ if (!(cond)) { \ return_expr; \ } \ } while (0) #define LOG_PRINT(message, ...) \ do { \ printf(message, ##__VA_ARGS__); \ } while (0) int64_t GetShapeSize(const std::vector<int64_t>& shape) { int64_t shapeSize = 1; for (auto i : shape) { shapeSize *= i; } return shapeSize; } int Init(int32_t deviceId, aclrtStream* stream) { // 固定写法，资源初始化 auto ret = aclInit(nullptr); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclInit failed. ERROR: %d\n", ret); return ret); ret = aclrtSetDevice(deviceId); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSetDevice failed. ERROR: %d\n", ret); return ret); ret = aclrtCreateStream(stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtCreateStream failed. ERROR: %d\n", ret); return ret); return 0; } template <typename T> int CreateAclTensor(const std::vector<T>& hostData, const std::vector<int64_t>& shape, void** deviceAddr, aclDataType dataType, aclTensor** tensor) { auto size = GetShapeSize(shape) * sizeof(T); // 调用aclrtMalloc申请device侧内存 auto ret = aclrtMalloc(deviceAddr, size, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMalloc failed. ERROR: %d\n", ret); return ret); // 调用aclrtMemcpy将host侧数据拷贝到device侧内存上 ret = aclrtMemcpy(*deviceAddr, size, hostData.data(), size, ACL_MEMCPY_HOST_TO_DEVICE); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMemcpy failed. ERROR: %d\n", ret); return ret); // 计算连续tensor的strides std::vector<int64_t> strides(shape.size(), 1); for (int64_t i = shape.size() - 2; i >= 0; i--) { strides[i] = shape[i + 1] * strides[i + 1]; } // 调用aclCreateTensor接口创建aclTensor *tensor = aclCreateTensor(shape.data(), shape.size(), dataType, strides.data(), 0, aclFormat::ACL_FORMAT_ND, shape.data(), shape.size(), *deviceAddr); return 0; } int main() { // 1. （固定写法）device/stream初始化，参考acl API // 根据自己的实际device填写deviceId int32_t deviceId = 0; aclrtStream stream; auto ret = Init(deviceId, &stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("Init acl failed. ERROR: %d\n", ret); return ret); // 2. 构造输入与输出，需要根据API的接口自定义构造 std::vector<int64_t> selfRefShape = {4}; void* selfRefDeviceAddr = nullptr; aclTensor* selfRef = nullptr; aclScalar* negativeSlope = nullptr; std::vector<float> selfRefHostData = {1, 2, 3, 4}; float negativeSlopeValue = 0.01f; // 创建selfRef aclTensor ret = CreateAclTensor(selfRefHostData, selfRefShape, &selfRefDeviceAddr, aclDataType::ACL_FLOAT, &selfRef); CHECK_RET(ret == ACL_SUCCESS, return ret); // 创建negativeSlope aclScalar negativeSlope = aclCreateScalar(&negativeSlopeValue, aclDataType::ACL_FLOAT); CHECK_RET(negativeSlope != nullptr, LOG_PRINT("negativeSlope is null!\n"); return false); // 3. 调用CANN算子库API，需要修改为具体的API名称 uint64_t workspaceSize = 0; aclOpExecutor* executor; // 调用aclnnInplaceLeakyRelu第一段接口 ret = aclnnInplaceLeakyReluGetWorkspaceSize(selfRef, negativeSlope, &workspaceSize, &executor); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnInplaceLeakyReluGetWorkspaceSize failed. ERROR: %d\n", ret); return ret); // 根据第一段接口计算出的workspaceSize申请device内存 void* workspaceAddr = nullptr; if (workspaceSize > 0) { ret = aclrtMalloc(&workspaceAddr, workspaceSize, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("allocate workspace failed. ERROR: %d\n", ret); return ret); } // 调用aclnnInplaceLeakyRelu第二段接口 ret = aclnnInplaceLeakyRelu(workspaceAddr, workspaceSize, executor, stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnInplaceLeakyRelu failed. ERROR: %d\n", ret); return ret); // 4. （固定写法）同步等待任务执行结束 ret = aclrtSynchronizeStream(stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSynchronizeStream failed. ERROR: %d\n", ret); return ret); // 5. 获取输出的值，将device侧内存上的结果拷贝至host侧，需要根据具体API的接口定义修改 auto size = GetShapeSize(selfRefShape); std::vector<float> resultData(size, 0); ret = aclrtMemcpy(resultData.data(), resultData.size() * sizeof(resultData[0]), selfRefDeviceAddr, size * sizeof(resultData[0]), ACL_MEMCPY_DEVICE_TO_HOST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("copy result from device to host failed. ERROR: %d\n", ret); return ret); for (int64_t i = 0; i < size; i++) { LOG_PRINT("result[%ld] is: %f\n", i, resultData[i]); } // 6. 释放aclTensor和aclScalar，需要根据具体API的接口定义修改 aclDestroyTensor(selfRef); aclDestroyScalar(negativeSlope); // 7. 释放device资源，需要根据具体API的接口定义修改 aclrtFree(selfRefDeviceAddr); if (workspaceSize > 0) { aclrtFree(workspaceAddr); } aclrtDestroyStream(stream); aclrtResetDevice(deviceId); aclFinalize(); return 0; }

【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库，实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

http://www.jsqmd.com/news/783598/

相关文章：

  • CANN/hccl框架集成指南
  • 支付宝立减金套装是什么？可以回收吗？ - 圆圆收
  • CANN/HCOMM拓扑层级类型查询
  • CANN/torchtitan-npu指标与调试指南
  • HarmonyOS 6 ArkUI 运动路径动画（motionPath）使用文档
  • 长期项目使用Taotoken按Token计费带来的成本可控性体验
  • JVM 深度调优实战：从 JDK 8 到 JDK 21 的演进与中间件落地
  • cpu 系统调用热点 中断 调度队列 - 小镇
  • 菏泽牡丹区4个校区全科语文英语数学一对一单词速记快速提分 - 众智商学院课程中心
  • 2026最权威的六大降AI率方案推荐榜单
  • 基于openeuler2403sp3的容器，打包django运行环境镜像
  • 【通讯协议】232通讯：参数、外围电路组成及实战接线
  • 别再手动点地图了！用C++代码一键搞定ROS机器人（RVIZ）初始位姿设置
  • 空椅子上的辩证：AI元人文与中国实践哲学的八个张力统一
  • 基于LangChain.js与Azure构建企业级RAG聊天应用实战指南
  • CANN/opbase文档贡献指南
  • 视频理解中的稀疏注意力机制优化实践
  • Claude Code 软考辅导实战：高效备考与解题技巧
  • CANN权重量化批量矩阵乘法算子描述
  • 大连福邸加装饰设计：中山正规的家装装修公司推荐几家 - LYL仔仔
  • 在自动化工作流中集成Taotoken实现多模型智能调度
  • CANN/cann-recipes-infer Qwen3-MoE模型NPU推理
  • CANN算子测试竞赛作品
  • cann/cann-recipes-infer DeepSeek-R1推理优化
  • AI赋能胶质瘤病理诊断：从深度学习技术路径到临床应用解析
  • 调节效应不只是‘分组回归’：用真实商业案例讲透它在AB测试与产品策略中的应用
  • 内容创作场景下如何用Taotoken灵活调用最适合的文案生成模型
  • 别再死记硬背了！用这5个真实项目场景，彻底搞懂ROS节点、话题与服务
  • CANN/ops-blas ACLBLASLt接口文档
  • HarmonyOS 6 ArkUI 粒子动画（Particle）使用文档