cann/ops-nn ELU梯度V2算子
EluGradV2
【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库，实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn
📄 查看源码
产品支持情况
| 产品 | 是否支持 |
|---|---|
| Ascend 950PR/Ascend 950DT | √ |
| Atlas A3 训练系列产品/Atlas A3 推理系列产品 | √ |
| Atlas A2 训练系列产品/Atlas A2 推理系列产品 | √ |
| Atlas 200I/500 A2 推理产品 | × |
| Atlas 推理系列产品 | √ |
| Atlas 训练系列产品 | √ |
功能说明
算子功能：激活函数的反向计算，输出ELU激活函数正向输入的梯度。
计算公式：
当is_result是True时：
$$ gradInput = gradOutput * \begin{cases} scale, \quad x > 0\ inputScale \ast (x + \alpha \ast scale), \quad x \leq 0 \end{cases} $$
当is_result是False时：
$$ gradInput = gradOutput * \begin{cases} scale, \quad x > 0\ inputScale \ast \alpha \ast scale \ast exp(x \ast inputScale), \quad x \leq 0 \end{cases} $$
参数说明
| 参数名 | 输入/输出/属性 | 描述 | 数据类型 | 数据格式 |
|---|---|---|---|---|
| grads | 输入 | 公式中的gradOutput | FLOAT,FLOAT16,BFLOAT16 | ND |
| activations | 输入 | 公式中的x | FLOAT,FLOAT16,BFLOAT16 | ND |
| alpha | 输入 | 表示ELU激活函数的激活系数，公式中的alpha。如果is_result为true，alpha必须大于等于0。数据类型需要是可转换为FLOAT的数据类型。 | FLOAT | - |
| scale | 输入 | 表示ELU激活函数的缩放系数，公式中的scale。 | FLOAT | - |
| input_scale | 输入 | 表示ELU激活函数的输入的缩放系数，公式中的inputScale。数据类型需要是可转换为FLOAT的数据类型。 | FLOAT | - |
| is_result | 输入 | 表示传给ELU反向计算的输入是否是ELU正向的输出。 | BOOL | - |
| y | 输出 | 公式中的输出张量gradInput | 同grads | ND |
调用说明
| 调用方式 | 样例代码 | 说明 |
|---|---|---|
| aclnn接口 | test_aclnn_elu_backward | 通过aclnnEluBackward接口方式调用算子。 |
【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库，实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考