CANN/ops-nn LayerNorm算子
LayerNorm
【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库，实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn
产品支持情况
| 产品 | 是否支持 |
|---|---|
| Ascend 950PR/Ascend 950DT | √ |
| Atlas A3 训练系列产品/Atlas A3 推理系列产品 | √ |
| Atlas A2 训练系列产品/Atlas A2 推理系列产品 | √ |
| Atlas 200I/500 A2 推理产品 | √ |
| Atlas 推理系列产品 | √ |
| Atlas 训练系列产品 | √ |
功能说明
算子功能：
对指定层进行均值为0、标准差为1的归一化计算。
- 归一化：对输入张量的每个样本进行归一化处理，使得每个样本的均值为0，方差为1。
- 缩放和偏移：在归一化之后，可以通过缩放因子和偏移量进一步调整归一化后的输出，以适应不同的模型需求。
计算公式：
$$ mean = {E}[x] $$
$$ variance = \mathrm{Var}[x] $$
$$ y = w \times (\frac{x - mean}{ \sqrt{\mathrm{Var}[x] + eps}}) + b $$
其中，E[x]表示输入的均值，Var[x]表示输入的方差。
参数说明
| 参数名 | 输入/输出/属性 | 描述 | 数据类型 | 数据格式 |
|---|---|---|---|---|
| x | 输入 | 表示进行归一化计算的输入，公式中的输入x。shape为[A1,...,Ai,R1,...,Rj]，其中A1至Ai表示无需norm的维度，R1至Rj表示需norm的维度。 | FLOAT、FLOAT16、BFLOAT16 | ND |
| gamma | 输入 | 表示进行归一化计算的权重，公式中的输入w。gamma非空时，数据类型与输入x一致或为FLOAT类型，且当beta存在时gamma与beta的数据类型相同。shape与normalized_shape相等，为[R1,...,Rj]。gamma为空时，接口内部会构造一个shape为[R1,...,Rj]，数据全为1的tensor，当beta存在时gamma与beta的数据类型相同，beta不存在时gamma与输入x的数据类型相同。 | FLOAT、FLOAT16、BFLOAT16 | ND |
| beta | 输入 | 表示进行归一化计算的偏移量，公式中的输入b。beta非空时，数据类型与输入x一致或为FLOAT类型，且当gamma存在时beta与gamma的数据类型相同。shape与normalized_shape相等，为[R1,...,Rj]。beta为空时，接口内部会构造一个shape为[R1,...,Rj]，数据全为0的tensor，当gamma存在时beta与gamma的数据类型相同，gamma不存在时beta与输入x的数据类型相同。 | FLOAT、FLOAT16、BFLOAT16 | ND |
| begin_norm_axis | 可选属性 |
| INT | - |
| begin_params_axis | 可选属性 |
| INT | - |
| epsilon | 可选属性 |
| FLOAT | - |
| y | 输出 | 表示进行归一化计算的结果，公式中的y。shape需要与x的shape相等，为[A1,...,Ai,R1,...,Rj]。数据类型与x的数据类型保持一致。 | FLOAT、FLOAT16、BFLOAT16 | ND |
| mean | 输出 | 表示进行归一化后的均值，公式中的mean。与rstd的shape相同，shape为[A1,...,Ai,1,...,1]，Ai后共有j个1，与需要norm的轴长度保持相同。数据类型与x的数据类型保持一致。 | FLOAT、FLOAT16、BFLOAT16 | ND |
| variance | 输出 | 表示进行归一化后的方差，公式中的variance。与mean的shape相同，shape为[A1,...,Ai,1,...,1]，Ai后共有j个1，与需要norm的轴长度保持相同。数据类型与x的数据类型保持一致。 | FLOAT、FLOAT16、BFLOAT16 | ND |
- Ascend 950PR/Ascend 950DT ：参数begin_params_axis和begin_norm_axis的值保持一致。
约束说明
无
调用说明
| 调用方式 | 调用样例 | 说明 |
|---|---|---|
| 图模式调用 | test_geir_layer_norm | 通过算子IR构图方式调用LayerNorm算子。 |
【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库，实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考