CANN/ops-nn: 原位加法RMS归一化算子

InplaceAddRmsNorm

【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库，实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn

产品支持情况

功能说明

• 算子功能：RmsNorm算子是大模型常用的归一化操作，相比LayerNorm算子，其去掉了减去均值的部分。AddRmsNorm算子将RmsNorm前的Add算子融合起来，减少搬入搬出操作。InplaceAddRmsNorm是一种结合了原位加法和RMS归一化的操作。

• 计算公式：

  $$ x_i=x1_{i}+x2_{i} $$

  $$ \operatorname{RmsNorm}(x_i)= g_i * (x_i * \operatorname{rstd}(\mathbf{x})), \quad \text { where } \operatorname{rstd}(\mathbf{x})=\frac{1}{\sqrt{\frac{1}{n} \sum_{i=1}^n x_i^2+eps}} $$

参数说明

• Atlas 推理系列产品 ：

  • 所有输入参数和输出参数x1、x2的数据类型不支持BFLOAT16。
  • 在当前产品下的使用场景下，输出参数rstd为无效参数，输出的值不生效。

• Kirin X90/Kirin 9030处理器系列产品：所有输入、输出的数据类型不支持BFLOAT16。

约束说明

无

调用说明

【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库，实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn