CANN/ops-nn RMS归一化动态量化算子

AddRmsNormDynamicQuantV2

【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库，实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn

产品支持情况

功能说明

• 算子功能：RmsNorm算子是大模型常用的归一化操作，相比LayerNorm算子，其去掉了减去均值的部分。DynamicQuant算子则是为输入张量进行对称动态量化的算子。AddRmsNormDynamicQuantV2算子将RmsNorm前的Add算子和RmsNorm归一化输出给到的1个或2个DynamicQuant算子融合起来，减少搬入搬出操作。

• 计算公式：

  $$ x=x_{1}+x_{2} $$

  $$ y = \operatorname{RmsNorm}(x)=\frac{x}{\operatorname{Rms}(\mathbf{x})}\cdot gamma, \quad \text { where } \operatorname{Rms}(\mathbf{x})=\sqrt{\frac{1}{n} \sum_{i=1}^n x_i^2+epsilon} $$

  $$ yFP32=cast(y) $$

  • 若smoothScale1Optional和smoothScale2Optional均不输入，则y2Out和scale2Out输出无实际意义。计算过程如下所示：

  $$ scale1Out=row_max(abs(y))/127 $$

  $$ y1Out=round(y/scale1Out) $$

  • 若仅输入smoothScale1Optional，则y2Out和scale2Out输出无实际意义。计算过程如下所示：

  $$ input = y\cdot smoothScale1Optional $$

  $$ scale1Out=row_max(abs(input))/127 $$

  $$ y1Out=round(input/scale1Out) $$

  • 若smoothScale1Optional和smoothScale2Optional均输入，则算子的五个输出均为有效输出。计算过程如下所示：

  $$ input1 = y\cdot smoothScale1Optional $$

  $$ input2 = y\cdot smoothScale2Optional $$

  $$ scale1Out=row_max(abs(input1))/127 $$

  $$ scale2Out=row_max(abs(input2))/127 $$

  $$ y1Out=round(input1/scale1Out) $$

  $$ y2Out=round(input2/scale2Out) $$

  其中row_max代表每行求最大值。

参数说明

• Kirin X90/Kirin 9030处理器系列产品：x1、x2、gamma、smooth_scale1、smooth_scale2、y4和x的数据类型不支持BFLOAT16。

约束说明

无

调用说明

【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库，实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn