当前位置： 首页 > news >正文

CANN/ops-nn动态量化RMS归一化融合算子

news 2026/5/11 3:44:10

aclnnAddRmsNormDynamicQuantV2

【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库，实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn

📄 查看源码

产品支持情况

产品是否支持
Ascend 950PR/Ascend 950DT√
Atlas A3 训练系列产品/Atlas A3 推理系列产品√
Atlas A2 训练系列产品/Atlas A2 推理系列产品√
Atlas 200I/500 A2 推理产品×
Atlas 推理系列产品×
Atlas 训练系列产品×

功能说明

  • 接口功能：RmsNorm算子是大模型常用的归一化操作，相比LayerNorm算子，其去掉了减去均值的部分。DynamicQuant算子则是为输入张量进行对称动态量化的算子。AddRmsNormDynamicQuant算子将RmsNorm前的Add算子和RmsNorm归一化输出给到的1个或2个DynamicQuant算子融合起来，减少搬入搬出操作。aclnnAddRmsNormDynamicQuantV2相较于aclnnAddRmsNormDynamicQuant在RmsNorm计算过程中增加了偏置项betaOptional参数，即计算公式中的beta，以及新增输出配置项outputMaskOptional参数，用于配置是否输出对应位置的量化结果。

  • 计算公式：

    $$ x=x_{1}+x_{2} $$

    $$ y = \operatorname{RmsNorm}(x)=\frac{x}{\operatorname{Rms}(\mathbf{x})}\cdot gamma+beta, \quad \text { where } \operatorname{Rms}(\mathbf{x})=\sqrt{\frac{1}{n} \sum_{i=1}^n x_i^2+epsilon} $$

    $$ input1 =\begin{cases} y\cdot smoothScale1Optional & \ \ smoothScale1Optional \ y & !\ smoothScale1Optional \end{cases} $$

    $$ input2 =\begin{cases} y\cdot smoothScale2Optional & \ \ smoothScale2Optional \ y & !\ smoothScale2Optional \end{cases} $$

    $$ scale1Out=\begin{cases} row_max(abs(input1))/127 & (outputMask[0]=True\ ||\ !outputMask) & y1Out为INT8 \ row_max(abs(input1))/7 & (outputMask[0]=True\ ||\ !outputMask) & y1Out为INT4 \ 无效输出 & outputMask[0]=False \end{cases} $$

    $$ y1Out=\begin{cases} round(input1/scale1Out) & outputMask[0]=True\ ||\ !outputMask \ 无效输出 & outputMask[0]=False \end{cases} $$

    $$ scale2Out=\begin{cases} row_max(abs(input2))/127 & (outputMask[1]=True\ ||\ (!outputMask\ &\ smoothScale1Optional\ &\ smoothScale2Optional)) & y2Out为INT8 \ row_max(abs(input2))/7 & (outputMask[1]=True\ ||\ (!outputMask\ &\ smoothScale1Optional\ &\ smoothScale2Optional)) & y2Out为INT4 \ 无效输出 & outputMask[1]=False\ ||\ (!outputMask\ &\ (!smoothScale1Optional\ ||\ !smoothScale2Optional)) \end{cases} $$

    $$ y2Out=\begin{cases} round(input2/scale2Out) & outputMask[1]=True\ ||\ (!outputMask\ &\ smoothScale1Optional\ &\ smoothScale2Optional)\ 无效输出 & outputMask[1]=False\ ||\ (!outputMask\ &\ (!smoothScale1Optional\ ||\ !smoothScale2Optional)) \end{cases} $$

    公式中的row_max代表每行求最大值。

函数原型

每个算子分为两段式接口，必须先调用aclnnAddRmsNormDynamicQuantV2GetWorkspaceSize接口获取入参并根据计算流程所需workspace大小，再调用`aclnnAddRmsNormDynamicQuantV2接口执行计算。

aclnnStatus aclnnAddRmsNormDynamicQuantV2GetWorkspaceSize( const aclTensor *x1, const aclTensor *x2, const aclTensor *gamma, const aclTensor *smoothScale1Optional, const aclTensor *smoothScale2Optional, const aclTensor *betaOptional, double epsilon, const aclBoolArray *outputMaskOptional, aclTensor *y1Out, aclTensor *y2Out, aclTensor *xOut, aclTensor *scale1Out, aclTensor *scale2Out, uint64_t *workspaceSize, aclOpExecutor **executor)
aclnnStatus aclnnAddRmsNormDynamicQuantV2( void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream)

aclnnAddRmsNormDynamicQuantV2GetWorkspaceSize

  • 参数说明

    参数名输入/输出描述使用说明数据类型数据格式维度(shape)非连续Tensor
    x1（aclTensor*）输入表示标准化过程中的源数据张量。对应公式中的`x1`。支持空Tensor。FLOAT16、BFLOAT16ND2-8√
    x2（aclTensor*）输入表示标准化过程中的源数据张量。对应公式中的`x2`。
    • 支持空Tensor。
    • shape和数据类型需要与`x1`保持一致。
    		FLOAT16、BFLOAT16ND2-8√
    gamma（aclTensor*）输入表示标准化过程中的权重张量。对应公式中的`gamma`。
    • 支持空Tensor。
    • 数据类型需要与`x1`保持一致。
    • shape需要与`x1`最后一维一致。
    		FLOAT16、BFLOAT16ND1√
    smoothScale1Optional（aclTensor*）输入表示量化过程中得到`y1Out`使用的smoothScale张量。对应公式中的`smoothScale1Optional`。
    • 支持空Tensor。
    • 可选参数，支持传入空指针。
    • shape和数据类型需要与`gamma`保持一致。
    		FLOAT16、BFLOAT16ND1√
    smoothScale2Optional（aclTensor*）输入表示量化过程中得到`y2Out`使用的smoothScale张量。对应公式中的`smoothScale2Optional`。
    • 支持空Tensor。
    • 可选参数，支持传入空指针。
    • shape和数据类型需要与`gamma`保持一致。
    		FLOAT16、BFLOAT16ND1√
    betaOptional（aclTensor*）输入表示标准化过程中的偏置项。对应公式中的`beta`。
    • 支持空Tensor。
    • 可选参数，支持传入空指针。
    • shape和数据类型需要与`gamma`保持一致。
    		FLOAT16、BFLOAT16ND1√
    epsilon（double）输入表示用于防止除0错误，对应公式中的`epsilon`。建议传入较小正数，如1e-6。----
    outputMaskOptional（aclBoolArray*）输入表示输出的掩码，对应公式中的`outputMask`。支持传空指针或长度为2的数组。----
    y1Out（aclTensor*）输出表示量化输出Tensor，对应公式中的`y1Out`。
    • 支持空Tensor。
    • shape需要与输入`x1`保持一致。
    		INT4、INT8、HIFLOAT8、FLOAT8_E5M2、FLOAT8_E4M3FNND2-8√
    y2Out（aclTensor*）输出表示量化输出Tensor，对应公式中的`y2Out`。
    • 支持空Tensor。
    • 如果`y2Out`为有效输出时，shape和数据类型需要与`y1Out`保持一致；如果`y2Out`为无效输出时，shape为[1]。
    		INT4、INT8、HIFLOAT8、FLOAT8_E5M2、FLOAT8_E4M3FNND2-8√
    xOut（aclTensor*）输出表示x1和x2的和，对应公式中的`x`。
    • 支持空Tensor。
    • shape和数据类型需要与输入`x1`/`x2`一致。
    		FLOAT16、BFLOAT16ND2-8√
    scale1Out（aclTensor*）输出表示第一路量化的输出，对应公式中的`scale1Out`。
    • 支持空Tensor。
    • shape需要与输入`x1`除了最后一维后的shape一致，或者与`x1`除了最后一维的乘积一致。
    		FLOAT32ND1-8√
    scale2Out（aclTensor*）输出表示第二路量化的输出，对应公式中的`scale2Out`。
    • 支持空Tensor。
    • 当smoothScale2Optional不存在时，此输出无意义。
    • shape需要与`scale1Out`一致。
    		FLOAT32ND1-8√
    workspaceSize（uint64_t*）输出返回需要在Device侧申请的workspace大小。-----
    executor（aclOpExecutor**）输出返回op执行器，包含了算子计算流程。-----

  • 返回值

    aclnnStatus：返回状态码，具体参见aclnn返回码。

    第一段接口完成入参校验，出现以下场景时报错：

    返回码错误码描述
    ACLNN_ERR_PARAM_NULLPTR161001如果传入参数是必选输入，输出或者必选属性，且是空指针，则返回161001。
    ACLNN_ERR_PARAM_INVALID161002输入或输出的数据类型不在支持的范围之内。
    outputMaskOptional为空指针时，输入smoothScale2Optional，而没有输入smoothScale1Optional。

aclnnAddRmsNormDynamicQuantV2

  • 参数说明

    参数名输入/输出描述
    workspace输入在Device侧申请的workspace内存地址。
    workspaceSize输入在Device侧申请的workspace大小，由第一段接口aclnnAddRmsNormDynamicQuantV2GetWorkspaceSize获取。
    executor输入op执行器，包含了算子计算流程。
    stream输入指定执行任务的Stream。

  • 返回值

    aclnnStatus：返回状态码。（具体参见aclnn返回码）

约束说明

  • 数据格式说明：所有输入输出tensor的数据格式推荐使用ND格式，其他数据格式会由框架默认转换成ND格式进行处理。

  • 当outputMaskOptional不为空时，参数smoothScale1Optional有值时，则outputMaskOptional[0]必须为True。参数smoothScale2Optional有值时，则outputMaskOptional[1]必须为True。

  • 当outputMaskOptional不为空时，outputMaskOptional[0]与outputMaskOptional[1]不能同时为False。

  • 当outputMaskOptional为空时，参数smoothScale2Optional有值时，参数smoothScale1Optional也必须有值。

  • 各产品型号支持数据类型说明：

    • Atlas A3 训练系列产品/Atlas A3 推理系列产品 、 Atlas A2 训练系列产品/Atlas A2 推理系列产品 ：
      • 参数y1Out和y2Out数据类型仅支持int4和int8。
    • Ascend 950PR/Ascend 950DT ：
      • 暂不支持可选属性output_mask的配置。
      • 参数y1Out和y2Out数据类型不支持int4。

  • 确定性计算：

    • aclnnAddRmsNormDynamicQuantV2默认确定性实现。

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考编译与运行样例。

#include <iostream> #include <vector> #include "acl/acl.h" #include "aclnnop/aclnn_add_rms_norm_dynamic_quant_v2.h" #define CHECK_RET(cond, return_expr) \ do { \ if (!(cond)) { \ return_expr; \ } \ } while (0) #define LOG_PRINT(message, ...) \ do { \ printf(message, ##__VA_ARGS__); \ } while (0) int64_t GetShapeSize(const std::vector<int64_t>& shape) { int64_t shape_size = 1; for (auto i : shape) { shape_size *= i; } return shape_size; } int Init(int32_t deviceId, aclrtStream* stream) { // 固定写法，资源初始化 auto ret = aclInit(nullptr); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclInit failed. ERROR: %d\n", ret); return ret); ret = aclrtSetDevice(deviceId); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSetDevice failed. ERROR: %d\n", ret); return ret); ret = aclrtCreateStream(stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtCreateStream failed. ERROR: %d\n", ret); return ret); return 0; } template <typename T> int CreateAclTensor( const std::vector<T>& hostData, const std::vector<int64_t>& shape, void** deviceAddr, aclDataType dataType, aclTensor** tensor) { auto size = GetShapeSize(shape) * sizeof(T); // 调用aclrtMalloc申请device侧内存 auto ret = aclrtMalloc(deviceAddr, size, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMalloc failed. ERROR: %d\n", ret); return ret); // 调用aclrtMemcpy将host侧数据拷贝到device侧内存上 ret = aclrtMemcpy(*deviceAddr, size, hostData.data(), size, ACL_MEMCPY_HOST_TO_DEVICE); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMemcpy failed. ERROR: %d\n", ret); return ret); // 计算连续tensor的strides std::vector<int64_t> strides(shape.size(), 1); for (int64_t i = shape.size() - 2; i >= 0; i--) { strides[i] = shape[i + 1] * strides[i + 1]; } // 调用aclCreateTensor接口创建aclTensor *tensor = aclCreateTensor( shape.data(), shape.size(), dataType, strides.data(), 0, aclFormat::ACL_FORMAT_ND, shape.data(), shape.size(), *deviceAddr); return 0; } int main() { // 1. （固定写法）device/stream初始化，参考acl API手册 // 根据自己的实际device填写deviceId int32_t deviceId = 0; aclrtStream stream; auto ret = Init(deviceId, &stream); // check根据自己的需要处理 CHECK_RET(ret == 0, LOG_PRINT("Init acl failed. ERROR: %d\n", ret); return ret); // 2. 构造输入与输出，需要根据API的接口自定义构造 std::vector<int64_t> xShape = {2, 8}; std::vector<int64_t> gammaShape = {8}; std::vector<int64_t> betaShape = {8}; std::vector<int64_t> reduceShape = {2, 1}; void* x1DeviceAddr = nullptr; void* x2DeviceAddr = nullptr; void* gammaDeviceAddr = nullptr; void* betaDeviceAddr = nullptr; void* smooth1DeviceAddr = nullptr; void* smooth2DeviceAddr = nullptr; void* y1DeviceAddr = nullptr; void* y2DeviceAddr = nullptr; void* xDeviceAddr = nullptr; void* scale1DeviceAddr = nullptr; void* scale2DeviceAddr = nullptr; aclTensor* x1 = nullptr; aclTensor* x2 = nullptr; aclTensor* gamma = nullptr; aclTensor* beta = nullptr; aclTensor* smooth1 = nullptr; aclTensor* smooth2 = nullptr; aclTensor* y1 = nullptr; aclTensor* y2 = nullptr; aclTensor* x = nullptr; aclTensor* scale1 = nullptr; aclTensor* scale2 = nullptr; int64_t xShapeSize = GetShapeSize(xShape); int64_t gammaShapeSize = GetShapeSize(gammaShape); int64_t betaShapeSize = GetShapeSize(betaShape); int64_t reduceShapeSize = GetShapeSize(reduceShape); std::vector<short> x1HostData(xShapeSize, 0x3800); std::vector<short> x2HostData(xShapeSize, 0x3800); std::vector<short> gammaHostData(gammaShapeSize, 0x3e00); std::vector<short> betaHostData(betaShapeSize, 0x3e00); std::vector<short> smooth1HostData(gammaShapeSize, 0x3e00); std::vector<short> smooth2HostData(gammaShapeSize, 0x3e00); std::vector<short> y1HostData(xShapeSize, 0); std::vector<short> y2HostData(xShapeSize, 0); std::vector<short> xHostData(xShapeSize, 0); std::vector<short> scale1HostData(reduceShapeSize, 0); std::vector<short> scale2HostData(reduceShapeSize, 0); float epsilon = 1e-6; // 创建x1 aclTensor ret = CreateAclTensor(x1HostData, xShape, &x1DeviceAddr, aclDataType::ACL_FLOAT16, &x1); CHECK_RET(ret == ACL_SUCCESS, return ret); // 创建x2 aclTensor ret = CreateAclTensor(x2HostData, xShape, &x2DeviceAddr, aclDataType::ACL_FLOAT16, &x2); CHECK_RET(ret == ACL_SUCCESS, return ret); // 创建gamma aclTensor ret = CreateAclTensor(gammaHostData, gammaShape, &gammaDeviceAddr, aclDataType::ACL_FLOAT16, &gamma); CHECK_RET(ret == ACL_SUCCESS, return ret); // 创建beta aclTensor ret = CreateAclTensor(betaHostData, betaShape, &betaDeviceAddr, aclDataType::ACL_FLOAT16, &beta); CHECK_RET(ret == ACL_SUCCESS, return ret); // 创建 smooth1 aclTensor ret = CreateAclTensor(smooth1HostData, gammaShape, &smooth1DeviceAddr, aclDataType::ACL_FLOAT16, &smooth1); CHECK_RET(ret == ACL_SUCCESS, return ret); // 创建 smooth2 aclTensor ret = CreateAclTensor(smooth2HostData, gammaShape, &smooth2DeviceAddr, aclDataType::ACL_FLOAT16, &smooth2); CHECK_RET(ret == ACL_SUCCESS, return ret); // 创建y1 aclTensor ret = CreateAclTensor(y1HostData, xShape, &y1DeviceAddr, aclDataType::ACL_INT8, &y1); CHECK_RET(ret == ACL_SUCCESS, return ret); // 创建y2 aclTensor ret = CreateAclTensor(y2HostData, xShape, &y2DeviceAddr, aclDataType::ACL_INT8, &y2); CHECK_RET(ret == ACL_SUCCESS, return ret); // 创建x aclTensor ret = CreateAclTensor(xHostData, xShape, &xDeviceAddr, aclDataType::ACL_FLOAT16, &x); CHECK_RET(ret == ACL_SUCCESS, return ret); // 创建outScale1 aclTensor ret = CreateAclTensor(scale1HostData, reduceShape, &scale1DeviceAddr, aclDataType::ACL_FLOAT, &scale1); CHECK_RET(ret == ACL_SUCCESS, return ret); // 创建outScale1 aclTensor ret = CreateAclTensor(scale2HostData, reduceShape, &scale2DeviceAddr, aclDataType::ACL_FLOAT, &scale2); CHECK_RET(ret == ACL_SUCCESS, return ret); // 3. 调用CANN算子库API，需要修改为具体的API uint64_t workspaceSize = 0; aclOpExecutor* executor; // 调用aclnnAddRmsNormDynamicQuantV2第一段接口 ret = aclnnAddRmsNormDynamicQuantV2GetWorkspaceSize( x1, x2, gamma, smooth1, smooth2, beta, epsilon, nullptr, y1, y2, x, scale1, scale2, &workspaceSize, &executor); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnAddRmsNormDynamicQuantV2GetWorkspaceSize failed. ERROR: %d\n", ret); return ret); // 根据第一段接口计算出的workspaceSize申请device内存 void* workspaceAddr = nullptr; if (workspaceSize > 0) { ret = aclrtMalloc(&workspaceAddr, workspaceSize, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("allocate workspace failed. ERROR: %d\n", ret); return ret;); } // 调用aclnnAddRmsNormDynamicQuantV2第二段接口 ret = aclnnAddRmsNormDynamicQuantV2(workspaceAddr, workspaceSize, executor, stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnAddRmsNormDynamicQuantV2 failed. ERROR: %d\n", ret); return ret); // 4. （固定写法）同步等待任务执行结束 ret = aclrtSynchronizeStream(stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSynchronizeStream failed. ERROR: %d\n", ret); return ret); // 5. 获取输出的值，将device侧内存上的结果拷贝至host侧，需要根据具体API的接口定义修改 auto size = GetShapeSize(xShape); std::vector<int8_t> y1Ret(size, 0); ret = aclrtMemcpy( y1Ret.data(), y1Ret.size() * sizeof(y1Ret[0]), y1DeviceAddr, size * sizeof(int8_t), ACL_MEMCPY_DEVICE_TO_HOST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("copy result from device to host failed. ERROR: %d\n", ret); return ret); for (int64_t i = 0; i < size; i++) { LOG_PRINT("result[%ld] is: %d\n", i, y1Ret[i]); } // 6. 释放aclTensor和aclScalar，需要根据具体API的接口定义修改 aclDestroyTensor(x1); aclDestroyTensor(x2); aclDestroyTensor(gamma); aclDestroyTensor(beta); aclDestroyTensor(smooth1); aclDestroyTensor(smooth2); aclDestroyTensor(y1); aclDestroyTensor(y2); aclDestroyTensor(x); aclDestroyTensor(scale1); aclDestroyTensor(scale2); // 7. 释放device资源，需要根据具体API的接口定义修改 aclrtFree(x1DeviceAddr); aclrtFree(x2DeviceAddr); aclrtFree(gammaDeviceAddr); aclrtFree(betaDeviceAddr); aclrtFree(smooth1DeviceAddr); aclrtFree(smooth2DeviceAddr); aclrtFree(y1DeviceAddr); aclrtFree(y2DeviceAddr); aclrtFree(xDeviceAddr); aclrtFree(scale1DeviceAddr); aclrtFree(scale2DeviceAddr); if (workspaceSize > 0) { aclrtFree(workspaceAddr); } aclrtDestroyStream(stream); aclrtResetDevice(deviceId); aclFinalize(); return 0; }

【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库，实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

http://www.jsqmd.com/news/793404/

相关文章：

  • CANN/ops-nn AdvanceStep算子
  • CANN/GE模型内存查询接口
  • 耗时3个月整理！K12少儿编程全套学习课件，老师/家长直接用
  • ARMv9 TRBSR寄存器解析与调试实践
  • ARM TLB管理：原理、指令与优化实践
  • 本地化AI代码助手Copaw：设计原理与工程实践指南
  • ContextPilot：优化KV缓存复用，加速RAG与长上下文推理
  • Arm CoreSight SoC-400调试架构与寄存器编程详解
  • 基于Docker容器化部署Atlassian Confluence的完整实践指南
  • 基于Gradio与多模型代理的AI模拟面试系统实战部署指南
  • 安全代码执行沙盒实践：基于Docker与Seccomp的隔离方案
  • 基于MCP协议构建代码库AI助手：原理、部署与最佳实践
  • AI研发团队“隐性崩溃”前的9个信号：SITS2026追踪18个月的142起项目衰变案例全复盘
  • ARM9EJ-S处理器JTAG调试架构与实战技巧
  • Git Magic多人协作：10个高效管理团队项目的终极技巧 [特殊字符]
  • 告别网盘限速！八大平台直链下载助手LinkSwift完整使用指南
  • 多智能体协同框架：从原理到实践，探索AI驱动的自动化开发新范式
  • reverse-shell工作原理深度解析：智能检测与多语言payload实现
  • GE获取模型输出大小
  • 从实测到实战：HIP6601半桥驱动电路在无线信标线圈中的性能剖析
  • ARM CPACR寄存器详解：功能控制与安全配置
  • Ascend C SetInput API文档
  • ErrorOr常见问题解答：解决开发者在使用过程中遇到的10个典型问题
  • 电子墨水屏技术原理与低功耗设计实践
  • 基于MCP与SSE实现AI助手与MQTT物联网的实时交互
  • Adaptive Cards MCP：AI驱动动态UI生成的技术架构与实践
  • 【信息科学与工程学】计算机科学与自动化——第十六篇 GPU 800数据中心超级性能GPU芯片（2nm工艺）系统化设计01
  • GNvim弹出菜单定制教程：LSP集成与样式美化
  • douyin-downloader：5大核心功能解析与实战应用指南
  • 高性能本地大模型推理引擎 mistral.rs 部署与调优指南