CANN/asc-devkit Max函数SIMD API文档

# Max

【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言，原生支持C和C++标准规范，主要由类库和语言扩展层构成，提供多层级API，满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit

产品支持情况

• Ascend 950PR/Ascend 950DT：支持

• Atlas A3 训练系列产品/Atlas A3 推理系列产品：支持

• Atlas A2 训练系列产品/Atlas A2 推理系列产品：支持

• Atlas 200I/500 A2 推理产品：支持

• Atlas 推理系列产品AI Core：支持

• Atlas 推理系列产品Vector Core：不支持

• Atlas 训练系列产品：支持

• Kirin X90：支持

• Kirin 9030：支持

功能说明

头文件路径为："basic_api/kernel_operator_vec_binary_intf.h"。

Max属于双目矢量类计算接口，负责将输入的两个tensor按元素求最大值。计算公式如下：

$dst_i = max(src0_i, src1_i)$

函数原型

• tensor前n个数据连续计算

  template <typename T> __aicore__ inline void Max(const LocalTensor<T>& dst, const LocalTensor<T>& src0, const LocalTensor<T>& src1, const int32_t& count)

• tensor高维切分计算

  • mask逐bit模式

    template <typename T, bool isSetMask = true> __aicore__ inline void Max(const LocalTensor<T>& dst, const LocalTensor<T>& src0, const LocalTensor<T>& src1, uint64_t mask[], const uint8_t repeatTime, const BinaryRepeatParams& repeatParams)

  • mask连续模式

    template <typename T, bool isSetMask = true> __aicore__ inline void Max(const LocalTensor<T>& dst, const LocalTensor<T>& src0, const LocalTensor<T>& src1, uint64_t mask, const uint8_t repeatTime, const BinaryRepeatParams& repeatParams)

参数说明

表1模板参数说明

表2参数说明

数据类型

• 针对Ascend 950PR/Ascend 950DT，T支持的数据类型为：int8_t、uint8_t、int16_t、uint16_t、half、bfloat16_t、int32_t、uint32_t、float、int64_t、uint64_t。数据类型int8_t、uint8_t、int64_t、uint64_t仅支持tensor前n个数据计算接口。

• 针对Atlas A3 训练系列产品/Atlas A3 推理系列产品，T支持的数据类型为：int16_t、half、int32_t、float。

• 针对Atlas A2 训练系列产品/Atlas A2 推理系列产品，T支持的数据类型为：int16_t、half、int32_t、float。

• 针对Atlas 200I/500 A2 推理产品，T支持的数据类型为：int16_t、half、int32_t、float。

• 针对Atlas 推理系列产品AI Core，T支持的数据类型为：int16_t、half、int32_t、float。

• 针对Atlas 训练系列产品，T支持的数据类型为：half、int32_t、float。

• 针对Kirin X90，T支持的数据类型为：int16_t、half、int32_t、float。

• 针对Kirin 9030，T支持的数据类型为：int16_t、half、int32_t、float。

返回值说明

无

约束说明

• 操作数地址对齐要求请参见通用地址对齐约束。
• 操作数地址重叠约束请参考通用地址重叠约束。

• 当参数count或repeatTime取值为0时，该接口的行为如下：
  • 针对如下型号，当参数count或repeatTime取值为0时，不会执行计算操作，不会对目的操作数进行写入，该接口将被视为NOP（空操作）。
    • Atlas A3 训练系列产品/Atlas A3 推理系列产品
    • Atlas A2 训练系列产品/Atlas A2 推理系列产品
  • 针对Ascend 950PR/Ascend 950DT：该接口通过VF调用Reg矢量计算API实现兼容，当参数count或repeatTime取值为0时，软仿行为不保证该接口被视为NOP（空操作）。

• 对UB空间的占用说明。针对Ascend 950PR/Ascend 950DT：
  • tensor高维切分计算占用8KB Unified Buffer。
  • tensor前n个数据连续计算不涉及8KB Unified Buffer的占用。

调用示例

• tensor高维切分计算样例-mask连续模式

  uint64_t mask = 128; // repeatTime = 4, 128 elements one repeat, 512 elements total. // dstBlkStride, src0BlkStride, src1BlkStride = 1, no gap between blocks in one repeat. // dstRepStride, src0RepStride, src1RepStride = 8, no gap between repeats. AscendC::Max(dstLocal, src0Local, src1Local, mask, 4, { 1, 1, 1, 8, 8, 8 });

• tensor高维切分计算样例-mask逐bit模式

  uint64_t mask[2] = { UINT64_MAX, UINT64_MAX }; // repeatTime = 4, 128 elements one repeat, 512 elements total. // dstBlkStride, src0BlkStride, src1BlkStride = 1, no gap between blocks in one repeat. // dstRepStride, src0RepStride, src1RepStride = 8, no gap between repeats. AscendC::Max(dstLocal, src0Local, src1Local, mask, 4, { 1, 1, 1, 8, 8, 8 });

• tensor前n个数据计算接口样例

  AscendC::Max(dstLocal, src0Local, src1Local, 512);

结果示例如下：

输入数据src0Local：[1 2 3 ... 512] 输入数据src1Local：[513 512 511 ... 2] 输出数据dstLocal：[513 512 511 ... 512]

【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言，原生支持C和C++标准规范，主要由类库和语言扩展层构成，提供多层级API，满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit