CANN/asc-devkit LocalMemAllocator Alloc函数

Alloc

【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言，原生支持C和C++标准规范，主要由类库和语言扩展层构成，提供多层级API，满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit

产品支持情况

• Ascend 950PR/Ascend 950DT：支持

• Atlas A3 训练系列产品/Atlas A3 推理系列产品：支持

• Atlas A2 训练系列产品/Atlas A2 推理系列产品：支持

• Atlas 200I/500 A2 推理产品：不支持

• Atlas 推理系列产品AI Core：支持

• Atlas 推理系列产品Vector Core：支持

• Atlas 训练系列产品：不支持

功能说明

头文件路径为："basic_api/kernel_tensor.h"。

根据用户指定的逻辑位置、数据类型、数据长度返回对应的LocalTensor对象。

函数原型

• 原型1：tileSize为模板参数

  // 当tileSize为常量时，建议使用此接口，以获得更优的性能 template <class DataType, uint32_t tileSize> LocalTensor<DataType> __aicore__ inline Alloc() template <TPosition pos, class DataType, uint32_t tileSize> __aicore__ inline LocalTensor<DataType> Alloc()

• 原型2：tileSize为接口入参

  // 当tileSize为动态参数时使用此接口 template <class DataType> LocalTensor<DataType> __aicore__ inline Alloc(uint32_t tileSize) template <TPosition pos, class DataType> LocalTensor<DataType> __aicore__ inline Alloc(uint32_t tileSize)

• 原型3：使用TensorTrait时使用此接口

  template <class DataType> LocalTensor<DataType> __aicore__ inline Alloc()

参数说明

表1原型1和原型2模板参数说明

表2原型2参数说明

表3原型3模板参数说明

返回值说明

根据用户输入构造的LocalTensor对象。

约束说明

• 针对Ascend 950PR/Ascend 950DT，对UB的内存分配，会基于静态内存的基础上进行分配，即动态内存初始位置，参考内存层级。

• 当前暂不支持与L1 Buffer, L0A Buffer, L0B Buffer, L0C Buffer, BiasTable静态数组混用。

调用示例

template <uint32_t v> using UIntImm = Std::integral_constant<uint32_t, v>; ... AscendC::LocalMemAllocator allocator; // 原型1：float类型，Tensor中有1024个元素，用户可以指定逻辑位置(或者不指定，由Alloc函数根据物理位置给出默认值，不影响功能) auto tensor1 = allocator.Alloc<AscendC::TPosition::VECIN, float, 1024>(); auto tensor1 = allocator.Alloc<float, 1024>(); // 原型2：float类型，Tensor中有tileLength个元素，用户可以指定逻辑位置(或者不指定，由Alloc函数根据物理位置给出默认值，不影响功能) auto tensor1 = allocator.Alloc<AscendC::TPosition::VECIN, float>(tileLength); // 原型3：用户指定逻辑位置VECIN，数据类型为float，Tensor中元素个数为16*16*16 auto shape = AscendC::MakeShape(UIntImm<16>{}, UIntImm<16>{}, UIntImm<16>{}); auto stride = AscendC::MakeStride(UIntImm<0>{}, UIntImm<0>{}, UIntImm<0>{}); auto layoutMake = AscendC::MakeLayout(shape, stride); auto tensorTraitMake = AscendC::MakeTensorTrait<float, AscendC::TPosition::VECIN>(layoutMake); auto tensor3 = allocator.Alloc<decltype(tensorTraitMake)>();

【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言，原生支持C和C++标准规范，主要由类库和语言扩展层构成，提供多层级API，满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit