CANN/asc-devkit 反量化临时空间API

GetAscendAntiQuantMaxMinTmpSize

【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言，原生支持C和C++标准规范，主要由类库和语言扩展层构成，提供多层级API，满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit

功能说明

kernel侧AscendAntiQuant接口的计算需要开发者预留/申请临时空间，本接口用于在host侧获取预留/申请的最大最小临时空间大小，开发者基于此范围选择合适的空间大小作为Tiling参数传递到kernel侧使用。

• 为保证功能正确，预留/申请的临时空间大小不能小于最小临时空间大小；
• 在最小临时空间-最大临时空间范围内，随着临时空间增大，kernel侧接口计算性能会有一定程度的优化提升。为了达到更好的性能，开发者可以根据实际的内存使用情况进行空间预留/申请。

函数原型

void GetAscendAntiQuantMaxMinTmpSize(const ge::Shape& srcShape, const ge::Shape& scaleShape, bool isTranspose, ge::DataType inputDataType, ge::DataType outputDataType, uint32_t& maxValue, uint32_t& minValue)

uint32_t GetAscendAntiQuantMaxTmpSize(const ge::Shape& srcShape, const ge::Shape& scaleShape, bool isTranspose, ge::DataType inputDataType, ge::DataType outputDataType)

uint32_t GetAscendAntiQuantMinTmpSize(const ge::Shape& srcShape, const ge::Shape& scaleShape, bool isTranspose, ge::DataType inputDataType, ge::DataType outputDataType)

参数说明

表1接口参数列表

返回值说明

GetAscendAntiQuantMaxMinTmpSize：无。

GetAscendAntiQuantMaxTmpSize：AscendAntiQuant接口能完成计算所需的最大临时空间大小。

GetAscendAntiQuantMinTmpSize：AscendAntiQuant接口能完成计算所需的最小临时空间大小。

约束说明

无

调用示例

uint32_t maxValue = 0; uint32_t minValue = 0; std::vector<int64_t> srcDims = {64, 512}; auto srcShape = ge::Shape(srcDims); std::vector<int64_t> scaleDims = {1, 512}; auto scaleShape = ge::Shape(scaleDims); bool isTranspose = false; AscendC::GetAscendAntiQuantMaxMinTmpSize( srcShape, scaleShape, isTranspose, ge::DT_INT8, ge::DT_BF16, maxValue, minValue);

【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言，原生支持C和C++标准规范，主要由类库和语言扩展层构成，提供多层级API，满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit