CANN/asc-devkit Scatter指令API文档
Scatter
【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言,原生支持C和C++标准规范,主要由类库和语言扩展层构成,提供多层级API,满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit
产品支持情况
功能说明
给定源操作数的寄存器张量和索引张量,以及结果操作数在UB中的基地址,Scatter指令将源操作数按元素根据索引位置分散到UB中。分散过程如下图所示:
定义原型
template <typename T = DefaultType, typename U = DefaultType, typename S, typename V> __simd_callee__ inline void Scatter(__ubuf__ T* baseAddr, S& srcReg, V& index, MaskReg& mask)参数说明
表 1模板参数说明
表 2函数参数说明
srcReg中的每个元素在UB中相对于baseAddr的索引位置。索引值要大于等于0。 | ||
约束说明
目的操作数和源操作数的数据类型T和U数据类型需要配套使用。类型配套对应表如下:
表 3Scatter操作数数据类型对应表
当T为b64数据类型时,T,U,V数据类型只支持以下组合:
当T为int8或者uint8数据类型时,源操作数Tensor中仅偶数位Byte有效。最终存入UB结果地址的数据仅为源操作数Tensor偶数位Byte,即srcReg中的第0,2,4,..., 252,254位置数据会被分散存储到目的操作数中。
index中不能有相同的值。若有2个或者2个以上的index中的数据相同,则只有其中一个值对应的数据是有效的,具体哪一个数据可能是未知的。
索引位置需要按照dtype_size(单个元素的Byte数)对齐,否则可能会造成数据分散结果错乱。
调用示例
template<typename T, typename U> __simd_vf__ inline void ScatterVF(__ubuf__ T* dstAddr, __ubuf__ T* src0Addr, __ubuf__ U* src1Addr, uint32_t count, uint32_t oneRepeatSize, uint16_t repeatTimes) { AscendC::Reg::RegTensor<T> srcReg0; AscendC::Reg::RegTensor<U> srcReg1; AscendC::Reg::MaskReg mask; for (uint16_t i = 0; i < repeatTimes; i++) { mask = AscendC::Reg::UpdateMask<T>(count); AscendC::Reg::LoadAlign(srcReg0, src0Addr + i * oneRepeatSize); AscendC::Reg::LoadAlign(srcReg1, src1Addr + i * oneRepeatSize); AscendC::Reg::Scatter(dstAddr, srcReg0, srcReg1, mask); } }【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言,原生支持C和C++标准规范,主要由类库和语言扩展层构成,提供多层级API,满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
