CANN/asc-devkit任务间同步API

SetNextTaskStart

【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言，原生支持C和C++标准规范，主要由类库和语言扩展层构成，提供多层级API，满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit

[!NOTE]说明 本接口为试验接口，在后续版本中可能会调整或改进，不保证后续兼容性。请开发者在使用过程中关注后续版本更新。

产品支持情况

功能说明

在SuperKernel的子Kernel中调用，调用后的指令可以和后续其他的子Kernel实现并行，提升整体性能。如图1所示，SuperKernel按序调用子Kernel，为保证子Kernel之间数据互不干扰，会在子Kernel间插入算子间同步进行保序，子Kernel_N-1调用该接口后，之后的指令会和后续子Kernel_N实现并行。

SuperKernel是一种算子的二进制融合技术，与源码融合不同，它聚焦于内核函数 (Kernel) 的二进制的调度方案，展开深度优化，于已编译的二进制代码基础上融合创建一个超级Kernel函数（SuperKernel），以调用子函数的方式调用多个其他内核函数，也就是子Kernel。相对于单算子下发，SuperKernel技术可以减少任务调度等待时间和调度开销，同时利用Task间隙资源进一步优化算子头开销。

开发者需要自行保证调用此接口后的指令不会与后序算子互相干扰而导致精度问题，推荐在整个算子最后一条搬运指令后调用此接口。

图 1通过SetNextTaskStart实现并行示意图
![](https://raw.gitcode.com/cann/asc-devkit/raw/68eb55191616e7a7b08961a5c82a706272353b5f/docs/api/figures/通过SetNextTaskStart实现并行示意图.png "通过SetNextTaskStart实现并行示意图"?utm_source=gitcode_repo_files)

函数原型

• 该原型在如下产品型号支持：

  Ascend 950PR/Ascend 950DT

  Atlas A3 训练系列产品/Atlas A3 推理系列产品

  Atlas A2 训练系列产品/Atlas A2 推理系列产品

  Atlas 200I/500 A2 推理产品

  template<pipe_t AIV_PIPE = PIPE_MTE3, pipe_t AIC_PIPE = PIPE_FIX> __aicore__ inline void SetNextTaskStart()

• 该原型在如下产品型号支持：

  Atlas 推理系列产品AI Core

  Atlas 训练系列产品

  template<pipe_t AIV_PIPE = PIPE_MTE3, pipe_t AIC_PIPE = PIPE_MTE3> __aicore__ inline void SetNextTaskStart()

参数说明

表 1模板参数说明

返回值说明

无

约束说明

• 该接口适用于TorchAir图模式开发场景，且需在启用SuperKernel特性后方可生效。相关信息可参考《PyTorch图模式使用指南(TorchAir)》中的“GE图模式 > GE图模式功能 > 图内标定SuperKernel范围”章节。
• 在算子运行过程中，需要保证此接口在每个核上都被调用，且每个核上仅被调用一次。
• 若子Kernel某个TilingKey分支调用了此接口，则开发者需要保证当前算子可能会运行的所有TilingKey均调用了此接口，否则会出现因同步指令数量不匹配而卡住的现象。

调用示例

详细示例请参考TaskSync样例。

#include "kernel_operator.h" AscendC::LocalTensor<half> dstLocal = outQueueDst.DeQue<half>(); AscendC::DataCopy(dstGlobal, dstLocal, 512); // 在最后一条搬运指令后调用，使之后的指令可与后续子kernel并行执行 AscendC::SetNextTaskStart(); outQueueDst.FreeTensor(dstLocal);

【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言，原生支持C和C++标准规范，主要由类库和语言扩展层构成，提供多层级API，满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit