CANN/ops-nn Swish激活函数

aclnnSwish

【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库，实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn

产品支持情况

功能说明

• aclnnSwish：对输入 Tensor 执行 Swish 激活计算，并将结果写入独立输出 Tensor。
• experimental/activation/swish_v2目录对外导出的 ACLNN 接口名与当前实现保持一致。
• 当前仅导出普通接口，未导出任何 inplace 接口。
• betaOptional为空时使用默认缩放系数1.0。

计算公式：

$$ y = \frac{x}{1 + e^{-\text{scale} \times x}} $$

函数原型

每个算子分为两段式接口，必须先调用aclnnSwishGetWorkspaceSize获取执行器和 workspace 大小，再调用第二段接口执行计算。

aclnnStatus aclnnSwishGetWorkspaceSize( const aclTensor *self, const aclScalar *betaOptional, aclTensor *out, uint64_t *workspaceSize, aclOpExecutor **executor);

aclnnStatus aclnnSwish( void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, const aclrtStream stream);

aclnnSwishGetWorkspaceSize

• 参数说明：

  参数名	输入/输出	描述	使用说明	数据类型	数据格式	维度(shape)	非连续Tensor
  self（aclTensor*）	输入	待进行 Swish 计算的输入张量，公式中的 `x`。	支持空Tensor。 shape 必须与 out 完全一致。 数据类型必须与 out 完全一致。	BFLOAT16（仅 Ascend910B 及后续同代 SoC 支持）、FLOAT16、FLOAT32	ND	0-8	√
  betaOptional（aclScalar*）	输入	可选缩放系数。	允许传空，空值时默认使用 1.0。 非空时需要能转换到 `FLOAT`。	可转换到 FLOAT 的标量类型	Scalar	-	-
  out（aclTensor*）	输出	计算的出参。	支持空Tensor。 shape 必须与 self 完全一致。 数据类型必须与 self 完全一致。	BFLOAT16（仅 Ascend910B 及后续同代 SoC 支持）、FLOAT16、FLOAT32	ND	0-8	√
  workspaceSize（uint64_t*）	输出	返回需要在 Device 侧申请的 workspace 大小。	-	-	-	-	-
  executor（aclOpExecutor**）	输出	返回 op 执行器，包含算子计算流程。	-	-	-	-	-

• 返回值：

  aclnnStatus：返回状态码，具体参见aclnn返回码。

  第一段接口会完成入参校验，出现以下场景时报错：

  返回码	错误码	描述
  ACLNN_ERR_PARAM_NULLPTR	161001	传入的 self 或 out 是空指针。
  ACLNN_ERR_PARAM_INVALID	161002	self 或 out 的数据类型不在支持范围内。
  		self 和 out 的数据类型不一致。
  		self 和 out 的 shape 不一致。
  		self 或 out 的维度大于 8，或 betaOptional 无法转换为 FLOAT。

aclnnSwish

• 参数说明：

  参数名	输入/输出	描述
  workspace	输入	在 Device 侧申请的 workspace 内存地址。
  workspaceSize	输入	在 Device 侧申请的 workspace 大小，由第一段接口 aclnnSwishGetWorkspaceSize 获取。
  executor	输入	op 执行器，包含算子计算流程。
  stream	输入	指定执行任务的 Stream。

• 返回值：

  aclnnStatus：返回状态码，具体参见aclnn返回码。

实现说明

• 当前实现先对self做Contiguous，再调用l0op::SwishV2AscendC kernel 完成计算，最后通过ViewCopy将结果回写到out。
• betaOptional非空时会先转换为 host 侧float标量，再作为scale属性传入 kernel。
• FLOAT16和BFLOAT16路径在 kernel 中升精度到float32计算后回写。

调用示例

#include "aclnnop/aclnn_swish.h" aclnnStatus RunSwish(const aclTensor *self, const aclScalar *betaOptional, aclTensor *out, aclrtStream stream) { uint64_t workspaceSize = 0; aclOpExecutor *executor = nullptr; auto ret = aclnnSwishGetWorkspaceSize( self, betaOptional, out, &workspaceSize, &executor); if (ret != ACL_SUCCESS) { return ret; } void *workspace = nullptr; if (workspaceSize > 0) { ret = aclrtMalloc(&workspace, workspaceSize, ACL_MEM_MALLOC_HUGE_FIRST); if (ret != ACL_SUCCESS) { return ret; } } ret = aclnnSwish(workspace, workspaceSize, executor, stream); if (workspace != nullptr) { aclrtFree(workspace); } return ret; }

【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库，实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn