当前位置：首页 > news >正文

CANN/ops-nn GELU量化算子

news 2026/5/9 17:21:56

GeluQuant

【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库，实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn

接口功能：将GeluV2与DynamicQuant/AscendQuantV2进行融合，对输入的数据self进行GELU激活后，对激活的结果进行量化，输出量化后的结果。
计算公式：

先计算GELU计算得到geluOut
- approximate = tanh
$$ geluOut=Gelu(self)=self × Φ(self)=0.5 * self * (1 + Tanh( \sqrt{2 / \pi} * (self + 0.044715 * self^{3}))) $$
- approximate = none
$$ geluOut=Gelu(self)=self × Φ(self)=0.5 * self *[1 + erf(self/\sqrt{2})] $$
再对geluOut进行量化操作

$$ y = round_to_dst_type(geluOut * inputScaleOptional + inputOffsetOptional, round_mode) $$

quant_mode = dynamic
$$ geluOut = geluOut * inputScaleOptional $$ $$ Max = max(abs(geluOut)) $$ $$ outScaleOptional = Max/maxValue $$ $$ y = round_to_dst_type(geluOut / outScaleOptional, round_mode) $$
maxValue: 对应数据类型的最大值。
DataType maxValue
INT8 127
FLOAT8_E4M3FN 448
FLOAT8_E5M2 57344
HIFLOAT8 32768

参数名	输入/输出/属性	描述	数据类型	数据格式
self	输入	公式中的输入self。	BFLOAT16、FLOAT16、FLOAT	ND
inputScaleOptional	输入	公式中的输入inputScaleOptional。	BFLOAT16、FLOAT16、FLOAT	ND
inputOffsetOptional	输入	公式中的输入inputOffsetOptional。	BFLOAT16、FLOAT16、FLOAT	ND
approximate	属性	GELU激活函数的模式。 approximate仅支持{"none", "tanh"}。	STRING	-
quantMode	属性	量化的模式。 quantMode仅支持{"static", "dynamic"}。	STRING	-
roundMode	属性	数据转换的模式。支持{"rint", "round", "hybrid"}模式。	STRING	-
dstType	属性	数据转换后y的类型。输入范围为{2, 34, 35, 36}。	INT64_T	-
y	输出	公式中的输出y。	FLOAT8_E4M3FN、FLOAT8_E5M2、HIFLOAT8、INT8	ND
outScaleOptional	输出	公式中的outScaleOptional。	FLOAT	ND

Kirin X90/Kirin 9030处理器系列产品：self、inputScaleOptional和inputOffsetOptional的数据类型不支持BFLOAT16。y不支持FLOAT8_E4M3FN、FLOAT8_E5M2、HIFLOAT8。

inputScaleOptional的数据类型与self的类型一致，或者在类型不一致时采用精度更高的类型。

调用方式	调用样例	说明
aclnn调用	test_aclnn_gelu_quant	通过aclnnGeluQuant接口方式调用GeluQuant算子。
图模式调用	test_geir_gelu_quant	通过算子IR构图方式调用GeluQuant算子。

【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库，实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考