cann/catlass Ascend950全解量化矩阵乘
57_ascend950_matmul_full_dequant Example Readme
【免费下载链接】catlass本项目是CANN的算子模板库，提供NPU上高性能矩阵乘及其相关融合类算子模板样例。项目地址: https://gitcode.com/cann/catlass
代码组织
├── 57_ascend950_matmul_full_dequant │ ├── CMakeLists.txt # CMake编译文件 │ ├── README.md │ └── matmul_full_dequant.cpp # 主文件- 支持的量化模式
| X1的量化模式 | X2的量化模式 | 带有Bias |
|---|---|---|
| per_token | per_tensor | False |
| per_token | per_channel | False |
| per_tensor | per_channel | False |
| default | per_channel | False |
| per_token | per_tensor | True |
| per_token | per_channel | True |
| default | per_tensor | True |
| default | per_channel | True |
default模式：不采用任何量化模式
使用示例
- 获取代码之后编译相应的算子可执行文件，可参考quickstart，本用例为Ascend 950算子，编译时需加-DCATLASS_ARCH=3510
- 执行算子
# 编译指定用例 bash scripts/build.sh 57_ascend950_matmul_full_dequant -DCATLASS_ARCH=3510 # 生成测试样例 # cd examples/57_ascend950_matmul_full_dequant # python3 scripts/gen_data.py --shape "64 64 64" --x1_quant_mode per_token --x2_quant_mode per_channel # cd ../../output/bin # cp -r ../../examples/57_ascend950_matmul_full_dequant/input/ . # cp -r ../../examples/57_ascend950_matmul_full_dequant/output/ . # 可执行文件名 |矩阵m轴|n轴|k轴|x1QuantMode|x2QuantMode|isBias # isBias可选，默认为false ./57_ascend950_matmul_full_dequant 64 64 64 per_token per_channel执行结果如下，说明精度比对成功。
Compare success.【免费下载链接】catlass本项目是CANN的算子模板库，提供NPU上高性能矩阵乘及其相关融合类算子模板样例。项目地址: https://gitcode.com/cann/catlass
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考