CANN/ops-transformer Chunk_gated_delta_rule算子测试框架

Chunk_gated_delta_rule算子测试框架

【免费下载链接】ops-transformer本项目是CANN提供的transformer类大模型算子库，实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-transformer

功能说明

基于pytest测试框架，实现Chunk_gated_delta_rule算子的功能验证：

• CPU侧：复现算子功能用以生成golden数据
• NPU侧：通过torch_npu进行算子直调获取实际数据
• 精度对比：进行CPU与NPU结果的精度对比验证算子功能

当前实现范围

参数限制

• 支持batch_size大于0。
• 支持seqlen序列长度。
• 支持NK、NV head数，NV需要为NK倍数。
• 支持DK、DV 不超过128。
• 支持data_type为BF16。

环境配置

前置要求

1. torch_npu安装包下载路径（需及时更换为最新版本）：torch_npu安装教程
2. 完成环境安装和环境变量配置，具体操作请参考：ops-transformer

custom包调用

支持custom包调用

文件结构

pytest文件结构说明

• test_run.sh # 执行脚本
• chunk_gated_delta_rule_golden.py # cpu侧算子golden实现以及cpu golden与npu结果精度对比
• pytest.ini # 创建ci单算子和graph图模式的测试标记

单用例测试:

• test_chunk_gated_delta_rule_single.py # 测试单用例运行主程序
• chunk_gated_delta_rule_operator_single.py # CPU侧算子逻辑实现获取golden与npu算子直调
• test_chunk_gated_delta_rule_paramset.py # 单用例入参配置

使用方法

在pytest文件夹路径下执行：

运行测试用例

单用例调测

1、手动配置test_chunk_gated_delta_rule_paramset.py的参数

2、执行指令：

bash test_run.sh single

【免费下载链接】ops-transformer本项目是CANN提供的transformer类大模型算子库，实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-transformer