CANN/cann-bench评测平台快速入门指南

快速入门

【免费下载链接】cann-bench评测AI在处理CANN领域代码任务的能力，涵盖算子生成、算子优化等领域，支撑模型选型、训练效果评估，统一量化评估标准，识别Agent能力短板，构建CANN领域评测平台，推动AI能力在CANN领域的持续演进。项目地址: https://gitcode.com/cann/cann-bench

文档版本：V0.2.0

本文档介绍如何使用评测工程进行算子代码生成评测。

前置条件

• Python 3.8+
• PyTorch 2.0+
• torch_npu（NPU 模式）
• CANN 环境（NPU 模式）

安装

pip install -e .

评测命令

从源码目录评测（推荐）

自动扫描、编译、安装 AI 生成的算子源码：

./scripts/run_evaluation.sh --source-dir /path/to/ai_ops

评测指定算子

# 评测指定目录 ./scripts/run_evaluation.sh --task-dir kernel_bench/level1 # 评测单个算子目录 ./scripts/run_evaluation.sh --task-dir kernel_bench/level1/exp # 按算子名称筛选 ./scripts/run_evaluation.sh --operator Exp # 评测单个用例 ./scripts/run_evaluation.sh --operator Exp --case-id 1 # CPU 模式评测 ./scripts/run_evaluation.sh --device cpu --operator Exp # 设置 warmup/repeat 参数 ./scripts/run_evaluation.sh --operator Exp --warmup 5 --repeat 10

多卡并行评测

不指定--device-id时自动使用全部可用 NPU 卡：

# 多卡并行（自动检测） ./scripts/run_evaluation.sh --operator Exp # 指定每卡进程数 ./scripts/run_evaluation.sh --operator Exp --processes-per-card 4 # 指定进程超时 ./scripts/run_evaluation.sh --operator Exp --timeout-per-process 600

单卡评测

# 单卡模式（指定设备 ID） ./scripts/run_evaluation.sh --device-id 0 --operator Exp

查看算子信息

# 列出所有算子 ./scripts/run_evaluation.sh -a list # 查看算子详情 ./scripts/run_evaluation.sh -a info --operator Exp # 查看配置 ./scripts/run_evaluation.sh -a config

高级选项

测试脚本

使用tests/run_simple.py进行 Golden 验证：

# CPU 简单验证 ./scripts/run_test.sh --cpu --operator Exp # NPU 模拟评测（Golden 伪装成 AI 算子） ./scripts/run_test.sh --npu --operator Exp # 指定设备 ID ./scripts/run_test.sh --npu --device-id 1 --operator Exp # 多卡并行 ./scripts/run_test.sh --npu --operator Exp

评测报告

评测完成后，报告输出到reports/目录：

• reports/eval_report.json：JSON 格式详细报告
• reports/eval_report.md：Markdown 格式报告
• reports/summary.md：摘要报告
• reports/prof_data/：性能采集数据

下一步

• 贡献指南：如何提交新算子评测任务
• 评测基准规范：算子定义和精度标准
• 评测工程设计：评测器架构设计
• 性能采集设计：性能采集机制设计

【免费下载链接】cann-bench评测AI在处理CANN领域代码任务的能力，涵盖算子生成、算子优化等领域，支撑模型选型、训练效果评估，统一量化评估标准，识别Agent能力短板，构建CANN领域评测平台，推动AI能力在CANN领域的持续演进。项目地址: https://gitcode.com/cann/cann-bench