TTK（Ops Test Tool Kit）：昇腾CANN算子库的终极自动化测试框架完整指南

TTK（Ops Test Tool Kit）：昇腾CANN算子库的终极自动化测试框架完整指南

【免费下载链接】ops-test-kitTTK（Ops Test Tool Kit）是CANN算子库提供的全链路、自动化、批量化算子测试框架，帮助开发者快速完成算子批量功能验证、性能评估以及Golden值比对，提升算子开发质量和效率。项目地址: https://gitcode.com/cann/ops-test-kit

TTK（Ops Test Tool Kit）是华为昇腾CANN算子库提供的全链路、自动化、批量化算子测试框架。这个强大的测试工具帮助开发者快速完成算子批量功能验证、性能评估以及Golden值比对，显著提升算子开发质量和效率。无论您是昇腾AI开发者还是算子测试工程师，TTK都能为您提供一站式解决方案。

🚀 为什么选择TTK自动化测试框架？

TTK算子测试框架解决了传统算子测试中的多个痛点问题：

• 全链路测试覆盖：支持从Kernel层到框架层的完整测试链路
• 自动化批量执行：通过CSV文件一键驱动数百个测试用例
• 多硬件平台支持：E2E模式支持NPU、GPU、CPU三种后端设备
• 智能精度比对：提供数值近似、余弦相似度、二进制精确等多种比对方法

📊 TTK核心功能架构

1. 多模式算子测试支持

TTK支持三种主要的算子测试模式，满足不同层次的测试需求：

2. 智能用例管理系统

TTK采用CSV文件驱动测试用例，简化了测试用例的编写和管理：

testcase_name,op_name,input_shapes,input_dtypes,output_shapes,output_dtypes add_01,add,"((128, 1024), (1, 1024))","('float32', 'float32')","((128, 1024),)","('float32',)"

用例文件存储在examples/case_store/目录中，按测试模式分类组织。

3. 高效并行执行引擎

TTK内置多卡并行执行能力，充分利用昇腾NPU的硬件优势：

• 多设备并行：自动分配测试任务到多个NPU设备
• 进程级隔离：每个测试用例在独立进程中执行，避免相互影响
• 智能调度：根据设备负载动态调整任务分配

🛠️ 快速入门：5分钟掌握TTK使用

第一步：环境准备与安装

# 克隆TTK仓库 git clone https://gitcode.com/cann/ops-test-kit.git cd ops-test-kit # 安装依赖 pip install -r requirements.txt

第二步：编写第一个测试用例

在examples/case_store/kernel/add.csv中可以找到Add算子的示例用例，复制并修改即可创建自己的测试用例。

第三步：执行算子测试

# Kernel模式测试 python3 -m ttk kernel -i add.csv # ACLNN模式测试 python3 -m ttk aclnn -i aclnn_cat.csv # E2E模式测试（支持NPU/GPU/CPU） python3 -m ttk e2e -i torch_add.csv --backend npu

第四步：分析测试结果

TTK会在终端输出详细的测试结果，包括：

• 每个用例的精度比对状态
• 整体通过率统计
• 性能耗时分析
• 详细的错误信息（如果测试失败）

🔧 高级功能详解

插件系统扩展能力

TTK提供了可扩展的插件系统，支持自定义Golden生成函数和输入数据生成函数。插件代码位于ttk/user_defined_modules/目录：

user_defined_modules/ ├── op/ │ ├── golden_funcs/ # 自定义Golden生成函数 │ └── input_funcs/ # 自定义输入生成函数 └── op_api/ # 自定义算子API

精度比对方法

TTK支持多种精度比对策略，满足不同场景的需求：

1. 数值近似比对（close）：默认方法，适用于大多数场景
2. 余弦相似度比对（cosine）：适用于向量相似度评估
3. 二进制精确比对（binary）：要求完全一致的输出
4. 重量化比对（requant）：适用于量化算子测试

调试与诊断工具

TTK提供了丰富的调试选项，帮助开发者快速定位问题：

# 开启数据dump功能 python3 -m ttk kernel -i add.csv --dump full # 仅dump失败用例的数据 python3 -m ttk kernel -i add.csv --dump-on-fail # 查看设备信息 python3 -m ttk info

📈 最佳实践指南

1. 测试用例设计原则

• 单一职责：每个用例只测试一个特定场景
• 边界覆盖：包含边界值、特殊值测试
• 性能基准：建立性能基准线，监控性能回归

2. 持续集成集成

将TTK集成到CI/CD流水线中，实现自动化测试：

# GitLab CI示例 test: stage: test script: - python3 -m ttk kernel -i test_cases.csv -o results.csv - python3 scripts/analyze_results.py results.csv

3. 性能优化建议

• 批量执行：利用TTK的批量执行能力，减少环境初始化开销
• 并行配置：根据硬件配置调整并行度参数
• 内存管理：合理设置HBM内存限制，避免内存溢出

🎯 TTK在算子开发流程中的应用

TTK可以无缝集成到昇腾算子开发的各个阶段：

算子设计 → 代码实现 → TTK功能验证 → TTK性能测试 → 集成测试 → 发布

开发阶段

• 使用TTK进行快速原型验证
• 验证算子功能正确性

测试阶段

• 批量回归测试
• 性能基准测试
• 精度一致性验证

维护阶段

• 版本升级兼容性测试
• 性能回归监控
• 问题复现与调试

🔍 常见问题与解决方案

Q1：测试用例执行失败怎么办？

A：首先检查FAQ一本通文档，常见问题都有详细解答。

Q2：如何自定义输入数据生成？

A：参考ttk/user_defined_modules/op/input_funcs/中的示例，实现自定义输入生成函数。

Q3：TTK支持哪些硬件平台？

A：Kernel和ACLNN模式仅支持昇腾NPU，E2E模式支持NPU、GPU、CPU三种后端。

Q4：如何贡献代码或报告问题？

A：通过GitCode的Issues和Pull Requests功能参与社区贡献。

📚 深入学习资源

官方文档

• 算子测试指南 - 各类算子测试的详细指南
• 任务执行文档 - 完整的命令行参数说明
• 用例生成指南 - 测试用例编写规范

源码学习

• 核心模块 - TTK的核心实现代码
• 插件系统 - 插件加载与管理机制
• 运行时接口 - 与昇腾运行时的交互接口

🚀 开始您的TTK之旅

TTK作为昇腾CANN生态中的重要测试工具，正在帮助越来越多的开发者提升算子开发效率。无论您是初学者还是有经验的开发者，TTK都能为您提供强大的测试支持。

立即开始使用TTK，体验自动化算子测试带来的效率提升！✨

核心优势总结：✅ 全链路测试覆盖
✅ 自动化批量执行
✅ 多硬件平台支持
✅ 智能精度比对
✅ 可扩展插件系统
✅ 详细结果分析

通过TTK，您可以将算子测试时间从数小时缩短到几分钟，同时保证测试的全面性和准确性。赶快尝试这个强大的昇腾算子测试框架吧！

【免费下载链接】ops-test-kitTTK（Ops Test Tool Kit）是CANN算子库提供的全链路、自动化、批量化算子测试框架，帮助开发者快速完成算子批量功能验证、性能评估以及Golden值比对，提升算子开发质量和效率。项目地址: https://gitcode.com/cann/ops-test-kit