CANN/pypto CODEGEN组件错误码
CODEGEN 组件错误码
【免费下载链接】pyptoPyPTO(发音: pai p-t-o):Parallel Tensor/Tile Operation编程范式。项目地址: https://gitcode.com/cann/pypto
- 范围:F6XXXX
- 本文档说明 CODEGEN 组件的错误码定义、场景说明与排查建议。
错误码定义
相关错误码的枚举与码值统一定义在framework/include/tilefwk/error_code.h(见 FwkErr、OperErr、GenCodeErr、CmpCodeErr 等)。
排查建议
排查前准备
遇到CodeGen组件校验报错,或生成的Kernel代码不符合预期,可通过如下步骤进行日志收集并分析:
设置日志级别为INFO
- 设置日志输出路径 export ASCEND_PROCESS_LOG_PATH={用户指定日志路径}
- 设置日志级别为全局INFO级别 export ASCEND_GLOBAL_LOG_LEVEL=1 // 0: DEBUG, 1: INFO, 2: WARN, 3: ERROR 或指定CodeGen模块日志级别为INFO,如: export ASCEND_MODULE_LOG_LEVEL=CODEGEN=1
设置并行编译数量为1由于CodeGen模块通过并行编译多个子图方式节省编译时长,故为了防止输出日志乱序,定位问题时需要将并行编译改为串行,设置方法如下:
- 修改tile_fwk_config.json中的parallel_compile为1
- 重新编译并安装pypto包,参考编译安装。
再次执行用例,获取日志及kernel代码文件日志路径一般为:{用户指定日志路径}/debug/plog/pypto-log***.log kernel代码文件路径一般为: pypto工程路径或测试框架执行路径下,搜索kernel_aicore文件夹,文件夹内的TENSOR***.cpp即kernel代码文件。
分析日志
- 对于FRAMEWORK(F60XXX)、OPERATION_ADAPTER(F61XXX)类错误,一般为上游数据异常导致,需要结合PASS日志分析
- 其他类型错误需要结合上下文进行分析
场景举例
注意:所有场景日志分析均基于上述排查步骤中获取的日志为基础。
生成kernel代码中某个TileOP调用参数不符合预期
在kernel代码中找到不符合预期的TileOp调用,例如:
TAdd<LastUse3Dim<0, 1, 1>>(ubTensor_0, ubTensor_0, ubTensor_2);以上面TileOp调用代码为关键字在日志中进行搜索。
找到日志后往上搜索出现的第一个”Op CodeGenNPU Start”关键字,即该TileOp生成的开始位置,由此往后以此检查日志信息是否符合预期。
若怀疑和PASS传入的数据有关,则可以在"Op CodeGenNPU Start"关键字后搜索"Gen OP IS"关键字,后面包含了该Operation的Dump信息,样例如下:
Gen OP IS: <2 x 2 x 16 x 16 x DT_FP32 / sym_3_dim_0 x sym_3_dim_1 x sym_3_dim_2 x sym_3_dim_3 x DT_FP32> %152@5#(0)MEM_UB::MEM_UB = !10010 TILE_ADD(g:0, s:-1) %3@3#(0)MEM_UB::MEM_UB, %4@4#(0)MEM_UB::MEM_UB #IS_CUBE{0} #last_use{[0, 1, 1]}其中!10010即该OP的唯一标识码,可以此为关键字在PASS的图或日志中搜索获取相关信息,PASS定位指导详见pass trouble shooting
错误码 F62014:SYMBOL_NOT_FOUND
该错误码表示kernel代码中调用了未定义的变量,常见错误场景如下:
Operation缺少need_alloc属性
该类错误场景日志上下文会包含"UNDEFINED_VAR"关键字。 CodeGen需要以来Operation中的need_alloc属性生成变量定义语句,若该属性缺失,则会导致变量定义语句缺失从而报错。 可结合前文生成kernel代码中某个tileop调用参数不符合预期步骤,找到缺失属性的Operation联合PASS继续定位。
错误码 F63001:COMPILE_CODE_FAILED
kernel代码编译错误可能有多种原因导致,后续将根据不同场景完善排查指导。
场景1: 堆栈溢出
报错关键字样例:
error: stack frame size (*****) exceeds limit (32768) in function可参考: 算子编译报堆栈溢出错误
场景2: PTO指令数据类型不匹配
报错关键字"maybe need a type",样例:
/usr/local/Ascend/cann-9.0.0/include/pto/npu/a5/TStore.hpp:233:41: error: the 2nd parameter maybe need a type 'cc float *' copy_matrix_cc_to_gm(dstGlobalAddr, srcTileAddr, xmReg, xtReg);数据类型不匹配可能原因有:
- 前端调用Operation接口参数传递错误,参考:执行代码有pto相关报错
- 使用了PTO-ISA不支持的数据类型,需要重新分析用例场景,使用硬件支持的数据类型
场景3: 生成PTO指令和二进制编译参数指定的硬件平台不匹配
报错关键字"does not support the given target feature",样例:
error: function type 'void (__cbuf__ void *, __gm__ void *, unsigned char, unsigned short, unsigned short, unsigned short, unsigned short, unsigned int) noexcept' of 'copy_gm_to_cbuf' does not support the given target feature copy_gm_to_cbuf(dst, src, (uint8_t)0, nBurst, lenBurst, gmGap, l1Gap, (pad_t)0); ^出现此类报错原因可能有:
- kernel代码编译参数为Vector,但是生成的kernel代码中包含了Cube相关指令,或者反之编译参数为Cube,但是生成的kernel代码中包含了Vector相关指令,导致bisheng编译器报错。 该类问题一般为PASS将Vector和Cube的Operation在CodeGen阶段前仍然混合到一张子图导致,需要PASS进一步分析子图切分逻辑。CodeGen阶段看到的必须是独立的纯Vector或纯Cube子图。
- CodeGen使用Cube或Vector的编译参数依据为Function::IsCube()接口,需要PASS确认对不同子图,该接口设置的值是否正确。
场景4: 变量未定义
- 报错关键字包含sym_***:
output/output_20260317_102613_935544_121641/kernel_aicore/TENSOR_loop_0_Unroll1_PATH0_hiddenfunc1_9_416851834981923603_3_aiv.cpp:16:70: error: use of undeclared identifier 'sym_209_dim_0'; did you mean 'sym_65_dim_0'? UBTileTensorBF16Dim2_1 ubTensor_1((uint64_t)UB_S0_E512_T, (Shape2Dim(sym_209_dim_0, sym_209_dim_1)));此类变量用于运行时动态获取Shape、Offset大小,数据来源于Function::GetDynParamTable接口,可在报错日志中往前搜索首个出现的"subprogram id"关键字,找到子图ID并告知PASS,由PASS继续分析变量缺失原因。
二进制编译时长统计
CodeGen模块耗时可通过执行算子后在屏幕输出中观察Compiler Monitor提供的统计结果,样例如下:
[Compiler Monitor] Stage: CodeGen(completed) | Stage elapsed: 1.2s | Total elapsed: 1.2s [Compiler Monitor] Compilation finished 6/6 | Total functions: 6 [Compiler Monitor] Stage timing (aggregated by stage): CodeGen 1.2s (sum over 6 functions) Pass 0.0s (sum over 6 functions) Prepare 0.0s [Compiler Monitor] Monitoring stopped | Total elapsed: 1.2s由于当前CodeGen耗时主要为二进制编译,故专门将Top Function粒度的二进制编译时长记录于CodeGen模块的INFO级别日志中,可grep关键字"Top Function magic:",该日志记录了该Top Function内的所有子图二进制编译时长总和(所有子图通过make并行编译),样例如下:
[INFO ] PYPTO(726656):2026-03-19 10:59:35.426 [codegen_cloudnpu.cpp:760][CODEGEN]:Top Function magic: 8, hash: 16874966534923480783: Starting parallel compilation: 128 jobs, 1 tasks [INFO ] PYPTO(726656):2026-03-19 10:59:36.135 [codegen_cloudnpu.cpp:768][CODEGEN]:Top Function magic: 8, hash: 16874966534923480783: Parallel compilation finished in 709.613831 ms日志中记录了该Top Function内所有子图执行bisheng命令编译二进制的并发进程数量,以及总体耗时。
单个kernel文件编译时长确认方法:
- 从pypto工程路径或测试框架路径下找到kernel_aicore文件夹及需要验证的kernel代码文件Tensor**.cpp,例如: {前置路径}/output/output_20260319_145742_163710_1702013_6466B4B5/kernel_aicore/TENSOR_Step0_Unroll1_PATH0_hiddenfunc0_8_16874966534923480783_0_aiv.cpp
- 打开kernel代码文件,到最底部找到编译该文件的bisheng命令并复制,例如:
bisheng -c -O3 -g -x cce ... -o output/output_20260319_145742_163710_1702013_6466B4B5/kernel_aicore/TENSOR_Step0_Unroll1_PATH0_hiddenfunc0_8_16874966534923480783_0_aiv.o output/output_20260319_145742_163710_1702013_6466B4B5/kernel_aicore/TENSOR_Step0_Unroll1_PATH0_hiddenfunc0_8_16874966534923480783_0_aiv.cpp- cd {前置路径} 确认当前在output文件夹上一层
- 执行刚刚复制的bisheng命令,确认可执行成功,若报bisheng命令找不到则参考: prepare_environment "CANN 环境加载(通用模板)"章节 . 利用系统自带如time、perf或其他shell命令结合bisheng命令统计时长,例如:
time bisheng -c -O3 -g -x cce ... -o output/output_20260319_145742_163710_1702013_6466B4B5/kernel_aicore/TENSOR_Step0_Unroll1_PATH0_hiddenfunc0_8_16874966534923480783_0_aiv.o output/output_20260319_145742_163710_1702013_6466B4B5/kernel_aicore/TENSOR_Step0_Unroll1_PATH0_hiddenfunc0_8_16874966534923480783_0_aiv.cpp
【免费下载链接】pyptoPyPTO(发音: pai p-t-o):Parallel Tensor/Tile Operation编程范式。项目地址: https://gitcode.com/cann/pypto
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
