CANN/pto-isa通信测试问题诊断手册

问题诊断手册

【免费下载链接】pto-isaParallel Tile Operation (PTO) is a virtual instruction set architecture designed by Ascend CANN, focusing on tile-level operations. This repository offers high-performance, cross-platform tile operations across Ascend platforms.项目地址: https://gitcode.com/cann/pto-isa

1. 死锁（程序挂起）

症状：程序无响应，mpirun超时。

排查步骤

超时保护模式

int timeout = 1000000; while (timeout-- > 0) { if (comm::TTEST(sig, expected, comm::WaitCmp::GE)) break; } if (timeout <= 0) { dcci((__gm__ void *)signal_ptr, SINGLE_CACHE_LINE); // 记录异常 }

2. 数据错误

3. 信号残留

症状：第一次运行正确，第二次运行结果错误或提前通过 barrier。

原因：信号矩阵未在每次运行前清零。

修复：

aclrtMemset(signal_matrix, signal_size, 0, signal_size); aclrtSynchronizeStream(stream);

4. 编译错误

5. TPUT_ASYNC 返回无效 event

症状：event.valid()返回 false（handle == 0）。

原因：

• 传入的 tensor 不是扁平连续一维
• BuildAsyncSession 失败（workspace 无效）
• A5 平台 MTE fallback 完成时返回 handle=0（正常行为）

排查：

auto event = comm::TPUT_ASYNC(dstG, srcG, session); if (!event.valid()) { // 检查 session.valid // 检查 tensor 是否一维连续 // A5 平台下 MTE fallback 已完成，无需 Wait }

6. dcci 缓存一致性问题

症状：Device 侧读到陈旧数据。

原因：AICore 读 GM 可能命中 L1 缓存，看不到其他核的写入。

解决：

dcci((__gm__ void *)&shared_data, SINGLE_CACHE_LINE); __asm__ __volatile__(""); // 编译器屏障 int32_t value = shared_data;

【免费下载链接】pto-isaParallel Tile Operation (PTO) is a virtual instruction set architecture designed by Ascend CANN, focusing on tile-level operations. This repository offers high-performance, cross-platform tile operations across Ascend platforms.项目地址: https://gitcode.com/cann/pto-isa