194、NPU的编译器开发：用户反馈与迭代优化

NPU的编译器开发：用户反馈与迭代优化

上周五凌晨两点，我盯着屏幕上一条用户反馈发呆：“模型编译后推理结果全是NaN，但同样的模型在GPU上跑得好好的。”这不是第一次了。做NPU编译器三年，最怕的不是算法难，而是用户拿着一个“看起来没问题”的模型，编译器却给出一个“看起来没问题”的二进制，最后NPU跑出来一堆垃圾数据。

这条反馈来自一个做工业视觉检测的客户，模型是MobileNetV2的变体，量化后部署。我第一反应是“量化参数传错了”，但检查了用户提供的配置文件，scale和zero_point都对。第二反应是“算子融合出bug”，但逐层打印中间结果，前几层正常，到第7层depthwise卷积后突然崩了。

后来花了整整两天，发现是编译器在优化内存复用策略时，把某个中间tensor的lifetime算短了——前一个算子还没读完数据，后一个算子已经开始往同一块地址写。这种bug在仿真环境里很难复现，因为仿真器的内存模型太理想化，而真实NPU的DMA时序会暴露所有问题。

用户反馈：最真实的测试用例

NPU编译器开发有个残酷的现实：你写的测试用例永远覆盖不了真实场景。我们内部有上千个模型测试集，从经典CNN到最新的Transformer变体，但用户总能用出你没想到的组合。

比如有个用户反馈说“模型编译时间超过24小时”。排查后发现，他的模型里有一个超大维度的reshape操作，编译器在尝试做内存布局优化时，进入了指数级搜索空间。我们的优化pass没有对reshape的特殊性做保护，导致搜索树爆炸。这个bug在内部测试集里从未触发，因为内部测试的reshape维度都很常规。

另一个经典案例：用户