159、NPU的编译器开发：算子库自动生成

159、NPU的编译器开发：算子库自动生成

昨晚加班到凌晨两点，盯着屏幕上一条报错发呆：“算子conv2d_3x3_int8在目标NPU上未找到实现”。这不是第一次了。每次新芯片流片回来，最痛苦的不是硬件调通，而是那几百个算子要手写汇编——写一个conv2d要三天，验证要一周，而这样的算子有上百个。今天聊聊怎么让编译器自己把算子库“长”出来。

从一次血泪教训说起

去年做某款RISC-V扩展NPU时，团队花了三个月手写了80个算子。结果第三版硬件改了MAC阵列的dataflow——从weight-stationary改成output-stationary。所有算子要重写。当时我就想：如果能让编译器根据硬件描述自动生成算子，哪怕效率低20%，也比重写三个月强。

这个想法后来变成了我们内部的“算子工厂”项目。核心思路很简单：把算子实现拆成“计算模式”和“硬件映射”两层。计算模式描述数学逻辑（比如卷积就是滑窗乘加），硬件映射描述怎么把计算塞进具体的PE阵列、内存层级和指令流水线。

算子库自动生成的核心架构

自动生成系统通常包含三个模块：算子描述语言（ODL）、硬件抽象层（HAL）、代码生成引擎。

算子描述语言不是让你写C代码，而是用类似数学公式的方式描述计算。比如一个3x3卷积：

OP conv2d_3x3 { INPUT: ifmap[N][H][W][C] WEIGHT: kernel[3][3][C][K] OUTPUT: ofmap[N][H][W][K] COM