055、NPU的归一化单元：BatchNorm与LayerNorm的硬件加速

055、NPU的归一化单元：BatchNorm与LayerNorm的硬件加速

一、一个让我熬夜三天的bug

去年做一款端侧AI芯片的驱动调试，模型跑在自研NPU上，推理结果总是飘——同一张图，前向传播五次，输出能差出两个百分点。当时团队里算法同事拍桌子说“你们硬件精度有问题”，硬件同事回怼“你们模型量化参数给错了”。我夹在中间，拿着逻辑分析仪一帧一帧抓NPU内部寄存器状态。

最后定位到问题：归一化层的硬件实现里，BatchNorm的均值/方差更新逻辑和软件训练时用的滑动平均策略没对齐。软件端训练时用的是全局统计量，硬件推理时却用了当前batch的在线统计——这在推理阶段是致命的，尤其当batch size=1的时候，归一化直接变成了“自归一化”，输出方差完全失控。

这个坑让我意识到，NPU里看似简单的归一化单元，其实是整个推理流水线中最容易被低估的“精度刺客”。今天就把这块硬骨头拆开来讲。

二、归一化在NPU里的“物理意义”

先别急着看公式。在嵌入式NPU里，归一化干的事就两件：把激活值的分布拉回标准范围，给后续量化提供稳定的动态范围。

BatchNorm和LayerNorm的区别，用硬件工程师的话说就是：

• BatchNorm：沿着batch维度算均值和方差。适合CNN这种特征图结构，但推理时batch size=1就尴尬了——均值等于当前样本自己，方差接近0，除出来