082、NPU的块浮点（Block Floating Point）：折中方案

好的，我们继续。这是《嵌入式NPU原理基础》系列的第082篇。

082、NPU的块浮点（Block Floating Point）：折中方案

从一次“精度爆炸”的调试说起

几年前，我在调一个端侧人脸检测模型。模型不大，MobileNetV1的变体，量化到INT8，在Cortex-M7上跑得挺欢。客户要求移植到我们自研的NPU上，号称能效比翻三倍。我兴冲冲地把权重和激活值一股脑儿转成INT8，塞进NPU的SRAM，一跑——结果全屏都是噪点，人脸检测框满天飞，比毕加索还抽象。

第一反应：量化参数错了。检查了scale和zero_point，对着PC端的参考输出逐层比对，发现前几层误差还在可接受范围，到了第三层卷积之后，误差像坐了火箭，直接偏离轨道。我盯着调试器里那一串INT8的中间结果，百思不得其解：明明每层的量化参数都是按标准MinMax方法算的，为什么误差累积得这么快？

后来拆开NPU的微架构手册，看到一行小字：“本单元采用块浮点（BFP）数据格式，每16个通道共享一个指数。” 我恍然大悟——不是我的量化参数错了，是NPU内部压根没按我给的逐张量（per-tensor）scale去算，它自己按块重新对齐了指数。

块浮点：不是新东西，但NPU把它玩出了花

块浮点（Block Floating Point，BFP）这个概念，搞过DSP的老人应该不陌生。早年在定点DSP上做FFT，为了防止溢出，经常把一组数据同时右移若干位，然后记录一个公共的指数。这就是块浮点的雏形：一组数共享一个指数，各自保留独立的尾数