098、NPU的联邦学习安全聚合：硬件加速加密计算
098、NPU的联邦学习安全聚合：硬件加速加密计算
昨晚调试一块RK3588的NPU板子，客户要求跑联邦学习的安全聚合，结果一上同态加密，推理延迟直接飙到秒级。板子上的NPU算力明明够，但加密运算全压在CPU上，NPU闲着看热闹。这种“算力浪费”在联邦学习场景里太常见了——加密计算成了瓶颈，而NPU这个本该加速的硬件反而成了摆设。
联邦学习的安全聚合到底卡在哪
联邦学习的核心是“数据不动模型动”，但参数更新在传输过程中必须加密。传统做法是客户端用同态加密或秘密共享把梯度加密，服务端在密文域做聚合。问题在于：同态加密的密文长度膨胀几十倍，多项式乘法、模幂运算这些操作在CPU上跑，一个128维的梯度向量加密后，单次聚合耗时从毫秒级变成秒级。
我踩过的坑：第一次用Paillier加密做聚合，CPU跑一个batch的梯度加密花了3.2秒，而NPU推理只用了15毫秒。加密计算成了整个流水线的木桶短板，而且NPU的SIMD单元和矩阵乘法器完全没被利用。
NPU为什么能加速加密计算
NPU本质上是为矩阵运算设计的专用处理器。同态加密里的多项式乘法，本质上就是卷积运算——把多项式系数看作向量，乘法就是循环卷积。NPU的脉动阵列（Systolic Array）天然适合做这种运算。
更关键的是，NPU的片上SRAM带宽远高于CPU的缓存。加密计算中频繁的模约减操作需要大量数据搬运，NPU的局部存储结构能减少DRAM访问。实测在RK3588的NPU上，用int8量化后的多项式乘法，吞吐量是CPU的12倍。