069、NPU的语音识别模型加速：RNN-T与Conformer

069 NPU的语音识别模型加速：RNN-T与Conformer

去年做智能音箱项目时遇到一个诡异问题：离线唤醒词检测正常，但云端语音识别延迟忽高忽低。排查到最后发现是NPU上RNN-T解码器的beam search实现有bug——某个中间状态缓存没对齐，导致部分路径被意外截断。这个坑让我意识到，语音识别模型在NPU上的部署远不止是“把模型转成NPU格式”那么简单。

RNN-T的NPU友好化改造

RNN-T（Recurrent Neural Network Transducer）是当前端到端语音识别的主流框架。它的核心是联合网络（Joint Network）和预测网络（Prediction Network）的交替计算，这种结构天然对NPU不友好——因为NPU擅长的是固定计算图的批量处理，而RNN-T的解码过程是动态的、依赖历史状态的。

实际部署时，我通常把RNN-T拆成三个独立子图：

编码器（Encoder）：这是最容易被NPU加速的部分。典型的Conformer编码器包含多层自注意力（Self-Attention）和卷积模块，计算量占整个模型的70%以上。在NPU上，我会把注意力头数设为8的倍数（比如16或32），这样能充分利用NPU的SIMD单元。注意：多头注意力的QKV投影矩阵必须连续存储，否则NPU的DMA搬运会多出30%的带宽浪费。

预测网络（Prediction Network）：这是个轻量级LSTM或Transformer解码器，每次只处理一个token。NPU最怕这种“一