025、Transformer与注意力机制简介

025 Transformer与注意力机制简介

从一次失败的语音唤醒调试说起

去年做智能家居项目，客户要求在Cortex-M4上跑一个关键词唤醒模型。我一开始图省事，直接拿现成的LSTM方案移植——结果呢？Flash占用飙到800KB，RAM吃掉200KB，推理延迟接近300ms。更离谱的是，在嘈杂环境下唤醒率直接掉到60%以下。

后来团队里一个做CV的同事随口说了句：“你们NLP还在用RNN？试试Transformer的注意力机制啊，轻量级版本在树莓派上都能跑。”

我当时第一反应是：Transformer？那玩意儿不是BERT、GPT才用的吗？嵌入式能跑？结果查了一圈资料，发现Google在2019年就出了MobileBERT，2021年有EdgeBERT，甚至有人在STM32上跑通了TinyTransformer做关键词识别。

这篇文章就聊聊我踩过的坑和总结的经验——注意力机制到底怎么在资源受限的MCU上落地。

注意力机制：别被“注意力”这个名字骗了

很多人第一次接触注意力机制，会被“注意力”这个拟人化名词带偏。其实它本质上就是一个加权求和操作——给输入序列中每个位置分配一个权重，权重高的位置“更受关注”。

拿语音唤醒举例：你说“小爱同学”，模型需要重点关注“小爱”这两个音节，背景噪音的权重应该压低。注意力机制就是干这个活的。

数学上，最基本的注意力计算是：

Attention(Q, K, V) = softmax(Q * K