171、TinyML模型部署最佳实践：多模型流水线

TinyML模型部署最佳实践：多模型流水线

昨晚调试到凌晨三点，盯着示波器上那个诡异的时序毛刺发呆。STM32U5上的双模型流水线，第一个模型跑完分类，第二个模型做回归，中间就隔了那么几个毫秒的切换时间，结果第二个模型输出的数据全是乱的。翻来覆去查了三个小时，最后发现是模型切换时DMA缓冲区没清干净——上一个模型推理完留下的中间特征图，污染了下一个模型的输入。

这种坑，踩过的人都知道有多疼。

多模型流水线的真实战场

TinyML里搞多模型流水线，不是简单地把两个模型串起来跑。你面对的是内存碎片、外设争用、时序耦合这些硬骨头。我见过太多人把PC上的流水线思路直接搬过来，结果在MCU上跑得稀碎。

先说说什么时候需要多模型流水线。单模型搞不定的时候——比如先做语音活动检测（VAD）再做人声识别，VAD模型小、跑得快，持续监听；检测到人声了才唤醒大模型做识别。或者传感器融合场景，加速度计数据跑一个模型做姿态分类，陀螺仪数据跑另一个模型做角速度回归，最后融合输出。

但问题来了：两个模型加起来可能吃掉80KB的RAM，而你的MCU总共就128KB。更麻烦的是，模型A跑完释放的内存，模型B不一定能用——因为内存碎片。

内存管理的血泪教训

第一个要解决的问题：模型切换时的内存复用。

我早期犯过一个低级错误——两个模型各自定义了自己的全局缓冲区。看起来没问题对吧？但实际跑起来，模型A的中间结果占着地址0x20001000到0x20004000，模型B的缓冲区在0x20004000到0x20008000。两个模型串行跑，理论上可以复