173、TinyML模型部署最佳实践：测试与验证自动化

TinyML模型部署最佳实践：测试与验证自动化

昨晚凌晨两点，我在调试一块STM32U5上的手势识别模型。模型在PC端推理准确率97.3%，部署到板子上直接掉到81.2%。更诡异的是，同样的输入数据，连续推理两次结果居然不一样。这种“部署即翻车”的场景，做TinyML的兄弟应该都不陌生。

今天这篇笔记，就聊聊我踩了半年坑后总结出来的测试与验证自动化方案。不是教科书那套“先单元测试再集成测试”，而是真正能帮你从“模型能跑”到“模型可靠”的实战套路。

那个让我通宵的bug：量化后的数值漂移

先说说那个81.2%的案子。排查到最后，问题出在量化参数上。我的模型用了int8量化，但PC端测试时用的是浮点模拟量化——就是假装量化，实际还是浮点运算。部署到MCU上，用的是CMSIS-NN的硬件量化指令。两者对边界值的处理有细微差异：PC端对-128做了饱和截断，而CMSIS-NN在某些版本里对-128的处理是取反。

这种差异，靠人工测试根本发现不了。必须把PC端和MCU端的每一层输出都dump出来做逐位对比。

自动化测试框架：从“跑通”到“跑对”

我现在的做法是三层验证体系，每一层都自动化跑，不依赖人工观察。

第一层：数值一致性验证

这是最基础的，但也是最容易被忽略的。写一个脚本，把PC端模型的每一层中间结果导出成二进制文件。然后在MCU上跑同样的输入，把每一层输出也dump出来。用Python逐层对比，误差阈值设到1e-5。