155、TinyML模型训练最佳实践：超参数调优

TinyML模型训练最佳实践：超参数调优

昨晚调试一个手势识别模型到凌晨三点，模型在PC上跑得好好的，量化后部署到Cortex-M4上，准确率直接从92%掉到67%。翻来覆去查了一整夜，最后发现是学习率调度器在量化感知训练阶段没关掉——这种坑，踩一次记一辈子。

今天把TinyML超参数调优的实战经验整理出来，全是血泪换来的教训。

学习率：TinyML的命门

先说学习率。在嵌入式场景下，模型参数本来就少，学习率设大了直接震荡到发散，设小了训练到地老天荒。

我现在的经验法则：初始学习率从1e-3开始试，但必须配合学习率衰减。别问我为什么不是1e-2，问就是试过，模型在训练到第50个epoch时直接炸了，loss从0.3跳到NaN，白跑一整天。

代码里这样写比较稳：

# 这里踩过坑：直接用固定学习率，小模型容易过拟合initial_lr=1e-3# 别这样写：lr = 0.01，除非你想看loss跳舞

学习率调度器我推荐用CosineAnnealing，配合warmup。warmup步数设成总步数的5%左右，让模型先“热身”再进入正式训练。这个技巧