当前位置：首页 > news >正文

在Cortex-M上跑一个轻量级神经网络，比想象中简单

news 2026/7/9 10:07:02

在Cortex-M上跑一个轻量级神经网络，比想象中简单

一个Cortex-M4内核的MCU，主频不到200MHz，RAM只有几百KB——这样的硬件真的能跑神经网络推理吗？

几年前这个问题确实不太好回答。但TensorFlow Lite for Microcontrollers（简称TFLM）的出现，让这件事从"不可能"变成了"看你怎么做"。

关键一步：量化

先把目光放到模型本身。我们在PC上用Keras训练好的模型，权重通常是float32。一个几万参数的模型，光权重就吃掉几百KB的Flash——更别说推理时中间张量占的RAM了。

TFLM解决这个问题的思路很直接：量化。把float32的权重映射到int8，四个字节缩成一个字节，体积直接砍到四分之一。推理时的中间结果也用int8存，RAM占用跟着大幅下降。

// TFLM用int8做推理，以conv2d为例 // 假设输入张量 x 是 int8 类型，权重 w 也是 int8 // 实际计算的公式是： // output = (int8)(sum_i(x[i] * w[i]) * input_scale * weight_scale / output_scale + output_zero_point) // 但TFLM内部会把这个公式拼接成乘加指令，效率很高

量化的代价是精度损失。好的量化策略（比如每通道量化、校准集选得准）可以把损失控制在1%-2%以内，对大多数嵌入式场景完全可以接受。

推理过程长什么样

我们来看一个具体的例子。假设已经训练好一个手势识别模型，输入是3轴加速度计的64个时间步——说白了就是2KB的数据。输出是静态/挥手/画圈三类概率。

#include "tensorflow/lite/micro/all_ops_resolver.h" #include "tensorflow/lite/micro/micro_interpreter.h" #include "tensorflow/lite/schema/schema_generated.h" #include "gesture_model.h" // 量化后的模型数据，用xxd转出来的 static const int tensor_arena_size = 40 * 1024; static uint8_t tensor_arena[tensor_arena_size]; void setup_ai() { const tflite::Model* model = tflite::GetModel(g_gesture_model); static tflite::AllOpsResolver resolver; static tflite::MicroInterpreter interpreter(model, resolver, tensor_arena, tensor_arena_size); interpreter.AllocateTensors(); TfLiteTensor* input = interpreter.input(0); TfLiteTensor* output = interpreter.output(0); // input->type 是 kTfLiteInt8，维度是 {1, 64, 3} // output->type 也是 kTfLiteInt8，维度是 {1, 3} }

分几步来拆解：

首先，模型数据以C数组的形式嵌在Flash里。TFLM不依赖文件系统，也不动态加载，所有东西编译时就确定了。tensor_arena是一块预分配的静态内存池，推理的中间数据全在这里流转。

AllOpsResolver注册了TFLM支持的所有算子。如果对Flash大小有极致要求，可以只注册模型用到的那几个，比如RegisterConv2D()加RegisterFullyConnected()，剩下的全都去掉。

推理的过程更有意思。把加速度数据塞进input张量后：

int8_t* input_data = interpreter.input(0)->data.int8; for (int i = 0; i < 64 * 3; i++) { input_data[i] = (int8_t)(raw_accel[i] / input_scale + input_zero_point); } interpreter.Invoke(); int8_t* output_data = interpreter.output(0)->data.int8; // output_data[0], output_data[1], output_data[2] 就是三个类别的置信度 // 反量化回float：(output_data[i] - zero_point) * scale

这里有个容易踩的坑——输入数据的量化参数。训练时用的归一化方法（比如均值和标准差）需要在MCU上保持一致。如果训练时输入归一化到[-1, 1]，那MCU上也得这么处理，否则量化后的分布和训练时不同，准确率会跳水。