023、AI在边缘：嵌入式与芯片上的智能

从一次深夜调试说起

上周三凌晨两点，我盯着示波器上乱跳的波形，板子上的LED像呼吸灯一样明灭——这不是我设计的特效，而是推理线程卡死的症状。客户要求在人脸识别模块上增加口罩检测功能，原本在服务器上跑得好好的YOLO-Tiny，移植到这块ARM Cortex-A53开发板上就频繁崩溃。内存占用峰值比预期高了30%，每次推理到第三帧就触发看门狗复位。

这就是边缘AI的日常：没有云端的弹性算力，没有充裕的内存带宽，一切都要在指甲盖大小的芯片里解决。今天我们就聊聊，怎么让AI模型在资源受限的设备上“活”起来。

边缘设备的真实处境

很多人以为边缘计算就是“小一点的服务器”，这误会可大了。我手头这块板子，256MB RAM，主频800MHz，没有GPU加速。对比云端V100显卡的125 TFLOPS算力，它的CPU浮点性能不到5 GFLOPS，差四个数量级。更头疼的是功耗墙——电池供电时整机功耗不能超过1.5W，发热量大了连塑料外壳都会变形。

这时候你会发现，PyTorch里随手写的model.cuda()在这里成了奢侈品。上周有个实习生问我：“为什么不在边缘设备直接跑原始模型？”我让他跑了段测试代码：

# 千万别在开发板上直接跑这个！importtorch model=torch