端侧视觉：OpenMV与TinyMaix在图像分类中的对比——模型部署与帧率优化

每日一句正能量

保持一份克制与警醒，避免沉溺于安逸和享受，才能让自己持续成长。
克制是对即时满足的主动约束，警醒是对舒适区陷阱的持续觉察。真正的成长往往伴随不适感，因此需要刻意避免滑入懒散。

摘要

摘要：在嵌入式端侧视觉领域，OpenMV和TinyMaix是两种主流的神经网络推理方案。本文从硬件架构、模型部署流程、推理性能、帧率优化策略等维度进行深度对比，结合图像分类的实际案例，分析两种方案在开发便捷性、硬件成本、量产友好度等方面的差异，为嵌入式视觉应用选型提供决策依据。

一、引言：端侧视觉的选型困境

在嵌入式设备上实现图像分类，开发者面临一个关键抉择：

• 快速原型路线：选择OpenMV等集成方案，开发便捷但成本较高
• 量产部署路线：选择TinyMaix等轻量方案，成本低但需要更多工程投入

两种方案代表了端侧视觉的两种哲学：开发效率优先vs成本效率优先。本文通过实际测试数据和代码示例，帮助开发者做出明智选择。

二、硬件架构深度对比

2.1 OpenMV Cam H7 Plus

OpenMV Cam H7 Plus 硬件规格：

2.2 TinyMaix 典型平台

TinyMaix是一个超轻量的神经网络推理库，可运行在多种低成本MCU上：

2.3 架构对比

图1：OpenMV vs TinyMaix 架构对比

核心差异：

三、模型部署流程对比

3.1 OpenMV 部署流程

# OpenMV 图像分类部署 (main.py)importsensor,image,time,tf# 1. 初始化摄像头sensor.reset()# 重置并初始化摄像头sensor.set_pixformat(sensor.RGB565)# 设置像素格式sensor.set_framesize(sensor.QVGA)# 设置分辨率 QVGA(320x240)sensor.skip_frames(time=2000)# 等待设置生效sensor.set_auto_gain(False)# 关闭自动增益sensor.set_auto_whitebal(False)# 关闭自动白平衡# 2. 加载TFLite模型# 模型文件需提前复制到OpenMV闪存net=tf.load("mobilenet_v2_0.05.tflite",load_to_fb=True)# 3. 加载标签labels=[line.rstrip('\n')forlineinopen("labels.txt")]# 4. 主循环clock=time.clock()while(True):clock.tick()# 捕获图像img=sensor.snapshot()# 执行推理# 自动将图像缩放到模型输入尺寸forobjinnet.classify(img):# 输出Top-3结果print("Top 3 predictions:")foriinrange(3):idx=obj.output_index(i)score=obj.output_value(i)print(f"{labels[idx]}:{score:.2f}")print(f"FPS:{clock.fps()}")

部署步骤：

1. 在PC上训练模型并转换为TFLite格式
2. 将.tflite文件和labels.txt复制到OpenMV的USB存储
3. 编写MicroPython脚本（main.py）
4. 通过OpenMV IDE实时调试

3.2 TinyMaix 部署流程

// TinyMaix 图像分类部署 (main.c)#include"tinymaix.h"#include"model.h"// 生成的模型头文件#include"labels.h"// 模型配置#defineMODEL_INPUT_W96#defineMODEL_INPUT_H96#defineMODEL_INPUT_CH3#defineMODEL_OUTPUT_CLASS10// 图像缓冲区staticuint8_tinput_buf[MODEL_INPUT_H*MODEL_INPUT_W*MODEL_INPUT_CH];statictm_mat_tin_mat,out_mat;// TinyMaix模型句柄statictm_mdl_tmodel;// 初始化intinit_tinymaix(void){tm_err_terr=TM_OK;// 加载模型err=tm_load(&model,model_data,NULL,NULL);if(err!=TM_OK){printf("Model load failed: %d\n",err);return-1;}// 准备输入张量in_mat.data=input_buf;in_mat.dims[0]=1;// batchin_mat.dims[1]=MODEL_INPUT_H;// heightin_mat.dims[2]=MODEL_INPUT_W;// widthin_mat.dims[3]=MODEL_INPUT_CH;// channelsprintf("TinyMaix initialized. Model size: %d bytes\n",model_data_len);return0;}// 图像预处理：将摄像头数据转换为模型输入格式voidpreprocess_image(uint8_t*camera_buf,intcam_w,intcam_h){// 1. 裁剪中心区域为正方形intcrop_x=(cam_w-cam_h)/2;intcrop_w=cam_h;// 2. 缩放至模型输入尺寸 (双线性插值简化版)for(inty=0;y<MODEL_INPUT_H;y++){for(intx=0;x<MODEL_INPUT_W;x++){intsrc_y=y*crop_w/MODEL_INPUT_H;intsrc_x=crop_x+x*crop_w/MODEL_INPUT_W;intsrc_idx=(src_y*cam_w+src_x)*2;// RGB565// RGB565 → RGB888uint16_trgb565=(camera_buf[src_idx+1]<<8)|camera_buf[src_idx];uint8_tr=(rgb565>>11)&0x1F;uint8_tg=(rgb565>>5)&0x3F;uint8_tb=rgb565&0x1F;// 量化到INT8 (假设输入范围0-255)intdst_idx=(y*MODEL_INPUT_W+x)*3;input_buf[dst_idx+0]=(r<<3)-128;// Rinput_buf[dst_idx+1]=(g<<2)-128;// Ginput_buf[dst_idx+2]=(b<<3)-128;// B}}}// 推理intrun_inference(void){tm_err_terr=tm_run(&model,&in_mat,&out_mat);if(err!=TM_OK){printf("Inference failed: %d\n",err);return-1;}// 解析输出float*output=out_mat.dataf;intmax_idx=0;floatmax_score=output[0];for(inti=1;i<MODEL_OUTPUT_CLASS;i++){if(output[i]>max_score){max_score=output[i];max_idx=i;}}printf("Prediction: %s (score: %.2f)\n",labels[max_idx],max_score);returnmax_idx;}// 主函数intmain(void){// 硬件初始化system_init();camera_init();lcd_init();// 初始化TinyMaixif(init_tinymaix()!=0){printf("Init failed!\n");return-1;}uint8_tcamera_buf[320*240*2];// QVGA RGB565while(1){\// 捕获图像camera_capture(camera_buf,320,240);// 预处理preprocess_image(camera_buf,320,240);// 推理uint32_tstart=get_tick();intresult=run_inference();uint32_tend=get_tick();printf("Latency: %lu ms\n",end-start);// 显示结果lcd_show_result(result);delay_ms(10);// 控制帧率}return0;}

部署步骤：

1. 在PC上训练模型
2. 使用maixtool将模型转换为TMDL格式
3. 使用xxd.py将TMDL转换为C头文件
4. 编写C/C++应用代码
5. 交叉编译并烧录到MCU

3.3 部署流程对比

图3：模型部署工作流程对比

四、推理性能实测对比

4.1 测试环境

4.2 帧率与准确率对比

图2：帧率 vs 准确率对比

实测数据（MobileNetV2 0.05, 输入96x96x3）：

不同模型复杂度对比：

测试条件：输入图像96x96x3，INT8量化，单线程推理。OpenMV H7 Plus凭借Cortex-M7的高主频和双精度FPU，在相同模型下帧率比ESP32-S3高50%。

五、帧率优化策略

5.1 分辨率降采样

# OpenMV: 降低输入分辨率sensor.set_framesize(sensor.QQVGA)# 160x120 (原始QVGA的一半)# 或sensor.set_framesize(sensor.QQQVGA)# 80x60# 模型输入也相应减小# 注意：需重新训练模型匹配新输入尺寸

// TinyMaix: 降低输入分辨率// 在预处理阶段缩小图像#defineMODEL_INPUT_W48// 从96降到48#defineMODEL_INPUT_H48// 双线性插值缩放voidresize_image_fast(uint8_t*src,intsrc_w,intsrc_h,uint8_t*dst,intdst_w,intdst_h){// 简化实现：最近邻插值（更快）for(inty=0;y<dst_h;y++){for(intx=0;x<dst_w;x++){intsrc_y=y*src_h/dst_h;intsrc_x=x*src_w/dst_w;dst[y*dst_w+x]=src[src_y*src_w+src_x];}}}

5.2 INT8量化优化

# OpenMV: 使用INT8量化模型# 在模型转换时启用全整数量化converter.optimizations=[tf.lite.Optimize.DEFAULT]converter.target_spec.supported_ops=[tf.lite.OpsSet.TFLITE_BUILTINS_INT8]converter.inference_input_type=tf.int8 converter.inference_output_type=tf.int8

// TinyMaix: 配置INT8推理// 在模型转换时指定// maixtool --input model_fp32.tflite --output model_int8.tmdl --quantization int8// 运行时自动选择最优内核tm_mdl_tmodel;tm_load(&model,model_data,NULL,NULL);// 自动检测量化类型

5.3 跳帧处理

# OpenMV: 每N帧处理一次PROCESS_EVERY_N_FRAMES=3frame_count=0while(True):img=sensor.snapshot()frame_count+=1ifframe_count%PROCESS_EVERY_N_FRAMES==0:# 执行推理forobjinnet.classify(img):print(obj.class_id(),obj.score())else:# 仅显示图像，不推理pass

// TinyMaix: 跳帧处理#defineSKIP_FRAMES2intmain(void){intframe_count=0;while(1){camera_capture(buf);frame_count++;if(frame_count%(SKIP_FRAMES+1)==0){preprocess(buf);run_inference();}lcd_show(buf);// 始终显示实时图像}}

5.4 ROI区域检测

# OpenMV: 只处理感兴趣区域# 使用传统CV先定位目标，再对ROI进行NN分类while(True):img=sensor.snapshot()# 1. 传统CV快速检测ROIblobs=img.find_blobs([thresholds],pixels_threshold=100)forblobinblobs:# 2. 提取ROIroi=(blob.x(),blob.y(),blob.w(),blob.h())roi_img=img.copy(roi=roi)# 3. 对ROI进行NN分类（输入更小，速度更快）forobjinnet.classify(roi_img,roi=roi):print(obj.class_id())

// TinyMaix: ROI处理// 在预处理阶段裁剪ROIvoidpreprocess_roi(uint8_t*full_img,intfull_w,intfull_h,introi_x,introi_y,introi_w,introi_h){// 直接从全图裁剪ROI区域，缩放至模型输入尺寸// 避免处理无关区域，减少计算量for(inty=0;y<MODEL_INPUT_H;y++){for(intx=0;x<MODEL_INPUT_W;x++){intsrc_x=roi_x+x*roi_w/MODEL_INPUT_W;intsrc_y=roi_y+y*roi_h/MODEL_INPUT_H;// ... 复制像素 ...}}}

5.5 优化效果汇总

图4：帧率优化策略效果对比

六、综合评估与选型指南

6.1 雷达图评估

图5：综合评估雷达图

6.2 场景化选型建议

6.3 成本对比分析

对于10万台量产设备，选择TinyMaix可节省约$500万BOM成本。

七、鸿蒙生态融合展望

对于OpenHarmony/HarmonyOS设备，端侧视觉方案的选择需考虑：

// OpenHarmony 设备端视觉推理框架（概念示例）#include"hdf_device_desc.h"#include"camera_if.h"#include"nn_inference.h"// 集成TinyMaix到HDF驱动框架structHdfVisionService{structIDeviceIoServiceioService;int32_t(*CaptureAndClassify)(structHdfVisionService*service,structVisionResult*result);};// 设备端AI能力暴露为HDF服务int32_tVisionDriverBind(structHdfDeviceObject*device){staticstructHdfVisionServicevisionService={.CaptureAndClassify=VisionCaptureAndClassify,};device->service=&visionService.ioService;returnHDF_SUCCESS;}// 用户空间通过HDF接口调用intClassifyImage(int*class_id,float*confidence){structHdfVisionService*service=HdfVisionGetService();structVisionResultresult={0};service->CaptureAndClassify(service,&result);*class_id=result.class_id;*confidence=result.confidence;return0;}

八、总结

核心建议：

• 原型阶段：使用OpenMV快速验证算法和场景
• 量产阶段：迁移到TinyMaix或定制方案，降低成本
• 混合策略：OpenMV做高端产品线，TinyMaix做走量产品

端侧视觉的未来在于更低的成本、更高的性能和更简单的部署。随着NPU在MCU中的普及（如ARM Ethos-U、Tensilica HiFi5），端侧视觉的性能将再提升10-100倍，而成本持续下降。

转载自：https://blog.csdn.net/u014727709/article/details/162662174
欢迎 👍点赞✍评论⭐收藏，欢迎指正