嵌入式视觉实战：智能送药小车图像识别系统设计与避坑指南

1. 项目背景与核心挑战

2021年全国大学生电子设计竞赛的F题“智能送药小车”，可以说是在当年所有赛题中，对视觉识别与运动控制结合要求最高、综合性最强的一道题。题目要求小车在模拟的医院病房环境中，根据任务要求，自主识别病房号、识别并抓取指定药品，并最终送达指定床位。整个任务链条中，视觉部分扮演了“眼睛”和“大脑”的双重角色：它不仅要“看”得清（识别目标），还要“想”得对（做出决策）。我们团队当时选择了这道题，就是想在视觉与控制的深度融合上挑战一下自己。

现在回过头来看，视觉部分的设计与实现，是整个项目成败的绝对关键。它不像循迹或者避障，有相对成熟的传感器方案和算法库可以快速上手。病房号识别、药品识别、颜色区分、位置定位，每一个环节都需要从零开始搭建视觉处理流水线，并且要保证在比赛现场复杂多变的光照条件下，依然有极高的鲁棒性和实时性。这不仅仅是调用一个OpenCV函数那么简单，它涉及到图像预处理、特征提取、模型选择、参数调优、误判处理等一系列工程化问题。这篇文章，我就以一个亲历者的身份，详细拆解我们当时在视觉部分遇到的每一个坑、做出的每一个选择，以及那些在赛后复盘时才恍然大悟的经验教训。无论你是未来准备参赛的学弟学妹，还是对嵌入式视觉应用感兴趣的开发者，希望这些“踩坑实录”和“实战心得”能给你带来一些实实在在的帮助。

2. 视觉系统整体架构设计与选型思考

做项目最忌讳一上来就埋头写代码。对于电赛这种时间紧、任务重的比赛，前期的架构设计直接决定了后期是“事半功倍”还是“事倍功半”。我们的视觉系统架构，经历了从“想当然”到“实战化”的多次迭代。

2.1 硬件平台：树莓派4B + 官方摄像头模组

硬件选型是第一个决策点。当时主流的方案有几种：STM32H7系列+OV系列摄像头进行底层图像处理、Jetson Nano等边缘计算设备、以及树莓派。我们最终选择了树莓派4B（4GB内存版）搭配官方摄像头模组（CSI接口）。

为什么是树莓派？核心原因在于开发效率和生态。STM32方案虽然功耗和实时性有优势，但我们需要实现的病房号识别（数字）、药品识别（形状+颜色）以及后续可能用到的二维码识别，如果全靠单片机写底层算法，开发周期会非常漫长，且调试困难。树莓派运行完整的Linux系统，可以直接使用Python和OpenCV这样成熟的计算机视觉库，还有丰富的AI模型框架（如TensorFlow Lite）支持，极大地降低了算法实现的门槛。官方CSI摄像头保证了图像采集的稳定性和较低的延迟，这对于运动中的小车至关重要。虽然Jetson Nano的AI算力更强，但其功耗、散热以及相对复杂的驱动配置，在电赛紧凑的备赛时间里成为了一个不确定因素。树莓派“开箱即用”的特性，让我们能把宝贵的时间集中在算法本身，而不是环境搭建上。

2.2 软件流水线：从采集到决策的六步流程

我们的视觉处理被设计成一个清晰的流水线，每一步的输出都是下一步的输入，这样便于模块化调试和问题定位。整个流程如下：

1. 图像采集：通过OpenCV的VideoCapture接口，从CSI摄像头以30FPS的速率读取图像帧。这里第一个坑就来了：分辨率与帧率的权衡。高分辨率（如1920x1080）有利于识别远处的目标，但处理一帧的时间会大大增加，可能导致系统卡顿。我们最终将分辨率设定为640x480，这是一个在识别精度和 processing 速度之间比较好的平衡点。
2. ROI（感兴趣区域）裁剪：小车摄像头是固定俯仰角安装的，我们通过实际测量和标定，预先确定了病房号区域、药品摆放区域在图像中的大致位置。每一帧图像，我们先根据小车的实时位置（由编码器反馈估算）和预设地图，裁剪出对应的ROI，而不是在全图中进行搜索。这能有效减少不必要的计算量，是提升实时性的关键一步。
3. 图像预处理：这是提升后续识别鲁棒性的“魔法步骤”。主要包括：
   • 灰度化：将彩色图转为灰度图，减少计算量，用于数字和形状识别。
   • 高斯滤波：消除图像噪声。
   • 光照补偿：这是重中之重。比赛现场的光照条件无法预测，可能存在顶灯、窗户自然光等混合光源。我们采用了自适应直方图均衡化（CLAHE）来增强图像的对比度，特别是阴影和高光区域的细节。实测证明，这一步能极大缓解因光照不均导致的二值化失败问题。
   • 二值化：对于数字和形状识别，需要将图像转为黑白。我们使用了**大津法（Otsu‘s Method）**进行自动阈值分割，它可以根据图像灰度分布自动计算最佳阈值，比固定阈值适应性更强。
4. 特征提取与识别：这是核心算法模块，针对不同任务采用不同策略。
   • 病房号识别：采用轮廓查找 + 模板匹配的组合方案。先通过findContours找到所有闭合轮廓，根据轮廓面积、宽高比、位置等几何特征筛选出可能的数字区域。然后，与我们事先制作好的0-9十个数字的模板进行归一化互相关（NCC）匹配。为什么不直接用OCR库（如Tesseract）？因为现场环境下的数字可能变形、有污渍，OCR库的误识别率在初期测试中偏高，且依赖语言包，不够轻量。我们自制的模板匹配方案，针对赛题特定的数字字体进行了优化，速度更快，准确率更高。
   • 药品识别：分为形状识别和颜色识别两步。形状识别同样使用轮廓分析，通过计算轮廓的Hu矩不变性或者近似多边形的边数，来区分圆形（药瓶）、矩形（药盒）等。颜色识别则需要在原始RGB或HSV色彩空间中进行。我们选择了HSV空间，因为它能将颜色的亮度（Value）与色调（Hue）、饱和度（Saturation）分离开，对光照变化相对不敏感。通过设定不同药品颜色（如红、蓝、绿）在H通道上的阈值范围，来判定药品颜色。
5. 坐标转换与定位：识别出目标后，我们得到的是它在图像像素坐标系下的位置（x, y）。小车需要知道目标在真实世界坐标系（单位：厘米）中的位置，才能导航过去。这就需要相机标定。我们使用OpenCV的calibrateCamera函数，利用棋盘格标定板，预先获取了相机的内参（焦距、主点）和畸变系数。然后，通过已知的目标实际尺寸（如药瓶直径）、相机安装高度和俯仰角，结合针孔相机模型，可以估算出目标相对于小车的距离和方位角。这个环节的精度直接影响了小车最终停靠和抓取的准确性。
6. 决策与通信：视觉处理模块将识别结果（如：“目标病房：302， 药品：红色圆形， 位于小车前方30cm， 左偏10°”）封装成一个结构体，通过串口（UART）或者网络Socket发送给小车的主控STM32。主控根据这些信息进行路径规划和运动控制。通信协议的设计要简单、可靠，我们使用了固定的帧头、帧尾和校验和，防止数据传输错误。

这个架构看起来清晰，但每一个环节在实现时都充满了“陷阱”，接下来我就分模块深入聊聊那些让我们掉进去又爬出来的“深坑”。

3. 病房号识别：从轮廓到数字的“破译”之路

病房号识别是任务的起点，如果第一步就认错了房间，后面的一切都是徒劳。我们在这个环节投入的调试时间最长。

3.1 轮廓查找的“噪声战争”

使用cv2.findContours查找数字轮廓时，最大的敌人不是数字本身，而是图像中各种意想不到的“噪声轮廓”。墙面的纹理、门框的阴影、甚至图像传感器本身的噪点，都可能被检测为轮廓。

我们的应对策略是一套组合过滤拳法：

1. 面积过滤：计算轮廓面积cv2.contourArea(contour)。根据先验知识，设定一个最小面积min_area和最大面积max_area。太小的肯定是噪声，太大的可能是整个门板。
2. 宽高比过滤：数字通常是瘦高的。计算轮廓外接矩形的宽高比aspect_ratio = width / height。对于单个数字，我们设定0.2 < aspect_ratio < 0.6。这个范围需要根据实际字体调整。
3. 轮廓层级与位置过滤：数字“8”或“0”中间可能有洞，会产生内外两层轮廓（父子关系）。我们利用轮廓的层级信息hierarchy，只处理最外层的轮廓（父轮廓）。同时，多个数字（如“302”）应该是水平排列的，它们的Y坐标（纵坐标）应该大致相同。我们可以对筛选出的轮廓按Y坐标进行聚类，把同一行的轮廓归为一组。

# 伪代码示例：轮廓筛选 def filter_digit_contours(contours, hierarchy): digit_candidates = [] for i, cnt in enumerate(contours): area = cv2.contourArea(cnt) x, y, w, h = cv2.boundingRect(cnt) aspect_ratio = w / h # 过滤条件 if (min_area < area < max_area and 0.2 < aspect_ratio < 0.6 and hierarchy[0][i][3] == -1): # 没有父轮廓，是最外层轮廓 digit_candidates.append((cnt, x, y, w, h)) # 按Y坐标聚类，假设同一行数字Y坐标差异不超过阈值 digit_candidates.sort(key=lambda c: c[2]) # 按y排序 # ... 聚类算法，将Y坐标相近的轮廓分为一组 return grouped_digits

3.2 模板匹配的细节魔鬼

筛选出候选轮廓后，需要与模板进行匹配。我们事先在均匀光照下，拍摄了0-9十个数字的高清图片，手动裁剪、缩放为统一大小（如20x40像素），并二值化，作为模板库。

匹配时，关键点在于归一化和相似度度量：

1. 将候选轮廓区域裁剪出来，并缩放到与模板相同的尺寸。
2. 使用cv2.matchTemplate函数，匹配方法我们选择了cv2.TM_CCOEFF_NORMED（归一化相关系数匹配）。它返回一个相似度得分，范围在[-1, 1]，1表示完全匹配。
3. 对于每个候选区域，与十个模板分别匹配，取最高得分作为匹配结果。但这里有个致命陷阱：如果得分普遍很低（比如最高分才0.4），说明当前区域可能根本不是数字，或者预处理失败。我们必须设置一个置信度阈值（如0.65），低于此阈值的结果直接丢弃，视为识别失败。

血泪教训：这个置信度阈值不能拍脑袋决定！必须在各种光照条件下（强光、弱光、侧光）进行大量测试，统计正确识别和错误识别的得分分布，找到一个能最大限度区分二者的阈值。我们最初设的0.7，在侧光环境下漏识了很多，后来调到0.6，并在预处理中强化了CLAHE，才稳定下来。

3.3 数字序列的拼接与校验

识别出单个数字后，需要将它们组合成房间号。我们根据轮廓的X坐标（横坐标）进行排序，得到从左到右的数字序列。但问题又来了：数字“1”的轮廓可能很窄，容易被面积过滤误杀；数字“11”可能被识别为两个“1”。

我们的解决方案是引入上下文校验：

• 已知病房号是三位数。如果我们只识别出两个轮廓，且它们的位置非常接近，则考虑可能是数字“1”被拆散或合并了，进行特殊处理。
• 识别完成后，将结果与一张预设的“有效病房号列表”进行比对。如果识别结果不在列表中，则本次识别无效，小车需要稍微移动位置重新识别。这相当于一个简单的“语法检查”，避免了明显的荒谬输出。

4. 药品识别：在色彩与形状的迷宫中穿行

药品识别需要同时判断形状（圆形/方形）和颜色（红/蓝/绿等）。这比单纯的数字识别更复杂，因为颜色受光照影响极大，形状也可能因视角而变形。

4.1 形状识别的“不变性”追求

我们使用轮廓的Hu矩来识别形状。Hu矩是一组对图像平移、旋转、缩放变化保持不变的矩特征，非常适合用于形状匹配。

import cv2 import numpy as np def get_shape_type(contour): # 计算Hu矩 moments = cv2.moments(contour) hu_moments = cv2.HuMoments(moments) # 取对数，使值更易于比较 hu_moments = -np.sign(hu_moments) * np.log10(np.abs(hu_moments)) # 与标准形状的Hu矩进行比对（需预先计算好标准圆形和方形的Hu矩） # 计算差异，差异最小的即为匹配形状 # ...

但在实际中，我们发现对于规则程度一般的药瓶和药盒，直接用Hu矩匹配有时不够稳定。我们结合了多种几何特征：

• 圆形度：circularity = 4 * pi * area / (perimeter^2)。完美圆形的值为1，正方形约为0.785。可以设定一个阈值（如>0.7）来判断是否为圆形。
• 矩形拟合：使用cv2.minAreaRect获取最小外接矩形，计算其面积与轮廓面积的比值。一个填充饱满的矩形，这个比值会接近1。
• 顶点数：使用cv2.approxPolyDP对轮廓进行多边形逼近，然后统计顶点数。圆形逼近后顶点数较多（通常>8），而矩形是4个顶点。

综合以上几个特征，通过决策树或简单的加权打分，可以更鲁棒地区分形状。

4.2 颜色识别的“HSV空间生存指南”

颜色识别是整个视觉系统中最“玄学”的部分。RGB空间下，颜色三个通道耦合严重，光照一变，值就全变了。HSV空间是我们的救星。

操作步骤：

1. 将包含药品的ROI图像从BGR转换到HSV空间：hsv = cv2.cvtColor(roi, cv2.COLOR_BGR2HSV)。
2. 针对每一种目标颜色，定义其在HSV空间中的下限和上限阈值。例如，对于红色（在OpenCV的HSV范围中，H通道是0-180）：

   # 红色有两个范围，因为HSV色环中红色在0°和180°附近 lower_red1 = np.array([0, 70, 50]) upper_red1 = np.array([10, 255, 255]) lower_red2 = np.array([170, 70, 50]) upper_red2 = np.array([180, 255, 255])

3. 使用cv2.inRange函数创建掩膜（mask），在阈值范围内的像素点为白色（255），否则为黑色（0）。
4. 计算掩膜中白色像素的面积，如果面积大于某个阈值，则认为检测到了该颜色。

核心挑战与调参经验：

• H（色调）通道：这是判断颜色的主要依据，相对稳定。但不同摄像头的色彩响应有差异，必须在你的摄像头和比赛现场可能的光照下重新标定。我们是在一个可调光的台灯下，用色卡反复调整，找到最稳定的范围。
• S（饱和度）和 V（明度）通道：这两个通道是“守护神”。S通道下限（如70）可以过滤掉接近灰色的浅色，避免将白色反光误判为某种颜色。V通道下限（如50）可以过滤掉阴影区域。这两个值设得太高，会漏掉深色或淡色的目标；设得太低，又会引入大量噪声。我们的经验是，在保证能识别出目标的前提下，尽可能提高S和V的下限。
• 光照突变：现场可能有窗户。我们做了一个动态白平衡的预处理：在图像中找一块应该是白色的区域（如病房门板），计算其RGB均值，然后对整个图像进行一个颜色增益调整，使其白色区域恢复为中性白。这能有效缓解色偏。
• 颜色交叠：有些颜色在边界处容易混淆（如某些橙色和红色）。除了精细调整阈值，我们在决策逻辑上加了优先级：如果一个区域同时满足两种颜色的阈值，则计算两种掩膜与原始轮廓区域的交集比例，取比例高的那种颜色。同时，结合形状信息（比如只有圆形药瓶才有红色），也能帮助排除歧义。

5. 系统集成与现场调试的“终极考验”

算法模块单独测试都挺好，一旦集成到小车上，和运动控制系统联动，各种意想不到的问题就爆发了。

5.1 图像采集与运动模糊的对抗

小车在运动时，摄像头拍摄的图像会产生运动模糊，导致轮廓提取和特征识别失败。我们的解决方案是：

• 硬件层面：尽量将摄像头安装稳固，减少振动。可以考虑增加简单的机械防抖结构。
• 软件层面：触发式采集。我们不是连续处理每一帧图像，而是让主控在控制小车到达预定识别点（如病房门前）后，发送一个指令给树莓派，树莓派才启动一次高频率的连续采集（比如连续采5帧），然后对这5帧图像分别识别，采用“投票法”或“中值法”确定最终结果。在小车高速运动过程中，视觉模块处于低功耗的待机状态。这大大减少了无效计算，也避免了运动模糊帧的干扰。

5.2 串口通信的可靠性保障

树莓派（视觉）与STM32（控制）之间通过串口通信。通信不稳定会导致小车“失明”或“发疯”。

• 波特率：选择115200或更高，保证数据及时传输。
• 协议设计：我们自定义了简单的帧结构[0xAA, 0x55, data_len, cmd_type, data..., checksum]。0xAA, 0x55作为帧头，checksum是对前面所有字节的累加和取低8位。STM32端只有收到完整且校验正确的帧才进行解析。
• 错误处理与超时重发：树莓派发送数据后，等待STM32的ACK应答。如果超时未收到ACK，则重发，最多重试3次。同样，STM32如果收到校验错误的帧，会发送NAK，请求重发。
• 数据缓冲：在树莓派端，图像识别和串口发送分属不同线程。识别结果先放入一个队列，由专门的发送线程从队列中取出并发送。这样即使某次识别耗时稍长，也不会阻塞整个通信流程。

5.3 现场灯光适应性调整

即使我们做了CLAHE和动态白平衡，到了比赛现场，灯光环境依然可能超出预期。我们准备了最后一招：参数微调接口。我们在树莓派上运行了一个简单的Flask网页服务器，手机连接树莓派的热点后，可以通过浏览器访问一个控制页面。页面上有滑动条，可以实时调整二值化阈值、HSV颜色阈值、置信度阈值等关键参数。这样，在比赛前的调试时间里，我们可以根据现场光线，快速微调系统参数，达到最佳状态。这个“后门”在关键时刻起到了决定性作用。

6. 复盘总结与可复用的经验清单

回顾整个视觉部分的开发，从最初的迷茫到最后的稳定运行，是一个不断遇到问题、分析问题、解决问题的过程。以下是一些我认为最具普适性的经验，希望能帮你少走弯路：

1. 预处理决定上限，算法决定下限：再先进的识别算法，如果输入的是质量很差的图像，效果也不会好。一定要在图像预处理（去噪、增强、校正）上花足功夫。CLAHE和大津法二值化是性价比极高的组合。
2. 没有“银弹”算法，只有“组合拳”策略：不要指望用一个神奇的算法解决所有问题。数字识别用模板匹配+几何过滤，颜色识别用HSV阈值+面积过滤，形状识别用Hu矩+几何特征。多特征融合、多方法投票，能极大提升系统的鲁棒性。
3. 阈值不是魔法数字，而是统计结果：所有算法中的阈值（面积、宽高比、置信度、HSV范围）都不应该靠猜。尽可能模拟各种环境，收集大量正负样本，通过统计分布来确定阈值，并在代码中将这些阈值定义为可轻松修改的配置参数或常量。
4. 仿真与实车测试必须交替进行：在电脑上用录制好的视频调试算法，效率很高，但那是“理想环境”。一定要尽早把算法放到小车上进行实测试，你会发现运动模糊、振动、视角变化、实时性要求等一大堆新问题。仿真和实车测试循环进行，才能打磨出真正可用的系统。
5. 设计可调试的系统：在代码中留出丰富的调试信息输出，比如在图像上绘制识别出的轮廓、标注识别结果、打印关键变量的值。甚至可以像我们一样，做一个简单的Web界面来实时调整参数和查看图像。调试效率直接决定了开发进度。
6. 通信协议要简单且健壮：嵌入式系统间的通信，可靠性远比带宽重要。帧头、长度、校验和这三要素必不可少。要有超时重传和错误处理机制。
7. 时间管理就是风险管理：电赛时间有限，必须优先实现核心功能，做出一个能跑通的“最小可行产品”（MVP）。比如先保证在一种稳定光照下能识别，再去考虑复杂的自适应光照。先保证静止状态下能识别，再去处理运动模糊。功能完善和性能优化可以放在后面，但系统必须尽早集成并跑起来。

智能送药小车的视觉部分，是一个典型的嵌入式机器视觉应用案例。它没有用到很高深的深度学习模型，但将传统的图像处理技术与嵌入式系统的实时性、可靠性要求紧密结合，其中涉及的工程思维、问题分解能力和调试技巧，对我后续的学习和工作产生了深远的影响。那段在实验室里调参数调到深夜，看着小车终于准确识别出药品并抓取成功的瞬间，所有的疲惫都化为了成就感。希望这份详细的总结，能为你点亮前行路上的一盏小灯。