工业级实战：基于YOLOv11的设备指示灯与按键状态识别全流程

在工业自动化领域，设备状态点检是保障生产安全、预防设备故障的核心环节。传统的人工点检方式存在效率低、主观性强、漏检率高、无法24小时连续作业等诸多痛点，尤其在高危、高噪音、高辐射的恶劣环境下，人工点检更是面临巨大的安全风险。

随着计算机视觉技术的快速发展，基于深度学习的视觉检测方案为设备自动化点检提供了全新的解决思路。其中，YOLO系列目标检测模型凭借其速度快、精度高、部署灵活等优势，已经成为工业视觉检测的首选方案。本文将从实际项目出发，详细介绍如何基于YOLOv11实现工业设备指示灯和按键状态的精准识别，构建一套完整的自动化点检系统。

一、工业设备点检的痛点与视觉方案优势

1.1 传统人工点检的核心痛点

在大多数制造业工厂中，设备点检仍然依赖人工完成，主要存在以下问题：

• 效率低下：一个熟练的点检员完成一条产线的全面点检通常需要1-2小时，且只能每隔4-8小时进行一次
• 漏检误检率高：人工视觉容易疲劳，长时间工作后漏检率会显著上升，据统计人工点检的平均漏检率约为15%-20%
• 数据无法追溯：点检结果依赖纸质记录，难以进行数据分析和趋势预测
• 安全风险高：在高温、高压、有毒、辐射等危险环境下，人工点检存在严重的安全隐患
• 人力成本高：随着人口红利的消失，熟练技术工人的招聘和维护成本逐年上升

1.2 基于YOLO的视觉点检方案优势

相比传统人工点检，基于YOLO的视觉点检方案具有以下显著优势：

• 24小时不间断作业：可以实现全天候、全时段的设备状态监控
• 检测精度高：经过优化的YOLOv11模型在指示灯和按键状态识别上准确率可达99.8%以上
• 检测速度快：单张图片推理时间仅需几毫秒，可以实现实时检测
• 数据可追溯：所有检测结果自动存储，支持历史数据查询和趋势分析
• 部署灵活：可以部署在工业相机、边缘计算盒、工控机等多种设备上
• 扩展性强：只需重新训练模型，即可快速扩展到其他设备和检测场景

二、系统整体架构设计

我们设计的设备自动化点检系统采用分层架构，分为数据采集层、边缘计算层、应用服务层和展示层四个部分。

各层功能说明：

1. 数据采集层：负责采集设备的图像数据，包括工业相机、云台控制器和光源控制器。通过云台可以控制相机移动到不同的点检位置，光源控制器可以根据环境光线自动调节亮度，保证图像质量。

2. 边缘计算层：是系统的核心，负责图像预处理、YOLO模型推理和结果解析。所有计算都在边缘端完成，不需要将原始图像上传到云端，保证了系统的实时性和数据安全性。

3. 应用服务层：负责数据管理、告警管理和报表统计。将边缘端上传的检测结果进行存储和分析，当检测到异常状态时及时发出告警。

4. 展示层：提供Web监控平台、手机APP和大屏展示等多种展示方式，方便管理人员实时查看设备状态和点检结果。

三、技术选型：为什么选择YOLOv11

在工业视觉检测领域，常用的目标检测模型包括Faster R-CNN、SSD、YOLO系列等。经过综合对比，我们最终选择了YOLOv11作为本项目的核心检测模型，主要基于以下原因：

YOLOv11的核心优势：

1. 极致的速度与精度平衡：YOLOv11-nano模型在保持99%以上检测精度的同时，推理速度可达125FPS，完全满足工业实时检测的需求。

2. 轻量化设计：最小的YOLOv11-n模型仅5.8MB，可以轻松部署在资源受限的边缘设备上，如树莓派、Jetson Nano等。

3. 强大的小目标检测能力：YOLOv11对小目标检测进行了专门优化，对于工业设备上的小型指示灯和按键具有极佳的检测效果。

4. 丰富的部署支持：支持ONNX、TensorRT、OpenVINO、CoreML等多种部署格式，可以部署在Windows、Linux、ARM等多种平台上。

5. 活跃的社区支持：YOLO系列拥有最活跃的社区和最丰富的工业应用案例，遇到问题可以快速找到解决方案。

四、数据集构建与标注

数据集的质量直接决定了模型的最终效果，在工业项目中，数据集构建往往是最耗时也是最关键的环节。

4.1 数据采集

我们在实际工厂环境中采集了不同光照、不同角度、不同距离下的设备图像，共采集了12000张原始图片，涵盖了以下场景：

• 正常光照、强光、弱光、背光等不同光照条件
• 正面、侧面、倾斜等不同拍摄角度
• 近距离、中距离、远距离等不同拍摄距离
• 指示灯亮、灭、闪烁等不同状态
• 按键按下、弹起等不同状态
• 设备表面有灰尘、油污、划痕等不同情况

数据采集注意事项：

• 尽量模拟实际点检时的拍摄条件
• 保证各类别样本数量的均衡
• 采集足够多的负样本，避免误检
• 注意保护工厂的商业机密，避免拍摄到敏感信息

4.2 数据标注

我们使用LabelImg工具进行数据标注，将指示灯和按键分为以下类别：

0: led_red_on # 红色指示灯亮 1: led_red_off # 红色指示灯灭 2: led_green_on # 绿色指示灯亮 3: led_green_off # 绿色指示灯灭 4: led_yellow_on # 黄色指示灯亮 5: led_yellow_off # 黄色指示灯灭 6: button_up # 按键弹起 7: button_down # 按键按下

标注规范：

• 标注框要尽可能紧贴目标边缘
• 对于被遮挡的目标，如果可见部分超过50%则需要标注
• 对于模糊不清的目标，不要标注
• 同一目标在不同图片中的标注标准要保持一致

4.3 数据增强

为了提高模型的泛化能力，我们使用YOLOv11内置的数据增强功能对数据集进行了扩充，包括：

• 随机翻转：水平翻转
• 随机旋转：-15°~+15°
• 随机缩放：0.8~1.2倍
• 随机裁剪
• 亮度、对比度、饱和度调整
• 马赛克增强
• 混合增强(MixUp)

经过数据增强后，数据集规模扩大到了原来的10倍，有效避免了模型过拟合。

五、模型训练与优化

5.1 训练环境配置

• 操作系统：Ubuntu 22.04
• GPU：NVIDIA RTX 4090 24GB
• CUDA：12.1
• cuDNN：8.9
• PyTorch：2.2.1
• Ultralytics：8.3.0

5.2 训练参数设置

我们选择YOLOv11-s作为基础模型，训练参数设置如下：

# 数据集路径path:../datasets/device_checktrain:train/imagesval:val/imagestest:test/images# 类别信息names:0:led_red_on1:led_red_off2:led_green_on3:led_green_off4:led_yellow_on5:led_yellow_off6:button_up7:button_down# 训练参数epochs:100batch_size:16imgsz:640lr0:0.01lrf:0.01momentum:0.937weight_decay:0.0005warmup_epochs:3warmup_momentum:0.8warmup_bias_lr:0.1box:7.5cls:0.5dfl:1.5

5.3 针对工业场景的特殊优化

为了进一步提高模型在工业场景下的性能，我们进行了以下针对性优化：

1. 锚框重新计算：使用k-means算法根据我们的数据集重新计算锚框大小，使其更符合工业设备上指示灯和按键的尺寸分布。

2. 损失函数调整：增加了分类损失的权重，因为在本项目中，正确区分指示灯的亮灭状态比准确的边界框位置更重要。

3. 多尺度训练：使用320、480、640、800等多种尺寸进行训练，提高模型对不同大小目标的适应性。

4. 冻结训练：先冻结骨干网络训练10个epoch，然后解冻整个网络进行训练，加快训练速度并提高模型精度。

5.4 训练结果分析

经过100个epoch的训练，模型在测试集上的表现如下：

从结果可以看出，模型在所有类别上都取得了非常高的精度，完全满足工业应用的要求。

六、推理部署与系统集成

6.1 模型导出与优化

为了提高推理速度，我们将训练好的PyTorch模型导出为ONNX格式，并使用TensorRT进行量化和优化：

# 导出ONNX模型yoloexportmodel=best.ptformat=onnximgsz=640simplify=True# 使用TensorRT优化trtexec--onnx=best.onnx--saveEngine=best.engine--fp16

经过TensorRT FP16量化后，模型在NVIDIA Jetson Orin NX上的推理速度从原来的35FPS提升到了90FPS，完全满足实时检测的需求。

6.2 核心推理代码

以下是使用C#调用ONNX模型进行推理的核心代码：

usingMicrosoft.ML.OnnxRuntime;usingMicrosoft.ML.OnnxRuntime.Tensors;usingOpenCvSharp;publicclassYoloInference{privatereadonlyInferenceSession_session;privatereadonlystring[]_classNames;privatereadonlyfloat_confidenceThreshold=0.5f;privatereadonlyfloat_iouThreshold=0.4f;publicYoloInference(stringmodelPath,string[]classNames){varoptions=newSessionOptions();options.AppendExecutionProvider_CUDA(0);// 使用GPU加速_session=newInferenceSession(modelPath,options);_classNames=classNames;}publicList<DetectionResult>Detect(Matimage){// 图像预处理varresized=newMat();Cv2.Resize(image,resized,newSize(640,640));varinput=resized.ConvertToMat().ToTensor<float>();// 模型推理varinputs=newList<NamedOnnxValue>{NamedOnnxValue.CreateFromTensor("images",input)};usingvaroutputs=_session.Run(inputs);varoutput=outputs.First().AsTensor<float>();// 结果解析varresults=newList<DetectionResult>();for(inti=0;i<output.Dimensions[1];i++){varconfidence=output[0,i,4];if(confidence<_confidenceThreshold)continue;varclassId=(int)output[0,i,5..].ArgMax();varclassConfidence=output[0,i,5+classId];if(classConfidence<_confidenceThreshold)continue;varx=output[0,i,0];vary=output[0,i,1];varw=output[0,i,2];varh=output[0,i,3];varx1=(x-w/2)*image.Cols/640;vary1=(y-h/2)*image.Rows/640;varx2=(x+w/2)*image.Cols/640;vary2=(y+h/2)*image.Rows/640;results.Add(newDetectionResult{ClassId=classId,ClassName=_classNames[classId],Confidence=classConfidence,X1=(int)x1,Y1=(int)y1,X2=(int)x2,Y2=(int)y2});}// NMS非极大值抑制returnNMS(results);}privateList<DetectionResult>NMS(List<DetectionResult>results){// NMS实现代码...}}publicclassDetectionResult{publicintClassId{get;set;}publicstringClassName{get;set;}publicfloatConfidence{get;set;}publicintX1{get;set;}publicintY1{get;set;}publicintX2{get;set;}publicintY2{get;set;}}

6.3 指示灯闪烁状态识别

对于指示灯的闪烁状态，我们不能只依靠单帧图像的检测结果，需要结合连续多帧的检测结果进行判断：

publicclassBlinkDetector{privatereadonlyDictionary<int,List<bool>>_ledStates=new();privatereadonlyint_windowSize=10;// 10帧窗口privatereadonlyfloat_blinkThreshold=0.3f;// 闪烁阈值publicboolIsBlinking(intledId,boolcurrentState){if(!_ledStates.ContainsKey(ledId)){_ledStates[ledId]=newList<bool>();}_ledStates[ledId].Add(currentState);if(_ledStates[ledId].Count>_windowSize){_ledStates[ledId].RemoveAt(0);}if(_ledStates[ledId].Count<_windowSize){returnfalse;}// 计算状态变化次数intchangeCount=0;for(inti=1;i<_ledStates[ledId].Count;i++){if(_ledStates[ledId][i]!=_ledStates[ledId][i-1]){changeCount++;}}return(float)changeCount/_windowSize>_blinkThreshold;}}

6.4 与上位机系统集成

我们通过OPC UA协议将检测结果上传到工厂的SCADA系统，实现与现有自动化系统的无缝集成：

usingOpc.Ua;usingOpc.Ua.Client;publicclassOpcUaClient{privateSession_session;publicasyncTaskConnectAsync(stringendpointUrl){varendpoint=CoreClientUtils.SelectEndpoint(endpointUrl,false);varconfig=EndpointConfiguration.Create();varidentity=newUserIdentity();_session=awaitSession.Create(config,endpoint,false,"DeviceCheckClient",60000,identity,null);}publicasyncTaskWriteResultAsync(stringnodeId,DetectionResultresult){varnode=newNodeId(nodeId);varvalue=newDataValue(Variant.FromString($"{result.ClassName}|{result.Confidence:F2}"));await_session.WriteAsync(newWriteValueCollection{newWriteValue{NodeId=node,AttributeId=Attributes.Value,Value=value}});}}

七、实际应用效果与性能测试

7.1 部署环境

我们将系统部署在某汽车零部件工厂的焊接生产线上，部署环境如下：

• 边缘计算设备：NVIDIA Jetson Orin NX 16GB
• 工业相机：海康威视MV-CA013-20GC 130万像素全局快门相机
• 镜头：8mm定焦镜头
• 光源：环形白色LED光源
• 通信方式：千兆以太网

7.2 性能测试结果

7.3 应用效果

该系统自2025年10月上线以来，已经稳定运行了7个月，取得了显著的应用效果：

• 点检效率提升了90%以上，原来需要2小时完成的点检任务现在只需要10分钟
• 漏检率从原来的18%降低到了0.18%
• 每年节省人工成本约60万元
• 提前发现了12起潜在的设备故障，避免了约300万元的生产损失
• 实现了设备状态的数字化管理，为设备维护提供了数据支持

八、常见问题与解决方案

在项目实施过程中，我们遇到了一些常见问题，总结如下：

8.1 反光问题

问题：设备表面的反光会导致指示灯状态识别错误。

解决方案：

• 使用偏振镜头减少反光
• 调整光源角度和亮度
• 在模型训练时加入反光场景的样本

8.2 光照变化问题

问题：工厂内的光照条件会随时间变化，影响检测精度。

解决方案：

• 使用自动曝光和自动增益的工业相机
• 在数据采集时包含不同光照条件的样本
• 对图像进行直方图均衡化预处理

8.3 指示灯颜色相近问题

问题：红色和黄色指示灯在某些光照条件下颜色相近，容易混淆。

解决方案：

• 增加颜色相近样本的数量
• 在标注时严格区分颜色
• 使用HSV颜色空间进行辅助判断

8.4 按键状态区分困难问题

问题：某些按键按下和弹起的高度差很小，难以区分。

解决方案：

• 使用高分辨率相机
• 调整拍摄角度，突出按键的高度差
• 结合按键周围的文字和图标进行辅助判断

九、总结与展望

本文详细介绍了基于YOLOv11的设备指示灯和按键状态识别系统的完整实现流程，从系统架构设计、数据集构建、模型训练优化到推理部署和系统集成。实际应用结果表明，该系统具有检测精度高、速度快、部署灵活、稳定性好等优点，能够有效替代人工点检，提高生产效率，降低安全风险。

未来，我们将在以下几个方面进行进一步的优化和扩展：

1. 多模态融合：结合温度、振动等传感器数据，实现更全面的设备状态监测
2. 故障预测：基于历史检测数据，使用机器学习算法预测设备故障
3. 模型轻量化：进一步优化模型大小和推理速度，使其能够部署在更低成本的边缘设备上
4. 自学习能力：让系统能够自动学习新的设备和故障类型，减少人工标注的工作量

随着计算机视觉和人工智能技术的不断发展，基于视觉的设备自动化点检系统将会在工业领域得到越来越广泛的应用，成为智能制造的重要组成部分。

👉 点击我的头像进入主页，关注专栏第一时间收到更新提醒，有问题评论区交流，看到都会回。