2026工业级实战：C#上位机+YOLOv11+ByteTrack实现产线多目标跟踪与PLC联动控制

上周刚交付完一条PCB板自动分拣产线的改造项目，踩了整整三周的视觉延迟和PLC时序同步的坑，今天把完整的实现方案分享出来。之前这条产线全靠人工分拣，6个工人两班倒，不仅效率低，而且长时间盯着板子容易疲劳，错检率高达2%。我们用「C#上位机集成YOLOv11+ByteTrack」对接西门子S7-1200 PLC的方案，实现了运动中PCB板的实时识别、跟踪和自动分拣，上线后效率提升4倍，错检率降到0.1%以下。

一、项目痛点与需求分析

这家电子厂的PCB板分拣产线问题非常典型：

• 人工效率低：6个工人每小时只能分拣300块板子，旺季产能跟不上；
• 错检率高：不同型号的PCB板外观相似，工人容易看错，每天都有混料的情况；
• 无法跟踪运动目标：之前试过传统的机器视觉系统，只能识别静止的板子，需要让传送带频繁启停，反而降低了效率；
• 联动复杂：传统视觉系统和PLC的通信协议不开放，定制化开发成本高，周期长。

我们的核心需求非常明确：

1. 实时跟踪传送带上同时运行的最多10块PCB板，分配唯一ID；
2. 识别3种不同型号的PCB板和2种常见缺陷（缺件、焊盘短路）；
3. 与西门子S7-1200 PLC联动，控制8个分拣气缸准确剔除不合格品；
4. 系统总延迟小于100ms，识别准确率≥99.5%，支持7x24小时连续运行；
5. 保留人工干预接口，支持随时暂停和调整参数。

二、系统整体架构设计

整个系统采用四层架构，从下到上分别是执行层、控制层、算法处理层和UI展示层，所有数据交互都通过C#上位机统一调度，保证时序的准确性。系统架构图如下：

• 执行层：工业相机、光源、PLC、传送带、分拣气缸和传感器，负责图像采集和动作执行；
• 控制层：C# WinForms上位机，作为整个系统的大脑，负责调度所有模块和数据交互；
• 算法层：YOLOv11负责目标检测，ByteTrack负责多目标跟踪和ID分配，全部运行在GPU上；
• 应用层：实时监控、数据统计和报警功能，方便操作人员使用。

三、硬件选型与部署

3.1 视觉系统选型

• 工业相机：海康威视MV-CA013-20GC，130万像素全局快门相机，USB3.0接口，曝光时间最低10μs，完全避免运动模糊；
• 镜头：8mm定焦工业镜头，工作距离30cm，视野范围40cm×30cm，刚好覆盖传送带宽度；
• 光源：白色环形LED光源，角度45°，避免PCB板焊盘反光，配合光源控制器实现亮度调节；
• 计算单元：工控机i5-12400F+RTX3050 4G显卡，足够支撑10fps的推理速度。

3.2 控制系统选型

• PLC：西门子S7-1214C DC/DC/DC，自带14路输入10路输出，支持Profinet和S7协议，以太网口直接和上位机通信；
• 传感器：欧姆龙E3Z光电传感器，用于检测板子进入相机视野；增量式编码器，用于计算传送带的实时速度和板子位置；
• 执行机构：亚德客ACQ系列薄型气缸，响应时间小于50ms，配合二位五通电磁阀使用。

3.3 部署要点

相机安装在传送带正上方30cm处，光源和相机同轴安装；光电传感器安装在相机前方10cm处，触发相机拍照；编码器安装在传送带主动轴上，实时反馈速度，用于计算板子到达分拣气缸的时间。

四、软件核心实现

4.1 YOLOv11模型训练与导出

我们自己采集了5000张产线现场的图片，用LabelImg标注了3种型号和2种缺陷，按8:1:1划分训练集、验证集和测试集。训练用YOLOv11n模型，迭代300轮，最终mAP@0.5达到99.8%。

训练完成后，将模型导出为ONNX格式，并且开启INT8量化，这样在RTX3050上单张图片推理时间只有8ms，完全满足实时性要求。导出命令：

yoloexportmodel=yolov11n.ptformat=onnxint8=True

4.2 C#调用ONNX模型实现实时检测

用Microsoft.ML.OnnxRuntime库调用ONNX模型，并且启用CUDA加速。这里有个坑：一定要安装和显卡驱动版本匹配的CUDA和cuDNN，否则会报错或者只能用CPU推理。

核心代码片段：

usingMicrosoft.ML.OnnxRuntime;usingMicrosoft.ML.OnnxRuntime.Tensors;usingOpenCvSharp;usingSystem.Collections.Generic;usingSystem.Linq;namespaceYoloPlcControl{publicclassYoloDetector{privatereadonlyInferenceSession_session;privatereadonlyint_inputSize=640;privatereadonlyfloat_confThreshold=0.5f;privatereadonlyfloat_iouThreshold=0.4f;publicYoloDetector(stringmodelPath){varoptions=newSessionOptions();options.AppendExecutionProvider_CUDA(0);// 启用GPU加速_session=newInferenceSession(modelPath,options);}publicList<DetectionResult>Detect(Matimage){// 图像预处理：缩放、归一化、转张量varresized=newMat();Cv2.Resize(image,resized,newSize(_inputSize,_inputSize));varinputTensor=resized.ConvertToTensor<float>(new[]{1,3,_inputSize,_inputSize});// 模型推理varinputs=newList<NamedOnnxValue>{NamedOnnxValue.CreateFromTensor("images",inputTensor)};usingvaroutputs=_session.Run(inputs);varoutput=outputs.First().AsTensor<float>();// 后处理：解析结果、NMSreturnPostProcess(output,image.Width,image.Height);}// 后处理方法省略，和标准YOLO后处理一致}publicclassDetectionResult{publicintClassId{get;set;}publicfloatConfidence{get;set;}publicRectBoundingBox{get;set;}}}

4.3 ByteTrack多目标跟踪实现

检测完成后，用ByteTrack算法给每个目标分配唯一ID，并且跟踪其运动轨迹。ByteTrack的优势是即使目标被短暂遮挡，也能保持ID不变，非常适合产线场景。

我们用了C#版的ByteTrack实现，核心逻辑是：将检测结果分为高置信度和低置信度两部分，先用高置信度结果和轨迹进行匹配，再用低置信度结果和未匹配的轨迹进行匹配，最后创建新的轨迹。

4.4 C#与S7-1200 PLC通信

用S7.NET库实现C#和PLC的通信，这是工业上最常用的开源库，简单可靠。我们定义了两个DB块用于数据交互：

• DB1：上位机→PLC，存储目标ID、型号、缺陷类型和预计到达气缸的时间；
• DB2：PLC→上位机，存储传送带速度、气缸状态、传感器状态和报警信息。

核心通信代码：

usingS7.Net;usingSystem;namespaceYoloPlcControl{publicclassPlcCommunicator{privatereadonlyPlc_plc;publicPlcCommunicator(stringipAddress){_plc=newPlc(CpuType.S71200,ipAddress,0,1);}publicboolConnect(){try{_plc.Open();return_plc.IsConnected;}catch{returnfalse;}}// 写入目标信息到PLC DB1publicvoidWriteTargetInfo(intid,inttype,boolisDefect,doublearriveTime){_plc.Write("DB1.DBW0",(ushort)id);_plc.Write("DB1.DBW2",(ushort)type);_plc.Write("DB1.DBX4.0",isDefect);_plc.Write("DB1.DBD5",(float)arriveTime);}// 读取传送带速度publicdoubleReadConveyorSpeed(){returnConvert.ToDouble(_plc.Read("DB2.DBD0"));}}}

4.5 系统工作流程

整个系统的工作流程如下，严格保证时序的准确性：

五、关键优化与踩坑总结

5.1 延迟优化

这是整个项目最关键的部分，一开始系统总延迟有300ms，导致分拣位置不准。我们做了以下优化：

• GPU全流程加速：图像预处理、模型推理、后处理全部用GPU实现，单帧处理时间从50ms降到12ms；
• 多线程分离：采集、检测、跟踪、通信分别在独立的线程运行，用队列传递数据，避免UI卡顿；
• PLC通信优化：用异步读写代替同步读写，批量传输数据，通信延迟从50ms降到10ms以内。

5.2 时序同步问题

一开始经常出现气缸提前或延迟动作的情况，后来发现是上位机和PLC的时间不同步，而且没有考虑气缸的响应时间。解决方法：

• 用NTP服务器同步上位机和PLC的系统时间；
• 在PLC端增加延迟补偿，根据气缸的实际响应时间调整触发时间；
• 用编码器的脉冲数计算板子位置，代替单纯的时间计算，精度更高。

5.3 跟踪ID切换问题

当两块板子重叠时，ByteTrack偶尔会出现ID切换的情况，导致分拣错误。解决方法：

• 调整ByteTrack的参数，将track_thresh从0.5调到0.6，match_thresh从0.8调到0.9；
• 增加轨迹平滑处理，用卡尔曼滤波预测目标的运动轨迹；
• 当目标离开相机视野时，保留其ID和位置信息，直到通过对应的气缸。

5.4 误检问题

一开始传送带的污渍和反光会被误检为缺陷，解决方法：

• 增加2000张负样本（只有污渍和反光的图片）重新训练模型；
• 增加ROI区域，只检测传送带上的板子区域，忽略背景；
• 增加连续3帧确认机制，只有连续3帧都检测到缺陷才判定为不合格。

六、总结与扩展

这套系统上线运行了一个月，效果非常好：

• 分拣效率从每小时300块提升到1200块，节省了6个工人；
• 错检率从2%降到0.1%，基本没有混料的情况；
• 系统运行稳定，7x24小时连续运行没有出现过崩溃。

后续可以扩展的功能还有很多：

• 增加更多缺陷类型的检测，比如虚焊、少锡等；
• 接入工厂的MES系统，将生产数据实时上传；
• 用机器学习分析历史数据，预测设备的故障率；
• 增加数字孪生功能，在电脑上实时模拟产线的运行状态。

如果你也在做工业视觉和PLC联动的项目，欢迎一起交流踩坑经验。