当前位置：首页 > news >正文

C#实战：从零构建高精度车牌识别引擎（含完整项目）

news 2026/5/12 11:49:27

1. 项目背景与核心需求

车牌识别技术在现代智能交通系统中扮演着关键角色。想象一下，当你开车进入小区停车场时，摄像头自动识别车牌并抬杆放行——这套流畅体验的背后，正是车牌识别引擎在发挥作用。这次我们要用C#从零构建一个识别准确率超过90%的车牌识别系统，特别适合社区停车场或园区门禁这类对实时性要求较高的场景。

我去年为某物流园区开发过类似系统时发现，实际落地会遇到三个典型问题：首先是光线变化导致的车牌反光，其次是不同省份车牌样式差异，最棘手的是双层货车车牌的识别。我们将通过YOLO目标检测+ONNX Runtime推理+CTC解码的技术组合来解决这些问题。整个项目会采用模块化设计，最终提供可直接编译运行的完整源码。

2. 开发环境搭建

2.1 基础工具准备

推荐使用Visual Studio 2022社区版（完全免费）作为开发环境。安装时务必勾选".NET桌面开发"和"使用C++的桌面开发"两个工作负载，因为后续需要调用OpenCV的本地库。我用的是.NET 6框架，相比之前的版本有更好的性能优化。

关键NuGet包安装命令：

Install-Package Microsoft.ML.OnnxRuntime -Version 1.13.1 Install-Package OpenCvSharp4 -Version 4.6.0 Install-Package OpenCvSharp4.runtime.win -Version 4.6.0

2.2 模型文件准备

我们需要两个预训练模型：

车牌检测模型（YOLOv5s格式）
车牌字符识别模型（CRNN+CTC结构）

这两个模型我都已经转换成ONNX格式并测试过兼容性。下载后建议放在项目根目录的Models文件夹下。有个坑要注意：ONNX Runtime对模型文件的路径非常敏感，部署时建议使用绝对路径或确保相对路径正确。

3. 车牌检测模块实现

3.1 YOLO检测核心代码

检测模块的核心是一个封装好的YOLO推理类：

public class PlateDetector : IDisposable { private InferenceSession _session; private readonly string[] _inputNames; public PlateDetector(string modelPath) { var options = new SessionOptions() { GraphOptimizationLevel = GraphOptimizationLevel.ORT_ENABLE_ALL }; _session = new InferenceSession(modelPath, options); _inputNames = _session.InputNames.ToArray(); } public List<PlateBox> Detect(Mat image) { // 图像预处理（含letterbox缩放） var processed = Preprocess(image); // 创建输入Tensor var inputTensor = new DenseTensor<float>(processed.Data, processed.Shape); var inputs = new List<NamedOnnxValue> { NamedOnnxValue.CreateFromTensor(_inputNames[0], inputTensor) }; // 执行推理 using var results = _session.Run(inputs); var output = results.First().AsTensor<float>(); // 后处理（含NMS过滤） return Postprocess(output, image.Width, image.Height); } }

3.2 图像预处理技巧

实测发现预处理直接影响检测效果，我们采用改进版letterbox方法：

private ProcessedImage Preprocess(Mat src) { // 目标尺寸（与模型训练尺寸一致） const int targetSize = 640; // 计算缩放比例 double ratio = Math.Min( (double)targetSize / src.Width, (double)targetSize / src.Height); // 等比缩放 var resized = new Mat(); Cv2.Resize(src, resized, Size.Zero, ratio, ratio); // 计算填充边界 int dw = targetSize - resized.Width; int dh = targetSize - resized.Height; int top = dh / 2, bottom = dh - top; int left = dw / 2, right = dw - left; // 添加灰色边框 var dst = new Mat(); Cv2.CopyMakeBorder(resized, dst, top, bottom, left, right, BorderTypes.Constant, new Scalar(114, 114, 114)); // 转换为RGB并归一化 Cv2.CvtColor(dst, dst, ColorConversionCodes.BGR2RGB); dst.ConvertTo(dst, MatType.CV_32FC3, 1.0 / 255); // 转换为CHW格式 var channels = dst.Split(); var output = new float[3 * targetSize * targetSize]; int offset = 0; foreach (var channel in channels) { Buffer.BlockCopy(channel.Data, 0, output, offset * targetSize * targetSize, targetSize * targetSize * sizeof(float)); offset++; } return new ProcessedImage(output, new[] { 1, 3, targetSize, targetSize }); }

这段代码有三个关键点：保持长宽比的缩放、114值的灰色填充、正确的张量格式转换。我在测试时发现，错误的预处理会导致检测框偏移甚至完全检测不到车牌。

4. 车牌识别模块设计

4.1 双层车牌处理策略

针对货车双层车牌这个难点，我们采用动态分割算法：

public string RecognizeDoublePlate(Mat plateImage) { // 灰度化+二值化 var gray = new Mat(); Cv2.CvtColor(plateImage, gray, ColorConversionCodes.BGR2GRAY); Cv2.Threshold(gray, gray, 0, 255, ThresholdTypes.Otsu | ThresholdTypes.Binary); // 水平投影分析 int[] projection = new int[gray.Height]; for (int y = 0; y < gray.Height; y++) { for (int x = 0; x < gray.Width; x++) { if (gray.At<byte>(y, x) == 0) // 黑色像素计数 projection[y]++; } } // 寻找最佳分割线（最小像素行） int splitLine = 0; int minPixels = int.MaxValue; for (int y = gray.Height / 4; y < gray.Height * 3 / 4; y++) { if (projection[y] < minPixels) { minPixels = projection[y]; splitLine = y; } } // 分割识别 var upperPart = new Mat(plateImage, new Rect(0, 0, plateImage.Width, splitLine)); var lowerPart = new Mat(plateImage, new Rect(0, splitLine, plateImage.Width, plateImage.Height - splitLine)); string upperText = RecognizeSinglePlate(upperPart); string lowerText = RecognizeSinglePlate(lowerPart); // 智能合并（处理特殊字符） return MergePlateText(upperText, lowerText); }

4.2 CTC解码实现

字符识别模型输出的是时序分类结果，需要CTC解码：

private static readonly char[] PlateChars = "0123456789ABCDEFGHJKLMNPQRSTUVWXYZ京沪津渝冀晋蒙辽吉黑苏浙皖闽赣鲁豫鄂湘粤桂琼川贵云藏陕甘青宁新使领警港澳学".ToCharArray(); public string DecodePlate(Tensor<float> output) { var sequence = new List<char>(); int lastIndex = -1; int blankIndex = 0; // ONNX模型输出的空白符索引 for (int t = 0; t < output.Dimensions[1]; t++) { // 找出当前时间步概率最大的字符 int maxIndex = 0; float maxProb = float.MinValue; for (int c = 0; c < output.Dimensions[2]; c++) { float prob = output[0, t, c]; if (prob > maxProb) { maxProb = prob; maxIndex = c; } } // CTC规则：跳过空白符和连续重复字符 if (maxIndex != blankIndex && maxIndex != lastIndex) { if (maxIndex < PlateChars.Length) { sequence.Add(PlateChars[maxIndex]); } lastIndex = maxIndex; } } return new string(sequence.ToArray()); }

这里有个易错点：不同训练框架生成的模型，其空白符的索引位置可能不同。我遇到过PyTorch训练时blank是0，而TensorFlow却是最后一个索引的情况。

5. 性能优化技巧

5.1 内存管理最佳实践

ONNX Runtime的推理会话(InferenceSession)和OpenCV的Mat对象都是非托管资源，必须正确释放：

public class PlateRecognizer : IDisposable { private InferenceSession _detectSession; private InferenceSession _recognizeSession; private bool _disposed = false; public void Dispose() { if (_disposed) return; _detectSession?.Dispose(); _recognizeSession?.Dispose(); _disposed = true; GC.SuppressFinalize(this); } ~PlateRecognizer() { Dispose(); } }

5.2 多线程处理方案

对于停车场这类需要并发处理的场景，建议采用生产者-消费者模式：

public class RecognitionPipeline { private BlockingCollection<Mat> _queue = new BlockingCollection<Mat>(10); private List<Task> _workers = new List<Task>(); public void Start(int workerCount) { for (int i = 0; i < workerCount; i++) { _workers.Add(Task.Run(() => { using var recognizer = new PlateRecognizer(); foreach (var image in _queue.GetConsumingEnumerable()) { try { var plates = recognizer.Detect(image); foreach (var plate in plates) { string number = recognizer.Recognize(plate); OnPlateRecognized?.Invoke(this, new RecognitionEventArgs(number, plate)); } } finally { image.Dispose(); } } })); } } public void AddImage(Mat image) { _queue.Add(image.Clone()); // 必须克隆原始图像 } }

我在实际部署中发现，当识别线程数超过CPU物理核心数时，整体性能反而会下降。建议根据服务器配置做压力测试找到最佳线程数。

6. 完整项目集成

6.1 项目结构说明

PlateRecognition/ ├── Models/ # 模型文件 │ ├── plate_detect.onnx │ └── plate_rec.onnx ├── Utils/ │ ├── ImageHelper.cs # 图像处理工具 │ └── NMSHelper.cs # 非极大值抑制 ├── Core/ │ ├── Detector.cs # 车牌检测 │ └── Recognizer.cs # 字符识别 └── Demo/ ├── ConsoleDemo.cs # 命令行演示 └── WebAPIDemo.cs # WebAPI服务

6.2 快速测试示例

控制台演示程序的核心代码：

static void Main(string[] args) { using var recognizer = new PlateRecognizer( @"Models\plate_detect.onnx", @"Models\plate_rec.onnx"); var images = Directory.GetFiles("TestImages"); foreach (var path in images) { using var image = Cv2.ImRead(path, ImreadModes.Color); var sw = Stopwatch.StartNew(); // 检测车牌 var plates = recognizer.Detect(image); Console.WriteLine($"检测到 {plates.Count} 个车牌，耗时 {sw.ElapsedMilliseconds}ms"); // 识别每个车牌 foreach (var plate in plates) { string number = recognizer.Recognize(plate); Console.WriteLine($"识别结果: {number}"); // 可视化（保存结果图像） Cv2.Rectangle(image, plate.Rect, Scalar.Red, 2); Cv2.PutText(image, number, plate.Rect.TopLeft, HersheyFonts.HersheySimplex, 1, Scalar.Green, 2); } Cv2.ImWrite($"Result_{Path.GetFileName(path)}", image); } }

这个示例展示了完整的处理流程：加载模型→检测车牌→识别字符→可视化结果。测试时可以准备一些不同角度、光照条件的车牌图片放在TestImages目录下。