OpenCV与YOLOv5实战：从零搭建实时目标检测系统

这次我们来看一个非常经典的计算机视觉实战项目：使用 OpenCV 和 YOLOv5 实现实时目标检测。对于计算机视觉、深度学习方向的初学者，或者正在寻找毕业设计、课程项目灵感的同学来说，这是一个绝佳的入门和练手选择。它不只是一个简单的代码演示，而是涵盖了从环境搭建、模型加载、图像处理到实时视频流推理的完整流程。

这个项目的核心价值在于“可落地”。你不需要从零开始推导复杂的算法，而是直接上手一个成熟的框架组合，快速看到目标检测的效果。OpenCV 负责图像/视频的读取、处理和显示，YOLOv5 则提供强大且高效的深度学习检测能力。两者结合，你就能在本地电脑上搭建一个实时目标检测系统，识别摄像头画面或视频文件中的物体。

本文将带你从零开始，一步步完成这个项目的部署和测试。我们会重点关注几个实际问题：环境配置的坑怎么避？模型从哪里下载？代码如何运行？显存占用多少？CPU 能不能跑？以及如何将这个项目扩展成你自己的毕设或实战作品。如果你关心本地部署、资源占用和实际效果验证，那么这篇文章可以直接收藏备用。

1. 核心能力速览

在深入细节之前，我们先快速了解这个技术栈组合的核心能力和门槛。

从表格可以看出，这个项目的硬件门槛非常友好。即使你只有一台集成显卡的笔记本电脑，也能在 CPU 模式下跑通整个流程，体验完整的深度学习目标检测。当然，拥有一块 GPU（哪怕是 GTX 1060 6G 这种老卡）会让体验流畅很多。

2. 适用场景与使用边界

这个项目适合谁？

• 深度学习/计算机视觉初学者：想通过一个完整项目理解从数据到结果的 pipeline。
• 高校学生：正在寻找课程设计、毕业设计或科研训练项目的课题。
• 算法工程师：需要快速验证 YOLO 系列模型在特定场景下的基础效果。
• 开发者：希望为自己的应用（如安防、零售分析）添加基础的物体识别能力。

它能解决什么问题？

1. 快速验证：在本地快速搭建一个可运行的目标检测 Demo，直观感受模型能力。
2. 学习闭环：体验“环境配置 -> 模型下载 -> 代码编写 -> 推理测试 -> 结果可视化”的完整开发流程。
3. 项目基石：以此为基础，可以扩展为更复杂的系统，如添加 DeepSORT 实现多目标跟踪、集成到 Web 服务、或针对特定数据集进行模型微调。

不适合什么场景？

1. 超低延迟工业级应用：原生 Python 脚本在极端性能要求下可能需要优化（如使用 C++ 接口、TensorRT 加速）。
2. 直接商用部署：需要考虑模型许可证（YOLOv5 采用 AGPL-3.0 许可证）、系统稳定性、以及针对具体业务的模型优化。
3. 处理超高清视频流：高分辨率输入会显著增加计算负载，可能需要调整模型输入尺寸或使用更强大的硬件。

版权与合规提醒：

• 模型使用：YOLOv5 是开源项目，使用时请遵守其 AGPL-3.0 许可证。用于商业项目前，请仔细阅读相关条款。
• 数据隐私：如果处理涉及人脸的实时视频，务必注意隐私保护。在公共区域测试时，应避免采集和存储可识别个人身份的信息。
• 素材授权：用于测试的图片和视频，请确保拥有使用权或来自开源数据集。

3. 环境准备与前置条件

在开始写代码之前，我们需要把“战场”准备好。一个清晰、隔离的 Python 环境是成功的第一步，它能避免各种依赖包版本冲突的“玄学”问题。

1. 操作系统

• Windows 10/11, Ubuntu 18.04/20.04/22.04, 或 macOS。本文以 Windows 为例，Linux/macOS 命令略有不同。

2. Python 版本

• 推荐使用Python 3.8 或 3.9。这是 PyTorch 和 YOLOv5 兼容性较好的版本。不建议使用 Python 3.10 以上版本，可能会遇到依赖包不兼容的问题。

3. 包管理工具

• Anaconda(推荐)：方便创建独立的虚拟环境。
• pip：Python 自带的包管理器。

4. 深度学习框架与显卡驱动 (GPU用户)

• PyTorch：YOLOv5 基于 PyTorch 实现。
• CUDA & cuDNN：如果你有 NVIDIA GPU 并希望使用 GPU 加速，需要安装与 PyTorch 版本匹配的 CUDA 和 cuDNN。PyTorch 官网提供了预编译的、包含对应 CUDA 版本的 PyTorch 安装命令。
• 显卡驱动：确保你的 NVIDIA 显卡驱动是最新的。

5. 硬件检查清单

• CPU：现代多核处理器即可。
• 内存：建议 8GB 或以上。
• GPU (可选但推荐)：NVIDIA GPU，显存 2GB 以上即可运行 YOLOv5s。4GB 或以上体验更佳。
• 磁盘空间：预留 2-3GB 空间用于安装环境和下载模型。

4. 安装部署与启动方式

接下来，我们一步步搭建环境并运行项目。

4.1 创建并激活虚拟环境

使用 Conda 创建一个名为yolov5_opencv的新环境。

# 创建环境，指定Python版本为3.8 conda create -n yolov5_opencv python=3.8 # 激活环境 (Windows) conda activate yolov5_opencv # 激活环境 (Linux/macOS) # source activate yolov5_opencv # 旧版本conda # conda activate yolov5_opencv # 新版本conda

4.2 安装 PyTorch 和 OpenCV

首先安装 PyTorch。访问 PyTorch 官网 ，根据你的系统、包管理器和 CUDA 版本（如果有）选择对应的安装命令。

例如，对于 Windows 系统、使用 Conda 包管理器、且有 CUDA 11.3 的用户：

conda install pytorch torchvision torchaudio cudatoolkit=11.3 -c pytorch

对于只有 CPU 的用户：

conda install pytorch torchvision torchaudio cpuonly -c pytorch

然后安装 OpenCV 和其他必要的库：

pip install opencv-python # 安装OpenCV pip install matplotlib # 用于绘图 pip install pandas # 可能用于数据处理 pip install pyyaml # 用于读取配置文件 pip install tqdm # 显示进度条 pip install seaborn # 可选，用于美化图表

4.3 克隆 YOLOv5 官方仓库

YOLOv5 的代码、模型权重和工具都在其 GitHub 仓库中。我们将其克隆到本地。

# 克隆仓库 (如果git速度慢，可以在GitHub页面下载ZIP包) git clone https://github.com/ultralytics/yolov5.git cd yolov5 # 安装YOLOv5项目自身的依赖项 (requirements.txt) pip install -r requirements.txt

进入yolov5目录后，你会看到很多文件和文件夹，其中detect.py是我们即将使用的推理脚本。

4.4 下载预训练模型

YOLOv5 提供了多种预训练模型，从轻量到高精度：

• YOLOv5s：最小、最快，精度尚可。推荐初学者使用。
• YOLOv5m：中等。
• YOLOv5l：大。
• YOLOv5x：最大、最慢、精度最高。

模型文件 (.pt) 会在第一次运行detect.py时自动从 GitHub Releases 下载。但国内下载可能较慢，你也可以手动下载。 以 YOLOv5s 为例，手动下载命令如下：

# 在 yolov5 目录下执行 wget https://github.com/ultralytics/yolov5/releases/download/v6.0/yolov5s.pt

或者直接在浏览器中打开上述链接下载，并将yolov5s.pt文件放在yolov5目录下。

4.5 验证安装

运行一个简单的测试，确保一切正常。这行命令会使用 YOLOv5s 模型对data/images文件夹下的示例图片进行检测。

python detect.py --source data/images --weights yolov5s.pt --conf 0.25

如果看到终端开始打印日志，并在最后提示结果保存在runs/detect/exp目录下，且该目录中生成了带检测框的图片，说明环境配置成功！

5. 功能测试与效果验证

环境跑通了，我们来实际测试它的几个核心功能。

5.1 基础功能：图片目标检测

这是最基础的功能。我们使用官方示例图片进行测试。

操作步骤：

1. 确保在yolov5目录下。
2. 运行检测命令。
3. 查看输出结果。

命令示例：

python detect.py --source data/images/bus.jpg --weights yolov5s.pt --conf 0.25 --save-txt

参数解释：

• --source: 指定输入源，可以是图片路径、视频路径、摄像头编号（如0代表默认摄像头）、或包含图片的文件夹路径。
• --weights: 指定使用的模型权重文件。
• --conf: 置信度阈值。低于此值的检测框将被过滤掉。值越高，检测出的目标越可靠，但数量可能越少。
• --save-txt: 将检测结果（类别、坐标）保存为 YOLO 格式的.txt文件。

预期结果：

• 终端会显示推理速度（如0.5ms pre-process, 5.2ms inference, 1.2ms NMS per image）。
• 检测结果图片会保存在runs/detect/exp（或exp2,exp3...）目录下。
• 如果使用了--save-txt，同目录下会生成对应的.txt文件。

判断成功：打开输出图片，能看到 bus 和 persons 被正确地用矩形框标出，并显示了类别标签和置信度。

5.2 核心功能：实时摄像头目标检测

这是“实时”二字的体现。我们将使用电脑自带的摄像头或外接USB摄像头。

操作步骤：

1. 确保摄像头连接正常。
2. 运行命令，将源指定为摄像头。

命令示例：

python detect.py --source 0 --weights yolov5s.pt --conf 0.25

这里的0通常代表系统默认摄像头。如果是外接摄像头，可能需要尝试1或其他数字。

预期结果：

• 会弹出一个新窗口，实时显示摄像头画面。
• 画面中出现的物体（如人、杯子、键盘）会被实时检测并框出。
• 按Esc键或关闭窗口可以退出程序。

性能观察：

• 在终端，你可以看到实时刷新的推理速度（FPS）。这个值取决于你的硬件（CPU/GPU）。
• GPU 模式：在 GTX 1060 6G 上，使用 YOLOv5s 模型，FPS 可能达到30-60，非常流畅。
• CPU 模式：在 i7-10750H 上，FPS 可能在5-10左右，有肉眼可见的延迟，但功能完整。

5.3 扩展功能：视频文件目标检测

处理已有的视频文件，比如分析一段行车记录仪视频。

操作步骤：

1. 准备一个.mp4或.avi格式的视频文件，例如test_video.mp4。
2. 将其放在yolov5目录下，或使用绝对路径。

命令示例：

python detect.py --source test_video.mp4 --weights yolov5s.pt --conf 0.25

预期结果：

• 程序会逐帧处理视频，并弹窗显示处理结果。
• 处理完成后，在runs/detect/exp目录下会生成一个同名的、带有检测框的输出视频文件。

5.4 进阶测试：批量图片检测与自定义模型

批量处理图片文件夹：

python detect.py --source path/to/your/image_folder --weights yolov5s.pt --conf 0.25

程序会自动遍历文件夹内所有支持的图片格式（jpg, png, jpeg 等），并输出到同一个结果文件夹。

使用更大的模型（如 YOLOv5m）以获取更高精度：

python detect.py --source data/images --weights yolov5m.pt --conf 0.25

首次运行会自动下载yolov5m.pt模型。注意，模型越大，推理速度越慢，显存占用越高。

6. 接口 API 与批量任务

原生的detect.py脚本是一个命令行工具。但在实际项目中，我们常常需要将其服务化，以便其他程序调用。这里提供一个简单的 Flask Web API 改造思路。

6.1 将检测功能封装为函数

首先，我们创建一个新的 Python 文件，例如detect_api.py，将核心检测逻辑提取出来。

# detect_api.py import cv2 import torch from pathlib import Path import numpy as np # 加载模型 (全局变量，避免重复加载) model = None def load_model(weights_path='yolov5s.pt'): global model if model is None: model = torch.hub.load('ultralytics/yolov5', 'custom', path=weights_path, force_reload=False) return model def detect_image(model, img_array, conf_thres=0.25): """ 对输入的numpy图像数组进行检测 Args: model: 加载好的YOLOv5模型 img_array: numpy数组格式的图片 (BGR格式，与OpenCV读取一致) conf_thres: 置信度阈值 Returns: result_img: 绘制了检测框的图片 (numpy数组) detections: 检测结果列表，每个元素为 [x1, y1, x2, y2, conf, class] """ # 推理 results = model(img_array, size=640) # size可以调整，影响速度和精度 # 获取检测结果 detections = results.xyxy[0].cpu().numpy() # 格式: [x1, y1, x2, y2, confidence, class] # 过滤低置信度结果 detections = detections[detections[:, 4] > conf_thres] # 绘制结果到原图 result_img = img_array.copy() for *box, conf, cls in detections: x1, y1, x2, y2 = map(int, box) label = f'{model.names[int(cls)]} {conf:.2f}' # 画框 cv2.rectangle(result_img, (x1, y1), (x2, y2), (0, 255, 0), 2) # 写标签 cv2.putText(result_img, label, (x1, y1 - 10), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 255, 0), 2) return result_img, detections

6.2 创建 Flask API 服务

然后，基于 Flask 框架创建一个简单的 HTTP 服务。

# app.py from flask import Flask, request, jsonify, send_file import cv2 import numpy as np import io from PIL import Image from detect_api import load_model, detect_image app = Flask(__name__) model = load_model() # 启动时加载模型 @app.route('/detect', methods=['POST']) def detect(): """ 接收图片文件，返回检测后的图片和JSON结果 """ if 'file' not in request.files: return jsonify({'error': 'No file part'}), 400 file = request.files['file'] if file.filename == '': return jsonify({'error': 'No selected file'}), 400 # 读取图片 img_bytes = file.read() img_np = np.frombuffer(img_bytes, np.uint8) img = cv2.imdecode(img_np, cv2.IMREAD_COLOR) if img is None: return jsonify({'error': 'Invalid image'}), 400 # 进行检测 conf_thres = float(request.form.get('conf', 0.25)) result_img, detections = detect_image(model, img, conf_thres) # 将结果图片转换为字节流 _, img_encoded = cv2.imencode('.jpg', result_img) img_io = io.BytesIO(img_encoded.tobytes()) # 准备JSON响应 detections_list = [] for det in detections: x1, y1, x2, y2, conf, cls = det detections_list.append({ 'bbox': [int(x1), int(y1), int(x2), int(y2)], 'confidence': float(conf), 'class': int(cls), 'class_name': model.names[int(cls)] }) # 这里简化处理，只返回JSON。实际可返回图片或打包成zip。 return jsonify({ 'detections': detections_list, 'count': len(detections_list) }) if __name__ == '__main__': # 启动服务，默认端口5000 app.run(host='0.0.0.0', port=5000, debug=False) # 生产环境请设置debug=False

6.3 启动服务并调用 API

启动服务：

python app.py

终端会显示* Running on http://0.0.0.0:5000。

调用 API (使用 curl 或 Python requests)：

# 使用curl测试 curl -X POST -F "file=@test.jpg" -F "conf=0.3" http://127.0.0.1:5000/detect

# 使用Python requests测试 import requests url = 'http://127.0.0.1:5000/detect' files = {'file': open('test.jpg', 'rb')} data = {'conf': 0.3} response = requests.post(url, files=files, data=data) print(response.json())

批量任务处理：有了 API，批量处理就很简单了。写一个脚本遍历文件夹，依次调用 API 即可。注意，这种方式（HTTP调用）会有网络开销，对于大批量数据，更高效的方式是直接导入上面的detect_image函数进行循环处理。

7. 资源占用与性能观察

了解资源占用情况，有助于你评估项目对硬件的要求，并优化运行效率。

如何观察资源占用？

• Windows：使用任务管理器，查看“性能”选项卡下的 GPU 和内存使用情况。
• Linux：使用nvidia-smi命令查看 GPU 使用情况，使用htop或top查看 CPU 和内存。

典型资源占用 (以 YOLOv5s 模型，输入尺寸 640x640 为例)：

• GPU 模式 (如 GTX 1060 6G)：
  • 显存占用：约700MB - 1.2GB。启动初期加载模型时会有峰值，稳定推理后维持在较低水平。
  • GPU 利用率：推理时接近 100%，空闲时下降。
  • 内存占用：Python 进程约占用 1-2GB 系统内存。
• CPU 模式 (如 i7-10750H)：
  • 显存占用：0 GB。
  • CPU 利用率：推理时可能有一个核心跑满，总体利用率取决于代码是否优化了多线程。
  • 内存占用：与 GPU 模式类似，约 1-2GB。

影响性能的关键参数：

1. 模型大小 (--weights)：yolov5s<yolov5m<yolov5l<yolov5x。模型越大，精度可能越高，但速度越慢，显存占用越大。
2. 推理尺寸 (--imgsz)：默认是 640。你可以通过--imgsz 320来缩小输入图像尺寸，这会显著提升速度，但可能降低对小目标的检测精度。增大尺寸（如--imgsz 1280）则相反。
3. 置信度阈值 (--conf)：阈值越高，需要处理的后验框越少，NMS（非极大值抑制）步骤越快，但可能漏检。
4. 批量大小：detect.py默认批量大小为 1。对于图片批量检测，可以修改代码或使用其他接口设置更大的批量大小（batch size），这能更充分地利用 GPU 并行计算能力，提高吞吐量。

优化建议：

• 追求速度：使用yolov5s模型，降低imgsz（如 320）。
• 追求精度：使用yolov5x模型，提高imgsz（如 1280），但需要更强的 GPU。
• 平衡选择：yolov5m或yolov5l通常是精度和速度的较好平衡点。
• CPU 用户：确保安装了onnxruntime或openvino等优化库，并尝试将模型转换为 ONNX 格式进行推理，可能获得加速。

8. 常见问题与排查方法

在部署和运行过程中，你可能会遇到一些问题。下表列出了常见问题及其解决方法。

9. 最佳实践与使用建议

为了让这个项目更好地为你服务，这里有一些工程化和学习上的建议。

1. 环境隔离是王道：始终在虚拟环境（Conda 或 venv）中操作。为不同的项目创建不同的环境，避免依赖冲突。
2. 从轻量模型开始：第一次运行，务必使用yolov5s.pt。它能让你最快地验证整个流程是否通畅，避免因硬件不足导致的挫败感。
3. 建立项目目录结构：不要把所有文件都堆在yolov5官方目录下。建议的目录结构：

   your_project/ ├── yolov5/ # 克隆的官方仓库 ├── my_scripts/ # 你自己写的脚本，如 detect_api.py, app.py ├── input_data/ # 存放待检测的图片、视频 ├── output_results/ # 存放检测结果 └── requirements.txt # 记录你额外安装的依赖

4. 善用命令行参数：detect.py有很多有用的参数，例如：
   • --save-txt：保存检测框的坐标信息，用于后续分析。
   • --save-conf：在保存的标签文件中包含置信度。
   • --name：指定输出结果文件夹的名称，避免每次都是exp。
   • --exist-ok：允许结果覆盖到已有的文件夹。
5. 为毕设/项目添加“亮点”：
   • 功能扩展：集成 DeepSORT 实现多目标跟踪。
   • 场景定制：使用你自己的数据集（如特定种类的商品、车辆、仪器）对 YOLOv5 进行微调（fine-tuning）。
   • 界面优化：使用 PyQt、Tkinter 或 Web 前端（如 Gradio、Streamlit）做一个更友好的图形界面。
   • 部署优化：将 PyTorch 模型转换为 ONNX、TensorRT 或 OpenVINO 格式，提升推理速度，并尝试在边缘设备（如 Jetson Nano）上部署。
6. 版权与伦理意识：如果你的项目涉及人脸、车牌等敏感信息，在公开演示或论文中，务必对结果进行打码处理。使用开源模型和数据集时，遵守对应的许可证。

10. 总结与下一步

通过本文，你应该已经成功在本地搭建了 OpenCV + YOLOv5 的实时目标检测环境，并测试了图片、摄像头和视频检测功能。这个组合的强大之处在于其“开箱即用”的易用性和强大的社区支持。

最值得尝试的点：

• 极低的入门门槛：几行命令就能跑起一个业界领先的检测模型。
• 清晰的性能表现：你可以直观地感受到不同硬件（CPU/GPU）、不同模型尺寸（s/m/l/x）带来的速度与精度差异。
• 极高的可扩展性：无论是作为 API 服务、还是作为毕设核心模块，它都提供了坚实的基础。

最先应该验证的功能： 毫无疑问是实时摄像头检测。打开摄像头，看着模型实时框出你周围的物体，这种即时反馈是学习深度学习应用最好的激励。

最容易踩的坑：

1. 环境配置：PyTorch 的 CUDA 版本与显卡驱动不匹配。务必对照 PyTorch 官网的安装命令。
2. 路径问题：命令行中文件路径包含空格或中文，导致程序找不到文件。尽量使用英文路径和短路径。
3. 模型下载：首次运行因网络问题卡住。提前手动下载模型文件是最稳妥的方案。

后续可以探索的方向：

1. 模型训练：尝试使用 Roboflow、LabelImg 等工具标注你自己的数据集，然后使用 YOLOv5 的train.py脚本训练一个定制化模型。
2. 多目标跟踪：研究如何将 YOLOv5 与 DeepSORT、ByteTrack 等跟踪算法结合，实现视频中物体的持续跟踪。
3. 模型压缩与加速：学习如何使用 TensorRT、OpenVINO 或 ONNX Runtime 对训练好的模型进行优化，追求极致的推理速度。
4. 跨平台部署：探索将模型部署到移动端（Android/iOS）或嵌入式设备（树莓派、Jetson系列）上的方案。

这个项目就像一把钥匙，为你打开了计算机视觉和深度学习应用的大门。接下来的路，就看你如何用它去解决实际的问题，或者构建更酷的项目了。建议收藏本文，在遇到问题时回来查阅排查清单。