YOLO11和dlib实战：如何用Python在10分钟内搞定一个简易疲劳检测脚本？

YOLO11与dlib极简实战：10分钟搭建Python疲劳检测原型

从理论到实践的快速验证

在计算机视觉领域，快速验证算法可行性是每个开发者都面临的挑战。传统方案往往需要搭建完整的Web系统或移动应用，这对于算法验证而言显得过于沉重。本文将展示如何用不到50行核心代码，结合YOLO11和dlib这两个强大的工具，构建一个可运行的疲劳检测原型。

现代Python生态为我们提供了绝佳的工具链：OpenCV处理视频流，YOLO11实现高效行为识别，dlib完成精准的面部特征点定位。这种组合既保持了学术上的严谨性，又具备工程上的实用性。更重要的是，整个过程无需复杂的环境配置，一个干净的Python环境就能胜任。

环境准备与依赖安装

1.1 创建虚拟环境

首先确保系统已安装Python 3.8或更高版本。推荐使用虚拟环境隔离项目依赖：

python -m venv fatigue-detection source fatigue-detection/bin/activate # Linux/macOS fatigue-detection\Scripts\activate # Windows

1.2 安装核心依赖

所需的主要库都可以通过pip安装：

pip install opencv-python dlib ultralytics

注意：dlib在某些系统上可能需要额外步骤，如安装CMake和Visual Studio构建工具（Windows）

核心算法实现

2.1 视频流处理基础

我们使用OpenCV捕获摄像头视频流，这是计算机视觉项目的标准做法：

import cv2 cap = cv2.VideoCapture(0) # 0表示默认摄像头 while True: ret, frame = cap.read() if not ret: break # 在此处添加处理逻辑 cv2.imshow('Fatigue Detection', frame) if cv2.waitKey(1) & 0xFF == ord('q'): break cap.release() cv2.destroyAllWindows()

2.2 集成YOLO11行为识别

YOLO11通过ultralytics库提供了极其简洁的接口：

from ultralytics import YOLO # 加载预训练模型（会自动下载） model = YOLO('yolov11s.pt') # 在视频帧上运行检测 results = model(frame) annotated_frame = results[0].plot() # 自动绘制检测结果

2.3 dlib面部特征点检测

dlib的68点面部模型是疲劳检测的黄金标准：

import dlib detector = dlib.get_frontal_face_detector() predictor = dlib.shape_predictor("shape_predictor_68_face_landmarks.dat") # 需下载 def get_eye_aspect_ratio(eye_points): # 计算眼睛纵横比(EAR) A = np.linalg.norm(eye_points[1] - eye_points[5]) B = np.linalg.norm(eye_points[2] - eye_points[4]) C = np.linalg.norm(eye_points[0] - eye_points[3]) return (A + B) / (2.0 * C)

完整实现方案

3.1 系统架构设计

我们的极简系统遵循以下处理流程：

1. 视频捕获 → 2. 人脸检测 → 3. 特征点定位 → 4. EAR计算 → 5. 行为识别 → 6. 状态评估 → 7. 预警反馈

3.2 关键参数配置

# 阈值配置 EYE_AR_THRESH = 0.25 # 低于此值视为闭眼 EYE_AR_CONSEC_FRAMES = 3 # 连续帧数阈值 MAR_THRESH = 0.8 # 高于此值视为打哈欠 # 状态跟踪变量 ear_history = [] mar_history = [] fatigue_counter = 0

3.3 主处理循环

将各个组件整合到视频处理循环中：

while True: ret, frame = cap.read() gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) # 人脸检测 faces = detector(gray, 0) for face in faces: # 特征点检测 landmarks = predictor(gray, face) landmarks = np.array([[p.x, p.y] for p in landmarks.parts()]) # 左眼和右眼特征点 left_eye = landmarks[42:48] right_eye = landmarks[36:42] # 计算EAR left_ear = get_eye_aspect_ratio(left_eye) right_ear = get_eye_aspect_ratio(right_eye) ear = (left_ear + right_ear) / 2.0 # 疲劳状态判断 if ear < EYE_AR_THRESH: fatigue_counter += 1 if fatigue_counter >= EYE_AR_CONSEC_FRAMES: cv2.putText(frame, "FATIGUE WARNING!", (10, 30), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2) else: fatigue_counter = 0 # 显示结果 cv2.imshow('Fatigue Detection', frame) if cv2.waitKey(1) & 0xFF == ord('q'): break

性能优化技巧

4.1 多线程处理

视频处理是计算密集型任务，使用多线程可以显著提高响应速度：

from threading import Thread from queue import Queue class VideoStream: def __init__(self, src=0): self.stream = cv2.VideoCapture(src) self.stopped = False self.Q = Queue(maxsize=128) def start(self): Thread(target=self.update, args=()).start() return self def update(self): while True: if self.stopped: return if not self.Q.full(): ret, frame = self.stream.read() if ret: self.Q.put(frame) def read(self): return self.Q.get() def stop(self): self.stopped = True

4.2 模型量化与加速

YOLO11支持多种优化技术：

# 使用半精度推理 model = YOLO('yolov11s.pt').half() # 使用TensorRT加速（需要额外配置） model.export(format='engine')

实际应用中的挑战与解决方案

5.1 光照条件处理

不同光照条件会显著影响检测效果。我们可以添加预处理步骤：

# 自适应直方图均衡化 clahe = cv2.createCLAHE(clipLimit=2.0, tileGridSize=(8,8)) gray = clahe.apply(gray)

5.2 头部姿态补偿

当驾驶员头部转动时，特征点位置会变化。我们可以使用solvePnP计算头部姿态，并对EAR计算进行补偿：

# 3D模型点（标准人脸） model_points = np.array([ (0.0, 0.0, 0.0), # 鼻尖 (0.0, -330.0, -65.0), # 下巴 (-225.0, 170.0, -135.0), # 左眼左角 # 更多点... ]) # 2D图像点（检测到的特征点） image_points = np.array([ (landmarks[30][0], landmarks[30][1]), # 鼻尖 (landmarks[8][0], landmarks[8][1]), # 下巴 (landmarks[36][0], landmarks[36][1]), # 左眼左角 # 更多点... ], dtype="double") # 计算旋转和平移向量 success, rotation_vector, translation_vector = cv2.solvePnP( model_points, image_points, camera_matrix, dist_coeffs)

扩展功能实现

6.1 语音预警集成

添加语音提示可以增强系统的实用性：

import pyttsx3 engine = pyttsx3.init() engine.say("疲劳警告，请立即休息") engine.runAndWait()

6.2 数据记录与分析

即使是最小原型，记录数据也有助于后续分析：

import pandas as pd from datetime import datetime data = { 'timestamp': [], 'ear': [], 'fatigue_state': [] } # 在循环中记录数据 data['timestamp'].append(datetime.now()) data['ear'].append(ear) data['fatigue_state'].append(ear < EYE_AR_THRESH) # 保存为CSV pd.DataFrame(data).to_csv('fatigue_log.csv')

从原型到产品的思考

这个极简实现虽然功能完整，但要投入实际使用还需要考虑更多因素：

• 个体差异校准：不同人的面部特征不同，EAR基准值需要个性化校准
• 多模态验证：结合头部姿态、眨眼频率等多指标综合判断
• 误报处理：添加状态机逻辑，避免瞬时变化导致的误报
• 性能基准测试：在不同硬件上测试帧率，确保实时性

在开发过程中，我发现dlib的特征点检测在极端角度下稳定性欠佳，而YOLO11的行为识别则对小型物体（如香烟）的检测精度有待提高。这些观察为后续优化指明了方向。