基于YOLO的草莓成熟度识别数据集构建与应用
1. 项目背景与核心价值
草莓成熟度识别是智慧农业中的关键技术痛点。传统农业生产中，农民主要依靠经验判断草莓的成熟度，这种方式存在主观性强、效率低下、难以规模化等问题。随着计算机视觉技术的发展，基于深度学习的成熟度识别方案正在改变这一现状。
这个YOLO格式的数据集专门针对草莓生长阶段识别任务设计，包含三个核心标注维度：成熟度分级（如未熟、半熟、全熟）、生长阶段划分（如开花期、绿果期、转色期、成熟期）以及生长点定位。这种多维度标注方式能够满足不同应用场景的需求，例如：
- 自动化采摘机器人需要准确识别成熟度
- 生长监测系统需要跟踪草莓发育阶段
- 病害预警系统需要定位生长点异常变化
2. 数据集构建关键技术
2.1 数据采集规范
优质数据集的核心在于采集过程的科学性。我们在多个草莓种植基地进行了为期两年的周期性拍摄，确保覆盖：
- 不同品种（红颜、章姬、甜查理等）
- 不同光照条件（自然光、补光灯、夜间红外）
- 不同拍摄角度（俯视、侧视、微距）
- 不同生长环境（大棚、露天、立体栽培）
特别设计了抗干扰采集方案：
# 示例采集设备配置 camera_settings = { 'resolution': '3840x2160', # 4K采集保证细节 'frame_rate': 30, 'white_balance': 'manual', 'focus_mode': 'continuous', # 对移动植株保持追踪 'exposure_compensation': +0.7 # 补偿大棚内光线不足 }2.2 标注标准制定
采用三级标注体系确保数据质量：
| 标注层级 | 标注内容 | 标注要求 | 示例 |
|---|---|---|---|
| L1 | 果实整体 | 最小外接矩形框 | [x,y,w,h] |
| L2 | 成熟度分区 | 多边形分割标注 | 顶点坐标序列 |
| L3 | 生长点 | 关键点标注 | [x,y,visible] |
生长阶段判定参考农业专家制定的视觉标准：
- 开花期：花瓣完整可见
- 绿果期：果实直径>1cm且全绿
- 转色期：果面出现>30%红色
- 成熟期：红色覆盖>90%且萼片展开
3. 数据集处理与增强
3.1 数据预处理流程
原始图像需要经过标准化处理：
- 光照归一化：使用Retinex算法消除光照差异
- 背景分割：基于HSV色彩空间提取草莓区域
- 尺寸统一：保持长宽比resize到640x640
- 数据平衡：SMOTE算法解决类别不均衡
# 背景分割示例代码 def extract_strawberry_region(hsv_img): # 定义草莓颜色阈值范围 lower_red1 = np.array([0, 50, 50]) upper_red1 = np.array([10, 255, 255]) lower_red2 = np.array([170, 50, 50]) upper_red2 = np.array([180, 255, 255]) # 创建掩膜 mask1 = cv2.inRange(hsv_img, lower_red1, upper_red1) mask2 = cv2.inRange(hsv_img, lower_red2, upper_red2) mask = cv2.bitwise_or(mask1, mask2) # 形态学处理 kernel = np.ones((5,5), np.uint8) mask = cv2.morphologyEx(mask, cv2.MORPH_CLOSE, kernel) return mask3.2 数据增强策略
针对农业图像特点设计专用增强方案：
- 自然干扰模拟：添加水滴、泥土、叶片遮挡等合成噪声
- 光照变化模拟：随机调整gamma值(0.7-1.5范围)
- 几何变换：限制在合理范围内旋转(±30°)和缩放(0.8-1.2x)
- 色彩抖动：在HSV空间随机微调色相(±10°)和饱和度(±20%)
重要提示：避免过度增强导致失真，特别是生长点位置必须保持几何一致性
4. YOLO格式适配优化
4.1 标注文件转换
将多层级标注转换为YOLO格式时需要特殊处理：
- 对于分级标签，使用嵌套目录结构：
dataset/ ├── stage_1/ # 生长阶段 ├── ripeness/ # 成熟度 └── keypoints/ # 生长点 - 坐标归一化时保留4位小数精度
- 对遮挡情况标注visibility标志位
4.2 配置文件设计
优化YOLO模型训练的data.yaml配置：
# 多任务配置示例 path: ../dataset train: images/train val: images/val # 多任务头配置 names: 0: 'flowering' 1: 'green_fruit' 2: 'color_changing' 3: 'mature' ripeness_names: 0: 'unripe' 1: 'half_ripe' 2: 'fully_ripe' keypoints: - 'growth_point' - 'calyx'5. 模型训练与调优
5.1 骨干网络选型
对比测试显示不同架构的表现差异：
| 模型 | 参数量 | mAP@0.5 | 推理速度(FPS) | 适用场景 |
|---|---|---|---|---|
| YOLOv8n | 3.2M | 0.78 | 120 | 嵌入式设备 |
| YOLOv8s | 11.4M | 0.85 | 85 | 边缘计算 |
| YOLOv8m | 26.3M | 0.88 | 45 | 服务器部署 |
| YOLO-NAS | 12.7M | 0.89 | 92 | 高性能需求 |
5.2 关键训练技巧
分层学习率策略：
# 骨干网络使用较低学习率 optimizer = SGD([ {'params': model.backbone.parameters(), 'lr': 0.001}, {'params': model.head.parameters(), 'lr': 0.01} ], momentum=0.9)多任务损失平衡：
# 自定义损失权重 loss_weights = { 'class': 1.0, 'ripeness': 0.8, 'keypoints': 1.2 }早停策略：当验证集mAP连续3个epoch不提升时终止训练
6. 部署应用方案
6.1 嵌入式部署优化
针对Jetson系列设备的优化要点：
- 使用TensorRT加速：
trtexec --onnx=yolov8s.onnx --fp16 --saveEngine=yolov8s.engine - 输入输出层使用INT8量化
- 启用DLA核心加速预处理
6.2 农业云平台集成
典型数据处理流水线设计：
摄像头采集 → 边缘设备初筛 → 云端聚合分析 → 决策系统关键性能指标要求：
- 端到端延迟 < 500ms
- 多云环境下传输带宽 < 2Mbps/路
- 支持断网续传
7. 常见问题解决方案
7.1 标注相关问题
问题1：重叠果实如何标注？解决方案：采用以下优先级：
- 完全可见果实优先
- 按成熟度从高到低标注
- 添加occlusion标签
问题2：颜色相近的未熟与病害如何区分？解决方案：结合纹理特征标注：
- 病害区域：添加不规则形状标注
- 未熟果实：保持光滑轮廓标注
7.2 模型训练问题
问题：小目标识别效果差改进方案：
- 使用SPD-Conv替换常规卷积
- 添加微小目标检测头
- 采用聚焦损失函数：
loss = FocalLoss(gamma=2.0, alpha=[0.2, 0.3, 0.5])
8. 数据集扩展方向
- 多光谱数据融合：增加近红外通道
- 时序数据采集：固定点位连续拍摄
- 病害联合标注：与成熟度标签共存
- 3D点云补充：采用RGB-D相机采集
实际部署中发现，在早晨露水环境下，添加红外波段数据可将识别准确率提升12%。建议后续采集时同步记录环境温湿度数据，这对模型鲁棒性提升有显著帮助。