无人机RGBT双模态小目标行人检测：数据集+YOLOv8融合方案

无人机RGBT双模态小目标行人检测：数据集+YOLOv8融合方案

概述g

针对无人机低空安防、应急搜救等场景中小目标行人检测难、夜间/弱光鲁棒性差的问题，本文开源DroneRGBT-Pedestrian数据集，并提供基于YOLOv8的RGBT双模态融合检测方案，支持快速训练与部署，适配全天候复杂环境。

📊 数据集核心亮点（DroneRGBT-Pedestrian）

• ✅采集规格：无人机50–80m高度、45°–60°俯视角，搭载RGBT双光相机同步采集
• ✅数据规模：6,125对RGB-红外图像（4,900train/1,225test），分辨率640×512，含70,880个行人实例
• ✅目标特性：以＜32×32像素小目标为主，涵盖遮挡、密集、夜间/低照度场景，RGB与红外像素级对齐
• ✅标注兼容：支持YOLO/COCO/VOC格式，适配主流检测模型
• ✅适用场景：低空安防、应急搜救、智慧城市、边境巡检、夜间监控

🚀 技术方案（YOLOv8早期融合，无代码实现）

1. 双模态融合策略

采用早期融合：将RGB（3通道）与红外（1通道）拼接为4通道输入，保留双模态原始信息，适配YOLOv8输入结构。

2. 模型适配与训练

• 自定义YOLOv8s架构，首层卷积自动适配4通道输入
• 重写数据加载器，支持4通道.npy文件读取，匹配YOLO标签格式
• 训练配置：imgsz=512、batch=16、epochs=100，单GPU即可运行

3. 推理与部署

• 输入单对RGB-红外图像，拼接为4通道后模型推理，结果叠加至RGB图可视化
• 部署选项：科研用.npy格式，工程用4通道TIFF/PNG，加速可导出ONNX转TensorRT

💡 核心价值

• 提供首个无人机RGBT小目标行人检测基准数据集，填补领域空白
• 给出开箱即用的YOLOv8融合方案，低成本实现双模态互补，显著提升夜间/弱光检测精度
• 支持多模态融合研究、跨模态对齐与迁移学习，为无人机全天候感知提供技术支撑
  
  
  

文章标签

#无人机目标检测 #RGBT双模态 #小目标检测 #YOLOv8 #红外可见光融合 #低空安防 #应急搜救