当前位置： 首页 > news >正文

无人船视角下的环保AI：手把手教你用FloW数据集训练一个水面保洁‘侦察兵’

news 2026/5/27 5:39:03

无人船视角下的环保AI：手把手教你用FloW数据集训练一个水面保洁‘侦察兵’

清晨的阳光洒在湖面上，微风拂过泛起粼粼波光。在这看似宁静的水面之下，却隐藏着一个日益严重的环境问题——漂浮垃圾。传统的清洁方式往往需要大量人力物力，而今天，我们将探索如何利用AI技术，让无人船成为水面的"侦察兵"，自动识别并清理这些垃圾。

这个项目特别适合对AI环保应用感兴趣的创客、学生和小型环保科技团队。我们将从零开始，构建一个能够识别8类常见漂浮物的轻量级检测模型，并探讨如何将其部署到边缘设备上，最终融入整个智能清理系统的工作流。

1. 数据准备：构建水面垃圾检测的基础

训练一个优秀的AI模型，首先需要高质量的数据集。在水面垃圾检测这个特定领域，我们有两个关键数据集可供使用：FloW数据集和水面垃圾检测数据集。

FloW数据集是全球首个无人船视角的水面漂浮垃圾检测数据集，包含2000张图像和5271个标记目标。特别值得注意的是，其中一半以上是小目标（面积小于32×32像素），这非常符合实际水面垃圾检测的场景。不过它只包含"bottle"这一个类别。

水面垃圾检测数据集则更加丰富，包含2400张图像和8个类别：

  • bottle（瓶子）
  • branch（树枝）
  • milk-box（牛奶盒）
  • plastic-bag（塑料袋）
  • grass（草）
  • plastic-garbage（塑料垃圾）
  • ball（球）
  • leaf（树叶）

为了获得更好的训练效果，我们可以将这两个数据集合并，得到4400张图像，类别保持8个。这样做的好处是：

  1. 增加了数据多样性
  2. 保持了类别平衡
  3. 提供了更多小目标的样本

数据集格式方面，两者都提供了VOC格式的XML文件和COCO格式的JSON文件，方便不同框架的使用。以下是数据集的划分建议：

数据集训练集验证集测试集总数量
FloW1200-8002000
水面垃圾14414804792400
合并后26418808794400

提示：在实际项目中，建议保留约20%的数据作为测试集，用于最终评估模型在真实场景中的表现。

2. 模型选择与训练：打造轻量级水面侦察兵

对于水面垃圾检测这种需要在边缘设备上运行的场景，我们需要在准确率和模型大小之间找到平衡。以下是几种适合的轻量级目标检测模型：

  1. YOLOv5s：YOLO系列的最新版本，速度和精度平衡良好
  2. SSD-MobileNet：基于MobileNet的轻量级检测器
  3. EfficientDet-D0：谷歌推出的高效检测模型
  4. NanoDet：专为边缘设备优化的超轻量级检测器

这里我们以YOLOv5s为例，展示如何训练我们的水面垃圾检测模型。首先需要准备环境：

# 创建conda环境 conda create -n water_detection python=3.8 conda activate water_detection # 安装依赖 pip install torch==1.10.0+cu113 torchvision==0.11.1+cu113 -f https://download.pytorch.org/whl/cu113/torch_stable.html pip install opencv-python matplotlib tqdm pandas seaborn # 克隆YOLOv5仓库 git clone https://github.com/ultralytics/yolov5 cd yolov5 pip install -r requirements.txt

接下来是数据准备。我们需要将数据集转换为YOLO格式，可以使用以下Python脚本：

import os import json from PIL import Image import xml.etree.ElementTree as ET def convert_coco_to_yolo(json_path, output_dir): # 实现COCO转YOLO格式的逻辑 pass def convert_voc_to_yolo(xml_path, output_dir): # 实现VOC转YOLO格式的逻辑 pass # 对每个数据集执行转换 datasets = ['flow', 'water_trash'] for dataset in datasets: convert_coco_to_yolo(f'{dataset}/annotations.json', f'yolo/{dataset}') for xml_file in os.listdir(f'{dataset}/annotations'): convert_voc_to_yolo(f'{dataset}/annotations/{xml_file}', f'yolo/{dataset}')

训练命令如下：

python train.py --img 640 --batch 16 --epochs 100 --data water_trash.yaml --cfg models/yolov5s.yaml --weights yolov5s.pt --name water_detection

训练过程中需要注意的几个关键点：

  • 由于水面垃圾多为小目标，可以适当减小anchor size
  • 数据增强策略要合理，特别是针对水面反光、波纹等特性
  • 学习率需要根据batch size调整
  • 早停机制可以防止过拟合

训练完成后，我们可以使用验证集评估模型性能：

python val.py --weights runs/train/water_detection/weights/best.pt --data water_trash.yaml --img 640

3. 模型优化：应对水面检测的特殊挑战

水面环境给目标检测带来了独特的挑战，我们需要针对这些情况进行专门的优化：

3.1 处理水面反光问题

水面强烈的反光会严重影响检测效果。我们可以采取以下措施：

  1. 数据增强：添加模拟水面反光的增强策略
  2. 预处理：使用CLAHE等算法增强图像对比度
  3. 注意力机制：在模型中引入CBAM等注意力模块

3.2 小目标检测优化

水面垃圾往往是小目标，我们可以：

  • 使用更高分辨率的输入（如从640×640提升到1024×1024）
  • 添加专门的小目标检测层
  • 采用特征金字塔网络(FPN)增强小目标特征

3.3 处理动态波纹干扰

水面的波纹会导致目标形状不断变化，解决方法包括：

  1. 在数据集中包含不同波纹条件下的样本
  2. 使用时序信息，结合视频帧间关系
  3. 使用更鲁棒的特征提取器

以下是一个优化后的模型配置示例：

# models/yolov5s_water.yaml nc: 8 # 类别数 depth_multiple: 0.33 width_multiple: 0.50 anchors: - [5,6, 8,14, 15,11] # 更小的anchor适合小目标 - [10,13, 16,30, 33,23] - [30,61, 62,45, 59,119] - [116,90, 156,198, 373,326] backbone: [[-1, 1, Focus, [64, 3]], [-1, 1, Conv, [128, 3, 2]], [-1, 3, C3, [128]], [-1, 1, Conv, [256, 3, 2]], [-1, 9, C3, [256]], [-1, 1, Conv, [512, 3, 2]], [-1, 9, C3, [512]], [-1, 1, Conv, [1024, 3, 2]], [-1, 1, SPP, [1024, [5, 9, 13]]], [-1, 3, C3, [1024, False]], [-1, 1, CBAM, [1024]], # 添加注意力模块 ] head: [[-1, 1, Conv, [512, 1, 1]], [-1, 1, nn.Upsample, [None, 2, 'nearest']], [[-1, 6], 1, Concat, [1]], [-1, 3, C3, [512, False]], [-1, 1, Conv, [256, 1, 1]], [-1, 1, nn.Upsample, [None, 2, 'nearest']], [[-1, 4], 1, Concat, [1]], [-1, 3, C3, [256, False]], [-1, 1, Conv, [256, 3, 2]], [[-1, 14], 1, Concat, [1]], [-1, 3, C3, [512, False]], [-1, 1, Conv, [512, 3, 2]], [[-1, 10], 1, Concat, [1]], [-1, 3, C3, [1024, False]], [[17, 20, 23], 1, Detect, [nc, anchors]], ]

4. 边缘部署：让AI侦察兵真正上岗

训练好的模型需要部署到边缘设备上才能在实际场景中发挥作用。我们以Jetson Nano为例，介绍部署流程：

4.1 模型转换与优化

首先将PyTorch模型转换为TensorRT格式：

import torch from torch2trt import torch2trt model = torch.load('best.pt')['model'].float() model.eval() x = torch.ones((1, 3, 640, 640)).cuda() model_trt = torch2trt(model, [x], fp16_mode=True) torch.save(model_trt.state_dict(), 'best_trt.pth')

4.2 Jetson Nano环境配置

在Jetson Nano上需要安装必要的依赖：

sudo apt-get update sudo apt-get install python3-pip libopenblas-base libopenmpi-dev pip3 install numpy==1.19.4 torch-1.8.0-cp36-cp36m-linux_aarch64.whl pip3 install torchvision==0.9.0 -f https://download.pytorch.org/whl/torch_stable.html

4.3 实时检测程序开发

下面是一个简单的实时检测脚本框架：

import cv2 import torch import numpy as np from utils.general import non_max_suppression # 加载模型 model = torch.load('best_trt.pth').cuda() # 摄像头初始化 cap = cv2.VideoCapture(0) cap.set(cv2.CAP_PROP_FRAME_WIDTH, 1280) cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 720) while True: ret, frame = cap.read() if not ret: break # 预处理 img = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) img = cv2.resize(img, (640, 640)) img = img.transpose(2, 0, 1) img = torch.from_numpy(img).float().div(255.0).unsqueeze(0).cuda() # 推理 pred = model(img)[0] pred = non_max_suppression(pred, 0.4, 0.5) # 后处理与显示 for det in pred: if det is not None and len(det): for *xyxy, conf, cls in det: label = f'{names[int(cls)]} {conf:.2f}' plot_one_box(xyxy, frame, label=label) cv2.imshow('Water Trash Detection', frame) if cv2.waitKey(1) == ord('q'): break cap.release() cv2.destroyAllWindows()

4.4 系统集成与工作流设计

完整的无人船保洁系统工作流程如下：

  1. 无人船巡航，摄像头实时采集水面图像
  2. 边缘设备运行检测模型，识别垃圾位置
  3. 根据检测结果规划清理路径
  4. 机械臂或收集装置执行清理操作
  5. 记录清理数据，用于后续分析和优化

在实际部署中，我们还需要考虑：

  • 电源管理和续航优化
  • 通信模块的稳定性
  • 异常情况处理机制
  • 系统监控和远程管理

注意：边缘部署时，模型的输入分辨率需要根据设备性能进行调整。在Jetson Nano上，640×640的分辨率通常能在保持较好性能的同时达到接近实时的检测速度。

http://www.jsqmd.com/news/570665/

相关文章：

  • Hunyuan-MT-7B镜像免配置：Pixel Language Portal在阿里云ACK上的Helm Chart一键部署
  • Qwen3.5-9B代码生成效果：LeetCode中等题自动解题+时间复杂度分析
  • CF1249D2 Too Many Segments (hard version)
  • 告别命令行！用这个开源GUI工具5分钟上手ChromaDB向量数据库
  • 手把手教你用threestudio从零生成3D模型（附避坑指南）
  • 深入理解Java AQS：抽象队列同步器的核心原理与实战指南
  • CLAP音频分类镜像实战案例：无障碍APP环境音提示功能开发
  • 从零到百：我们如何用自研MCP平台管理公司500+台MySQL实例的？
  • 无需手动下载jdk1.8，快马平台5分钟搭建spring boot应用原型
  • 如何通过AtlasOS实现Windows系统性能提升与隐私保护：从游戏加速到日常办公的全面优化指南
  • Python EXE逆向解密完全指南：从二进制分析到源码还原的3大核心技术
  • AgentCPM实战：产品经理如何快速生成竞品分析报告
  • Vmware系列虚拟机系列【仅供参考】：解决 VMware 嵌套虚拟化提示 关闭“侧通道缓解“
  • Step3-VL-10B多模态教程：processing_step3.py图像预处理流程详解
  • Pwndbg调试器实战指南：5大核心场景下的高效调试配置策略
  • WS2812灯光效果库完全指南：从零开始创建专业级LED灯光秀
  • rrweb开源项目集成：企业级网页录制回放完整指南
  • Appium vs Selenium元素定位实战对比：用同一款APP演示5种定位策略
  • 丹青识画惊艳效果展示：同一张照片生成5种意境题跋对比
  • 3DGS渲染高光效果总是一团糊？试试浙大团队这个Deferred Reflection新方案（附保姆级复现思路）
  • 【Ware】OBS Studio显示器捕获黑屏的终极排查指南
  • K8s定时任务实战：如何用CronJob每分钟输出Hello World（附表达式详解）
  • 艾倍生七星创客模式系统开发
  • LA-PEG-SCM，硫辛酸PEG琥珀酰亚胺乙酸酯，一种新型异双功能PEG衍生物
  • 技术民主化：OpCore-Simplify让黑苹果配置零门槛实现
  • 新手福音：借鉴Cursor理念，用快马平台零基础构建待办事项应用
  • Dramatron：AI协同创作革命，5步解锁专业剧本创作新范式
  • 财务三大表是什么？5分钟，带你看懂财务三大表！
  • 保姆级教程：手把手教你搞定Carsim2019安装与破解（附常见报错解决方案）
  • 告别驱动冲突！手把手教你清理Windows老旧驱动，顺利开启内存完整性保护