当前位置：首页 > news >正文

别再只用公开数据集了！我是如何用Python爬虫+手机拍摄，攒出1176张农作物杂草图的

news 2026/4/20 13:00:37

从零构建农作物杂草检测数据集：爬虫、拍摄与标注实战指南

1. 数据采集：突破公开数据集的局限

公开数据集往往难以满足特定场景需求。去年我在开发一个水稻田杂草识别系统时，发现现有公开数据集中杂草种类与本地农田差异巨大。于是决定自己动手构建数据集——最终整合了1176张高质量图像，涵盖8种常见杂草和3种主粮作物。

多源数据采集策略：

定向爬虫抓取：使用selenium模拟人类浏览行为，从农业科研图库中获取专业图像

from selenium import webdriver from bs4 import BeautifulSoup driver = webdriver.Chrome() driver.get("https://example-agri-database.org") soup = BeautifulSoup(driver.page_source, 'html.parser') img_tags = soup.find_all('img', class_='crop-weed')

移动端拍摄技巧：
- 选择上午9-11点光线柔和时段拍摄
- 手机开启专业模式，固定ISO在100-200
- 对焦时点击屏幕上的杂草主体
- 每株植物从顶部、侧面各拍3张不同角度
开源数据筛选：从PlantVillage等开源库中筛选符合要求的图像，注意检查授权协议

关键提示：建立采集日志记录每张图片的GPS坐标、拍摄时间和设备型号，这些元数据在后期的数据增强阶段非常有用

2. 数据清洗：打造高质量图像库

原始图像中存在30%的无效数据需要清理。我们开发了一套自动化清洗流程：

质量评估指标：

指标	阈值要求	检测方法
清晰度	>0.8 (Laplacian)	OpenCV方差滤波
分辨率	≥1024x768	PIL.Image.size
目标占比	≥15%画面面积	标注后计算bounding box
光照均匀度	直方图标准差<50	cv2.calcHist

def check_image_quality(img_path): img = cv2.imread(img_path) gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # 计算清晰度 fm = cv2.Laplacian(gray, cv2.CV_64F).var() # 计算光照均匀度 hist = cv2.calcHist([gray],[0],None,[256],[0,256]) std_dev = np.std(hist) return fm > 0.8 and std_dev < 50

常见清洗问题解决方案：

模糊图像：使用超分辨率模型ESRGAN提升画质
遮挡问题：通过CutMix数据增强生成部分遮挡样本
类间差异小：添加HSV色彩空间增强突显植物纹理特征

3. 智能标注：提升效率的关键技巧

传统人工标注1176张图像需要约80工时。通过半自动流程，我们将时间缩短到20小时：

标注工具对比：

工具	优点	缺点	适用场景
LabelImg	界面简单，支持VOC格式	无自动预标注功能	小规模精确标注
CVAT	支持视频标注	部署复杂	连续帧标注任务
Prodigy	主动学习降低标注量	商业软件价格高	迭代式标注流程

我们的半自动标注流程：

使用预训练YOLOv5模型生成初始标注
人工修正明显错误标注（约30%需要修改）
对争议样本进行多人交叉验证
最后用LabelStudio进行质量审查

# 使用YOLOv5生成预标注 python detect.py --weights yolov5s.pt --source ./raw_images/ --save-txt

经验分享：杂草与作物幼苗最难区分时，我们邀请农学专家参与制定了21条视觉判别规则，将标注一致率从68%提升到93%

4. 数据增强：小样本的逆袭策略

初始数据集仅1176张图像，通过智能增强扩展到9408张训练样本：

物理仿真增强方法：

光照模拟：根据拍摄时间生成不同色温版本
土壤背景合成：使用GAN生成不同质地农田背景
天气效果：添加雨滴、雾化等特效

代码实现示例：

from albumentations import ( RandomRain, RandomShadow, RandomSunFlare ) transform = A.Compose([ A.RandomRotate90(), A.RandomShadow(shadow_roi=(0, 0.5, 1, 1)), A.RandomSunFlare(src_radius=100), A.RandomRain(drop_length=20) ]) augmented = transform(image=img)['image']

增强效果评估：在YOLOv5m模型上测试表明，合理的数据增强可以使mAP@0.5提升17.2%，特别是对少样本类别效果显著：

类别	原始数据mAP	增强后mAP	提升幅度
稗草	0.58	0.73	+25.8%
狗尾草	0.62	0.75	+20.9%
水稻	0.81	0.84	+3.7%

5. 格式转换与版本管理

实际项目中需要同时支持YOLO和Pascal VOC格式。我们开发了自动化转换工具：

目录结构设计：

dataset/ ├── raw/ # 原始图像 ├── annotations/ # 统一标注存储 │ ├── yolo/ # YOLO格式 │ └── voc/ # VOC格式 ├── augmented/ # 增强后数据 └── dataset_version.json # 版本元数据

格式转换代码：

def yolo_to_voc(yolo_bbox, img_w, img_h): x_center, y_center, w, h = yolo_bbox xmin = int((x_center - w/2) * img_w) xmax = int((x_center + w/2) * img_w) ymin = int((y_center - h/2) * img_h) ymax = int((y_center + h/2) * img_h) return [xmin, ymin, xmax, ymax]

版本控制策略：