基于双目视觉与YOLOv11-pose的河蟹智能质量估测方法
1. 项目背景与核心挑战
河蟹养殖产业正面临从传统人工管理向智能化转型的关键时期。在水产养殖过程中，准确评估河蟹质量对分级销售、饲料投喂和生长监测具有重要意义。传统的人工称重方法存在效率低下、易造成蟹体损伤等问题，而现有的水下三维重建技术又难以应对水体浑浊、光线散射等复杂环境下的关键点定位难题。
郭亚教授团队提出的这套方法，创新性地将双目视觉与改进的YOLOv11-pose算法相结合。双目视觉系统通过模拟人眼视差原理，能够获取水下场景的深度信息；而改进后的YOLOv11-pose算法则专门针对水下环境优化，解决了传统算法在浑浊水体中特征提取不准确的痛点。这种组合方案在保证非接触式测量的同时，将质量估测的平均绝对百分比误差(MAPE)控制在7.1%以内。
2. 技术架构解析
2.1 双目视觉系统设计
系统采用基线距离为120mm的工业级双目相机，配备490nm波段蓝绿滤光片，有效抑制水体对光线的吸收和散射。相机以30°夹角安装在水下防护罩内，采样频率设置为15fps。通过张正友标定法进行立体校正后，视差计算精度达到0.1像素级别。
关键参数选择依据：蓝绿光在清水中的穿透距离可达5-7米，远优于其他波段；15fps的采样率既能捕捉河蟹运动轨迹，又避免产生运动模糊。
2.2 YOLOv11-pose改进方案
在原始YOLOv11基础上，团队进行了三项核心改进：
- 特征提取优化：将MBConv模块与EffectiveSE注意力机制融合，构建新的C3K2_EMBC特征提取模块。实测表明，该模块在浑浊水体中的特征提取mAP提升12.6%
- 动态特征融合：引入空间动态特征融合机制(SDFM)，通过可学习权重自动调整不同尺度特征的融合比例
- 关键点检测头改进：采用分层反向传播网络(HBPN)，将传统的全局匹配改为局部区域匹配，关键点检测mAP50达到96.7%
3. 质量估测算法实现
3.1 三维参数测量流程
- 目标检测：改进YOLOv11检测河蟹位置，置信度阈值设为0.7
- 关键点定位：识别蟹壳12个生物特征点（如图1所示）
- 立体匹配：采用SGM算法计算视差图，结合标定参数转换为三维坐标
- 尺寸计算：通过特征点间距计算蟹壳长、宽、高等参数
# 三维坐标计算示例代码 def calculate_3d_coord(left_pt, right_pt, Q_matrix): disparity = left_pt[0] - right_pt[0] homogenous_pt = np.dot(Q_matrix, np.array([left_pt[0], left_pt[1], disparity, 1])) return homogenous_pt[:3]/homogenous_pt[3]3.2 质量回归模型
建立双层反向传播神经网络(BPNN)，输入层包含：
- 蟹壳长度(L)
- 蟹壳宽度(W)
- 长宽比(L/W)
- 性别特征(通过腹脐形状识别)
网络结构为12-8-1，采用LeakyReLU激活函数，损失函数选用Huber Loss。在5000组样本上的测试结果显示，模型MAPE为7.1%，优于传统体积法(12.3%)和单目视觉法(9.8%)。
4. 系统部署与实测数据
4.1 硬件部署方案
- 水下单元：IP68防护等级，最大工作深度3米
- 照明系统：450nm LED阵列，功率可调范围5-15W
- 计算单元：Jetson AGX Orin，整机功耗<25W
4.2 性能指标对比
| 指标 | 本方法 | 传统人工 | 单目视觉 |
|---|---|---|---|
| 测量误差(MAPE) | 7.1% | 5.2% | 9.8% |
| 测量速度(只/分钟) | 28 | 6 | 15 |
| 蟹体损伤率 | 0% | 3.2% | 0% |
5. 关键技术突破与创新点
5.1 水下环境适应性改进
针对水体浑浊问题，提出基于物理模型的数据增强方法：
- 在训练数据中模拟不同浑浊度(0-100NTU)的光学特性
- 加入随机气泡噪声模拟
- 采用CycleGAN进行域适应训练
5.2 实时性优化
通过TensorRT加速，使推理时间从原始模型的45ms降低到18ms。关键优化包括：
- 层融合(Conv+BN+ReLU)
- FP16精度量化
- 动态批处理
6. 实际应用中的注意事项
- 光照控制：避免直射光造成镜面反射，建议采用漫反射照明
- 水体维护：保持浊度<50NTU，定期清理镜头防护罩
- 标定验证：每周进行一次立体标定验证，温差超过5℃时需重新标定
- 异常处理：当连续3帧检测置信度<0.5时，自动触发清洗程序
7. 未来改进方向
- 多模态融合：考虑加入声呐数据辅助定位
- 自清洁设计：研发超声波自动清洁装置
- 群体行为分析：扩展至群体密度评估功能
- 边缘计算优化：探索模型蒸馏技术，适配更低功耗设备
这套系统在实际养殖场连续6个月的测试中，累计检测超过5万只河蟹，平均每日减少人工称重时间4小时，降低蟹体损伤率至0.2%以下。特别是在夜间监测场景中，通过红外辅助照明仍能保持85%以上的检测准确率。