基于「YOLO目标检测 + 多模态AI分析」的热轧钢带表面缺陷检测分析系统
一、项目演示视频
b站演示视频与部署教程视频(点击这里)
https://www.bilibili.com/video/BV1sowRzSEVL/?share_source=copy_web&vd_source=31c839f46a9a845dd6dd641cbd5c2ac1
二、技术栈
前端技术栈 (web-vue)
核心框架: Vue 3.5.13 (Composition API)
UI组件库: Element Plus 2.9.4
状态管理: Pinia 2.3.1
路由管理: Vue Router 4.5.0
HTTP客户端: Axios 1.7.9
图表可视化: ECharts 5.6.0
构建工具: Vite 6.1.0 + TypeScript 5.7.2后端+算法端技术栈 (web-flask)
核心框架: Flask (Python)
数据库: SQLite 3
身份认证: JWT
图像处理: OpenCV + NumPy
深度学习: YOLOv8/YOLO11/YOLO12/YOLO26
视频处理: OpenCV视频流处理
大语言模型: Qwen-VL的API接口
三、功能模块
核心创新点
- 缺陷精准检测: 支持热轧钢带表面缺陷的智能识别和定位
- 多模态检测方式: 支持图片、视频、实时摄像头三种检测模式
- YOLO模型集成: 集成YOLOv8/YOLO11/YOLO12/YOLO26等先进目标检测模型
- 智能检测分析: 基于 AI 的钢带表面缺陷自动识别、定位与统计分析
- 分层权限管理: 支持管理员和普通用户的差异化功能访问
- 完整工作流程: 从数据集管理到模型管理再到缺陷检测与评估的完整闭环
- 多模态大模型辅助分析: 使用多模态大模型根据YOLO检测识别结果和图片进一步分析并给出合理治理建议(属于图片识别功能模块)
- 模型评估系统: 支持上传YOLO格式标签与模型预测对比，自动计算Precision、Recall、mAP50等精度指标，生成GT框与预测框的可视化对比图，支持用户评分和评语
核心功能模块
- 用户管理: 支持用户注册、登录、权限管理、个人信息管理等功能
- 数据集管理: 支持上传ZIP格式YOLO数据集，自动验证数据集结构和完整性
- 模型管理: 支持创建模型、上传权重、训练过程图片/文件管理、模型发布等
- 图片检测: 上传钢带表面图片进行缺陷检测，支持CLAHE图像增强、多模态AI分析、治理/工艺改进建议生成、导出Word报告
- 视频检测: 上传视频进行逐帧检测，支持帧率采样、异步处理、进度查询、关键帧截图
- 实时检测: 使用电脑摄像头进行实时检测，支持yolo目标跟踪、会话管理、检测记录保存
- 模型评估: 上传图片和标签文件评估模型性能，支持精度指标计算、可视化对比、用户评分筛选
应用场景
- 钢带表面质量检测: 生产线离线/在线抽检钢带表面缺陷
- 工艺优化与设备维护: 通过缺陷分布与类型分析反推可能的工艺与设备问题
- 质量追溯: 结合检测记录与批次信息，支持质量问题追溯与复盘
- 教学与实验: 钢铁表面缺陷检测与工业视觉课程/实验演示
四、项目链接
链接: https://pan.baidu.com/s/1zwrKATDwuga4-mjLa_4Gpg?pwd=i2fy 提取码: i2fy
- 完整系统源码
(1)前端源码(web-vue)
(2)后端+算法端源码(web-flask)
(3)模型训练代码(other/model_train/detect) - 项目介绍文档
(1)项目概述
(2)项目技术栈
(3)项目目录结构
(4)系统架构图、功能模块图
(5)数据库开发文档 - 项目启动教程
(1)环境安装教程(视频+文档)
(2)系统启动教程(视频+文档) - 热轧钢带表面缺陷检测数据集
(1)总样本数：6116 张热轧钢带表面图片
(2)训练集：5756 张图片 (用于模型训练)
(3)验证集：180 张图片 (用于模型验证和性能调优)
(4)测试集：180 张图片 (用于模型最终性能评估)
(5)检测类别: 6 类钢带表面缺陷检测
0: crazing - 裂纹 (Crazing)
1: inclusion - 夹杂 (Inclusion)
2: patches - 斑块 (Patches)
3: pitted_surface - 麻点 (Pitted Surface)
4: rolled-in_scale - 轧入氧化皮 (Rolled-in Scale)
5: scratches - 划伤 (Scratches) - 已经训练好的模型权重，整体精度如下（基于上述测试集评估）：
(1)precision (精确率): 0.749
(2)recall (召回率): 0.628
(3)mAP50 (IoU阈值0.5时的平均精度): 0.702
(4)mAP50-95 (IoU阈值0.5-0.95的平均精度): 0.363