当前位置: 首页 > news >正文

模型训练整体流程

1.1 环境安装

项目=模型的源码以及模型+python以及一堆包,比如YOLO项目=YOLO源码+python以及相关的包

安装模型环境:1、创建模型环境 2、安装pytorch 3、安装其他包

下载好的模型要放在源码里面

项目特别多的情况下就需要管理环境,可以用anaconda来管理环境,pycharm则是用来提供一个界面

anaconda prompt则是用来提供安装各种包的环境,它的相关命令如下:

每一个环境都需要重新安装pytorch,pytorch的网址为pytorch.org,选择一个合适的版本

pytorch下载好之后,输入一些指令以验证是否安装成功:

安装其他包,根据从github下载的模型源码来下载其他包

首先找到你的源码安装路径

pushd 安装路径 回车 pip install -e . 回车 开始安装所有需要迭代包

1.2 推理入门

学习ai就是学习如何解决推理和训练过程中遇到的各种问题

1.2.1 对模型的初步认识

1、模型的任务类型 以yolo为例:from ultralytics import YOLO model = YOLO(r"yolo11n-cls.pt") print(model.task) 这样就可以通过代码知道模型的任务类型 2、模型可预测的类型 print(model.names) 这样就可以知道可预测的物品类型 3、模型的大小 print(sum(p.numel() for p in model.parameters())) 用来看模型的参数数量,数量越多,训练越准确,同时所花费的训练时间也越久

1.3 训练入门

什么是数据集?

通常会把图片和标签进行划分,划分为训练集+验证集,比如7:3或8:2

先用训练集训练模型以更新参数,再用验证集验证模型是否好用

所以每训练一轮都是训练+验证

测试集可有可无,在训练过程中用不到,但是在训练结束后可以用来评价模型

准备训练集和验证集

准备数据集文件夹:

1、包含图片和标签的数据集本身,目录结构需要符合一定的要求 2、数据集配置文件,以.yaml为后缀,不是所有模型都需要。作用:告诉模型训练集/验证集的图片/标签分别在哪个文件夹

如何让训练跑得更快

两个高效率训练得典型特征:

1、cuda的利用率又高又稳 2、所有资源得利用率都不到100%

1、图片尺寸越小,训练越快,但是有训练上限;并且会导致训练效果下降

2、每次从所有图片中拿出的一些图片就叫做一个批次(batch),一个批次中图片的数量就叫批量(batch size),每一轮训练就是给模型喂一个又一个的批次,喂一次批次,模型更新一次参数

硬件会影响batch的大小,所以选择合适的batch很重要,太大硬件不够用,太小时间比较长

3、cache是缓存,如果让cache=“ram”,就是指在训练前将所有的图片都放到内存里,这样在训练时就不需要涉及原图,但是前提是内存得足够大,但是不是所有的模型都有cache

数据集

数据增强:将一张图片随机缩放,随机旋转,随机调色和中间裁剪,可以得到多个图片,这就是数据增强

数据集如何获取?

1、数据集网址

2、自己制作数据集,拍摄视频,用python脚本来抽帧;

制作labels标签

3、数据集划分,训练集和验证集按照7:3或8:2的比例划分,可以通过python脚本来划分(注意是随机提取)

可以直接写一个split.py 提示词:我现在需要一些python代码随机划分一下数据集,images文件夹里存放.jpg文件,labels文件 夹里存放.txt标签文件,划分结果统一保存到kunkun文件夹里,用这样的目录结构:

kunkun\

images\ train\ val\ test\ labels\ train\ val\ test\

划分比例设置成可以调整的参数,只复制粘贴文件,不要乱动原本的图片和标签,不要用sklearn这个包,划分的时候要用进度条提示一下进度,注释写清楚一点,我是python小白

模型评价

TP是匹配成功的预测结果,FP是匹配失败的预测结果,FN是匹配失败的真实结果

精确率§ = TP/(TP+FP) = 正确预测/预测总数

召回率® = TP/(TP+FN) = 正确预测/真实总数,召回率是指许多正确结果都被找到了

F1分数(F1 score) = 2×P×R/(P+R)

三个指标都是越接近1越好

PR曲线:当P曲线和R曲线都十分优秀的时候,PR曲线也会十分优秀,AP(平均精度)也会越接近1;PR曲线靠外,AP高的潜台词是能找到一个conf(置信度)使得P和R都很高,具体在哪不知道,只能通过观察P曲线和R曲线来分析

mAP(平均平均精度)

http://www.jsqmd.com/news/773092/

相关文章:

  • 从 Rolldown 到 Oxc:前端工具链正在全面 Rust 化
  • AISMM不是标准,是手术刀:SITS2026案例揭示——精准切掉3类“伪敏捷”技术惯性,72小时启动真转型
  • 跨境小店SEO优化实操:自然流量破局与转化提升策略
  • 从0带你了解一名黑客在江湖里的要掌握的所有技能!
  • ChanlunX:3步搞定通达信缠论分析,告别手工绘图烦恼
  • Ubuntu 图形会话完全指南:从 X11 到 Wayland
  • C语言学习笔记 - 26.C编程预备计算机专业知识 - 15~25关键内容回顾
  • 推荐聚乙烯保温钢管找哪个厂家
  • 【限时解密】2026奇点大会AISMM闭门报告节选:全球AISMM相关专利年增率飙升214%,你的团队还缺这3类核心专利
  • 3个实战场景掌握AI Toolkit:从模型选择到云端部署的完整路径
  • Transformer与近内存计算融合:DANMP架构解析
  • 生物黑客法庭辩护:当代码逻辑遭遇生命逻辑,软件测试从业者的新战场
  • ncmdumpGUI终极指南:3步解锁网易云NCM文件,实现音乐播放自由
  • MAA明日方舟自动化工具:3分钟快速上手指南,彻底告别重复操作
  • 从混沌到可控:AISMM模型驱动的运营效率提升实战图谱(含12个真实客户ROI测算模型与避坑清单)
  • 互联网大厂 Java 求职面试:微服务与安全框架的挑战
  • 如何用免费开源软件FanControl彻底解决电脑风扇噪音问题
  • 2026.5.7
  • 3分钟上手:Universal-Updater让你的3DS自制软件管理变得超级简单
  • AWS 实战指南】使用 Amazon S3 Files 构建企业级 EFK 日志存储
  • AISMM模型与竞争分析深度拆解(2024权威评估框架首次公开)
  • OpenClaw进阶实战(三十二):性能压测与成本控制报告
  • 基于spaCy与Sentence-BERT的本地化AI简历解析与智能匹配系统实践
  • SITS2026最新AISMM高管汇报模板:2024年全球TOP 12金融监管机构验证的7项合规增效技巧
  • AISMM评估失败率高达67%?揭秘SITS2026圆桌闭门报告中的4个隐性否决项,今天不看明天补审!
  • AISMM不是AI工具,而是学术研究新操作系统:从论文复现失败率下降63%说起
  • 3PEAK思瑞浦 TPL78L03-89TR SOT89 稳压器
  • 2026年揭秘:超市塑料包装袋源头厂家究竟藏身何处?
  • 为Arduino设备注入MQTT通信灵魂:PubSubClient实战指南
  • 关于linshenkx/prompt-optimizer 使用分析