当前位置: 首页 > news >正文

hybrik实时性测试

由于我们的任务是做到实时性,所以这篇博客的工作就是测试一下hybrik的延迟,看看是否需要更改里面的权重文件,主要是因为实验室电脑是1660Ti,不改一下真跑不动。。。

1.官方hybrik的目标检测模型使用的是Faster R-CNN 权重使用的是hybrik_hrnet.pth

运行结果没有保留图片,但是有3d渲染,效率只有2FPS左右,延迟500ms

2.运行结果不保留3d渲染

效率提升到了4-6FPS,延迟降低到了170ms左右,发现关闭3d渲染确实有用

3.因为我现在进行的都是一个人的上半身动作模仿,可以尝试在目标检测的时候跳帧处理

时间主要消耗在计划3d关节点坐标上,跳帧步长设置成了5帧,每五帧进行一次目标检测,中间四帧计算3d关节点坐标,效率增长到10FPS,延迟是100ms左右

4.把目标检测模型从Faster R-CNN 改成轻量化的yolov8n

目标检测模型更改成yolov8n之后,没有跳帧,效率是11FPS

5.主要时间还是花在了3d关节点获取上面,查看github上面hybrik的MODEL ZOO,尝试更改权重,使用faster r-cnn这个目标检测模型 加上hybrik_res34.pth

hyrbik项目链接 https://github.com/jeffffffli/HybrIK

目前的权重是HRNet-W48:hybrik_hrnet.pthhttps://drive.google.com/file/d/1gp3549vIEKfbc8SDQ-YF3Idi1aoR3DkW/view

要更改为ResNet-34:hybrik_res34_w3dpw.pth
https://drive.usercontent.google.com/download?id=19ktHbERz0Un5EzJYZBdzdzTrFyd9gLCx&export=download&authuser=0

但是ResNet-34虽然速度快了很多,但是和HRNet-W48相比3d关节点检测的准确度下降了

还是很慢,说明yolov8n的作用也很大

6.最终测试 目标检测模型yolov8n加权重hybrik_res34.pth

现在效率在20FPS左右,延迟是50ms,基本满足实时性要求,使用更好的显卡速度会更快。

http://www.jsqmd.com/news/1106298/

相关文章:

  • 数智中台全链路交付,赋能连锁零售规模化增长
  • Linux课后练习——管理“学习笔记”项目操作过程
  • 2026年真正免费的论文查重网站有哪些?7个平台实测+防骗指南
  • 如何快速修复ClusterGVis中箱线图与折线图显示冲突问题
  • TypeScript泛型
  • 【MO三维路径规划】麝牛算法MO多无人机协同集群避障路径规划(目标函数:最低成本:路径、高度、威胁、转角)【含Matlab源码 15684期】
  • langchain4j 学习系列(10)-Skill使用示例
  • LinuxShell编程基础学习笔记
  • 2026年无线物联网融合网络设备十大品牌排行榜
  • 量子优化算法FPC-QAOA:突破参数爆炸难题
  • 35岁转行AI大模型:挑战、机遇与实战路径
  • 服务端开发爱好者
  • 心情值游戏系统实现
  • [特殊字符] 搬砖的秘密:为什么一次搬 64 块砖最快?
  • 车间地坪养护秘籍
  • Rust项目开发完整教程
  • 从WAIC看AI办公新趋势:会议助手正在从“记录工具”变成“组织智能体”
  • Rust语言基础开发教程
  • 一个老股民的十年自白十年炒股没亏,但我劝你别学我
  • 本地化AI漫剧制作:Qwen与ComfyUI实战指南
  • 从 VMware 迁移到 Proxmox VE 的完整方案
  • MAX9744与PIC18LF45K50的音频功率放大系统设计
  • Vue组件开发技巧
  • 单系统登录机制
  • vim源码编译安装 _
  • 贵阳婚纱照拍的最好的是哪一家?
  • view_source
  • 大气层系统完整指南:5个步骤快速安装Switch自定义固件
  • [特殊字符]️ 性能调优手册:把 chunk size 思路落地到你的项目
  • 出现“WSL 安装似乎已损坏”的错误通常意味着Windows子系统对于Linux(WSL)的某些组件可能未正确安装或注册。要解决这个问题,你可以尝试以