当前位置: 首页 > news >正文

tensorRT整个系列的总结(包括量化,减枝)

本人以前的博客参考:tensorRT的下载和安装
TensorRT的官方文档(pythonAPI c++API):
特别全的TensoRT介绍
得到引擎的两种方式

  • 得到引擎:代码方式
  • 命令行方式

一、权重转换为onnx

为了避免 TensorRT 解析错误,我们对 ONNX 进行 简化。importonnximportonnxsim 加载 ONNX 模型 onnx_model=onnx.load("yolov8n.onnx")进行模型简化 simplified_model, check=onnxsim.simplify(onnx_model)保存优化后的模型 onnx.save(simplified_model,"yolov8n_sim.onnx")print("ONNX Simplified:", check)

二、用引擎进行推理

均是以yolov8为例子

  • yolov8 c++tensorRT推理(直接拿来可用)
  • Python为主要的编程代码
http://www.jsqmd.com/news/1093402/

相关文章:

  • 立个flag。周四发表一篇文章。
  • Python变量作用域全解析:从局部到全局,彻底掌握LEGB规则
  • 无需备份即可从 iPhone 恢复已删除短信的 4 种方法
  • 智慧安防行业物联网技术与方案指南:从监控到应急响应的全方位解决方案
  • 【RISC-V】解决WSL2命令行总是出现bash: warning: setlocale: LC_ALL: cannot change locale (en_US.UTF-8)的问题
  • 【计算机毕业设计案例】网络域名资源分配与统筹管理系统设计 信息化视角下域名生命周期管理系统设计(程序+文档+讲解+定制)
  • Android 开发问题:Invalid <color> for given resource value.
  • Shopify分销系统搭建指南:适合初创团队的低成本增长方案
  • 我用 Claude Code 做 Code Review 两个月,Bug 漏检率从 41% 降到 11%
  • 服装收银系统究竟哪个好?最后我选了这个
  • 别再混着说了:2026 AI Agent 技术栈分层(tool / Skill / MCP / A2A / Context Harness Engineering)
  • Codex Agent Legion 实现原理与 GitHub 使用指南
  • 剪流AI员工手机数据安全架构解析:企业客户资料是否存在泄露风险?
  • 墨香情手游全域自由轻功,无束缚飞檐走壁闯江湖
  • .Net如何在AgentFramework中给AI智能体给AI添加执行python脚本和运行代码的能力后——后续可用于对接openClaw技能
  • Mybatis基础操作
  • Rust的async函数中的await点优化与编译器在状态机生成中的转换
  • 各类幕墙验收时应提供的资料
  • Skill用得好,下班走得早:一文讲透Skill的结构与设计
  • AI native: Casebook 面向 AI Agent 时代的测试用例工程化工作流
  • 149期目录 黄大年茶思屋“难题揭榜”第149期--云核心网领域第四期
  • 一篇搞懂SpringMVC XML 配置标签<context:component-scan>
  • Linux x86-64 DMA映射探秘(二)——SWIOTLB的bounce buffer机制
  • 计算机Java毕设实战-网络域名资源信息化管理平台设计与实现 面向企业的 Web 域名运维管理系统设计【完整源码+LW+部署说明+演示视频,全bao一条龙等】
  • 计算机Java毕设实战-轻量化网络博客发布平台的设计与实现基于 SpringBoot 的在线文章发布管理系统【完整源码+LW+部署说明+演示视频,全bao一条龙等】
  • LLM Serving 进入下半场:Prefill/Decode 解耦架构、KV 迁移与 PD 调度工程实践
  • 浅谈src挖掘中—文件上传和XSS漏洞的组合拳,网络安全零基础入门到精通实战教程!
  • Win11Debloat终极指南:4步快速清理Windows系统,性能提升70%
  • 【从零开始学架构】状态机不是增加架构复杂度,而是停止猜测
  • 私域直播SaaS大乱斗:小鹅通、微赞、有赞、悦邻,到底谁更适合“卖菜”的?