039、模型推理慢、GPU 利用率低？ONNX 导出、动态 Batch 与 TensorRT 加速方案

039、模型推理慢、GPU 利用率低？ONNX 导出、动态 Batch 与 TensorRT 加速方案

一、从一次线上事故说起

上周三凌晨两点，值班手机震得我手麻。告警：某视频分析服务的推理延迟从 12ms 飙到了 180ms，GPU 利用率却只有 15%。我登录服务器一看，NVIDIA-SMI 显示显存占用 4GB，但 GPU 计算核心几乎在“摸鱼”——利用率曲线像心电图，忽高忽低，平均不到 20%。

这种“显存吃满、算力闲置”的鬼样子，我太熟了。八成是模型推理时，CPU 在疯狂做数据预处理和内存拷贝，GPU 在干等。更糟的是，业务请求的 batch size 忽大忽小，模型却只能吃固定尺寸的输入，导致每次推理都要做 resize 和 padding，浪费大量算力。

二、ONNX 导出：别让框架绑架你的模型

先解决模型格式问题。PyTorch 模型直接部署？别这样写，推理时还得装整个 PyTorch 环境，而且 torch.jit.trace 对动态控制流支持很差。ONNX 是中间格式，能跨框架、跨硬件，关键是 TensorRT 只认 ONNX。

踩坑记录：导出 ONNX 时，最容易翻车的是动态轴（比如 batch size 和图像宽高）。PyTorch 默认导出是静态 shape，你传一个不同尺寸的输入，ONNX Runtime 直接报错。

正确做法：在 torch.onnx.export 里显式声明动态轴。比如：