TensorRT实战：trtexec工具从模型到引擎的进阶转换指南

1. 为什么需要掌握trtexec的进阶用法

第一次接触TensorRT的开发者往往只把trtexec当作简单的模型转换工具，但实际生产环境中会遇到各种复杂需求。比如上周我部署一个动态批处理的YOLOv5模型时，发现默认参数生成的引擎在真实场景下性能只有预期的一半。经过反复调试才发现是工作空间（workspace）设置不足导致卷积算法选择受限。

trtexec作为TensorRT官方命令行工具，能处理从基础模型转换到高级性能调优的全流程。与Python API相比，它的优势在于：

• 快速验证：无需编写代码即可测试不同精度下的推理速度
• 生产就绪：直接生成可部署的序列化引擎文件
• 完整参数支持：覆盖动态形状、DLA加速等高级特性

举个例子，当我们需要对比FP16和INT8精度在T4显卡上的耗时差异时，用trtexec只需要两行命令：

# FP16测试 ./trtexec --onnx=model.onnx --fp16 --saveEngine=fp16.engine # INT8测试（需校准数据） ./trtexec --onnx=model.onnx --int8 --calib=calibration.cache --saveEngine=int8.engine

2. 动态批次处理的实战技巧

2.1 理解显式批处理与隐式批处理

早期TensorRT使用隐式批处理（implicit batch），要求所有输入维度固定。现在更推荐显式批处理（explicit batch），它通过--minShapes/optShapes/maxShapes参数支持动态维度。我在处理视频分析任务时，发现动态批次能显著提升GPU利用率。

典型配置示例：

./trtexec --onnx=detector.onnx \ --minShapes=input:1x3x640x640 \ --optShapes=input:8x3x640x640 \ --maxShapes=input:16x3x640x640 \ --saveEngine=dynamic.engine

2.2 形状配置的避坑指南

新手常犯的错误是：

1. 未设置--explicitBatch标志（ONNX模型自动启用）
2. optShapes取值不合理（建议设为最常用尺寸）
3. 忘记包含批次维度（必须是4维张量）

实测发现，当实际输入尺寸超出预设范围时，引擎会自动回退到最接近的合法形状。比如设置maxShapes为16x3x640x640但传入24批次时，实际会按16批次执行。

3. 多精度转换与DLA加速

3.1 FP16/INT8的精度取舍

在Jetson Xavier上测试ResNet50时，FP16通常比FP32快2倍，而INT8能再提升50%速度。但要注意：

• FP16：需要GPU支持（Pascal架构以上）
• INT8：需校准数据集（建议500-1000张图片）

校准数据生成示例：

# 先构建临时校准引擎 ./trtexec --onnx=model.onnx --int8 --buildOnly --saveEngine=calib.engine # 运行校准（需自定义数据加载逻辑） # 生成校准缓存文件后用于正式转换

3.2 DLA核心的使用策略

Jetson设备包含专用深度学习加速器（DLA），通过--useDLACore参数启用。关键技巧：

• 检查层支持情况：trtexec --verbose会显示哪些层跑在DLA上
• 回退机制：添加--allowGPUFallback避免不兼容层导致失败
• 多DLA核心：NVIDIA Xavier有2个DLA核心，可并行使用

典型DLA命令：

./trtexec --onnx=model.onnx \ --useDLACore=0 \ --fp16 \ --allowGPUFallback

4. 性能调优高级参数解析

4.1 工作空间与算法选择

工作空间（workspace）大小直接影响卷积算法的选择范围。建议：

• 简单模型：1024MB足够
• 复杂模型（如3D CNN）：需要4096MB以上
• 内存不足时可尝试--noBuilderCache关闭时序缓存

# 大模型工作空间设置示例 ./trtexec --onnx=large_model.onnx \ --workspace=4096 \ --fp16

4.2 多流并发与吞吐量优化

通过--streams参数启用多流处理，能显著提升吞吐量。实测ResNet50在T4显卡上：

• 单流：450 FPS
• 4流：1200 FPS

但要注意：

• 每个流需要额外显存
• 最佳流数量与GPU架构相关（图灵架构建议2-4流）

./trtexec --loadEngine=model.engine \ --streams=4 \ --duration=60 # 延长测试时间获取稳定数据

5. 生产环境部署建议

5.1 引擎兼容性处理

不同TensorRT版本生成的引擎可能不兼容。解决方法：

• 在目标设备上直接生成引擎
• 或指定--safe模式生成跨版本引擎

5.2 性能监控与日志

建议总是添加这些参数：

--exportTimes=perf.json # 输出详细耗时 --dumpProfile # 打印各层耗时 --verbose # 显示警告信息

遇到性能问题时，可以对比optShapes与实际输入形状的差异，这往往是性能突降的主要原因。