从入门到精通：trtexec命令行工具在TensorRT模型部署中的实战指南
1. trtexec工具基础入门
第一次接触trtexec时，我也被这个命令行工具的参数数量吓到了。但实际用下来发现，它就像瑞士军刀一样，虽然功能多但每个都很实用。trtexec是TensorRT安装包自带的命令行工具，主要用来做三件事：模型编译、性能测试和精度验证。
安装TensorRT后，你可以在bin目录下找到trtexec的可执行文件。我习惯把它加入系统PATH，这样在任何目录都能直接调用。最简单的验证方法是运行：
trtexec --help这个命令会输出所有可用参数，虽然看起来密密麻麻，但实际常用的也就那么十几个。
新手最容易犯的错误是直接拿ONNX模型就跑，结果遇到各种报错。这里有个小技巧：先用Netron可视化检查模型结构，确保没有不支持的算子。我遇到过好几次模型导出时没问题，但TensorRT编译失败的情况，都是因为用了不支持的算子。
2. 静态ONNX模型编译实战
静态模型指的是输入输出维度固定的模型。编译这类模型最简单，只需要指定onnx路径和输出engine路径：
trtexec --onnx=model.onnx --saveEngine=model.engine但实际项目中我建议加上这些参数：
trtexec --onnx=model.onnx \ --saveEngine=model.engine \ --fp16 \ --workspace=2048 \ --verbose--fp16开启FP16精度能显著提升性能，--workspace设置显存工作空间大小（单位MB），--verbose会输出详细编译日志方便调试。
编译完成后，可以用以下命令测试引擎性能：
trtexec --loadEngine=model.engine \ --warmUp=500 \ --duration=10 \ --iterations=100这个命令会先预热500ms，然后运行10秒或至少100次推理，最后输出详细的性能报告。
3. 动态Shape模型处理技巧
动态Shape模型在实际业务中很常见，比如批处理大小不固定的场景。处理这类模型需要指定min/opt/max三个shape：
trtexec --onnx=dynamic.onnx \ --minShapes=input:1x3x224x224 \ --optShapes=input:8x3x224x224 \ --maxShapes=input:16x3x224x224 \ --saveEngine=dynamic.engine这里有几个经验值：
- minShape通常设为1
- optShape设为最常用的batch size
- maxShape根据业务需求设置上限
推理时可以指定具体shape：
trtexec --loadEngine=dynamic.engine \ --shapes=input:4x3x224x2244. 高级性能调优指南
当模型性能不理想时，可以尝试以下调优方法：
精度调优组合拳：
trtexec --onnx=model.onnx \ --best \ --saveEngine=model.engine--best参数会让TensorRT自动尝试FP32/FP16/INT8三种精度，选择最快的方案。
内存池优化：
trtexec --loadEngine=model.engine \ --memPoolSize=workspace:1024,dlaSRAM:256这个命令分别设置了workspace和DLA内存池的大小。
多流并发测试：
trtexec --loadEngine=model.engine \ --streams=4 \ --duration=10--streams=4会创建4个并发流，测试多路推理时的性能。
5. 常见问题排查手册
问题1：编译时报错"Unsupported ONNX opset version"
解决方法：检查ONNX opset版本，TensorRT 8.x建议使用opset 13或14：
torch.onnx.export(..., opset_version=14)问题2：推理结果与原始框架不一致
解决方法：使用--loadInputs指定输入数据：
trtexec --loadEngine=model.engine \ --loadInputs=input:input.bin \ --dumpOutput先用numpy保存输入数据到二进制文件，然后对比输出结果。
问题3：DLA加速不生效
解决方法：明确指定DLA core并允许GPU回退：
trtexec --onnx=model.onnx \ --useDLACore=0 \ --allowGPUFallback6. 生产环境最佳实践
在实际部署中，我总结出几个关键点：
- 引擎序列化：一定要保存编译好的engine文件，避免每次启动都重新编译
- 版本一致性：确保训练、导出、编译、推理各环节的软件版本一致
- 监控指标：使用
--exportProfile导出性能数据，建立性能基线 - 渐进式优化：先保证正确性，再逐步尝试FP16/INT8等优化
一个完整的生产环境部署脚本示例：
#!/bin/bash # 编译阶段 trtexec --onnx=model.onnx \ --saveEngine=model.engine \ --fp16 \ --workspace=2048 \ --minShapes=input:1x3x224x224 \ --optShapes=input:8x3x224x224 \ --maxShapes=input:16x3x224x224 # 验证阶段 trtexec --loadEngine=model.engine \ --shapes=input:8x3x224x224 \ --warmUp=500 \ --duration=30 \ --exportProfile=profile.json # 监控GPU状态 nvidia-smi -l 17. 调试与性能分析技巧
层信息导出：
trtexec --loadEngine=model.engine \ --dumpLayerInfo \ --exportLayerInfo=layer.json这个命令会输出引擎的详细层信息，包括每层的精度、输入输出维度等。
精度分析：
trtexec --loadEngine=model.engine \ --dumpProfile \ --profilingVerbosity=detailed加上--profilingVerbosity=detailed会显示更详细的性能分析数据。
内存分析：
trtexec --loadEngine=model.engine \ --verbose在verbose模式下，可以观察内存分配和使用情况，这对优化workspace大小很有帮助。
8. 进阶功能探索
插件支持： 如果需要支持自定义算子，可以通过插件实现：
trtexec --onnx=model.onnx \ --plugins=myplugin.so \ --saveEngine=model.engine安全模式： 对于安全敏感场景，可以启用安全编译模式：
trtexec --onnx=model.onnx \ --safe \ --saveEngine=model.engine时序缓存： 重复编译相似模型时，使用时序缓存可以加速编译：
trtexec --onnx=model.onnx \ --timingCacheFile=cache.cache \ --saveEngine=model.engine