Jetson Orin Nano Super之onnxruntime与TensorRT兼容性优化实战

1. 为什么需要关注onnxruntime与TensorRT兼容性

最近在Jetson Orin Nano Super上部署AI模型时，我发现一个头疼的问题：onnxruntime和TensorRT的版本兼容性。这就像买了个新手机，却发现常用的APP闪退一样让人抓狂。特别是从Jetpack 6.2开始，TensorRT升级到8.x版本后，API接口变化导致很多onnxruntime版本直接罢工。

我实测过，onnxruntime 1.19.2在TensorRT 8.x环境下编译时，经常会遇到HardwareCompatibilityLevel这类API不兼容的错误。这主要是因为TensorRT 8.x对底层架构做了较大调整，而onnxruntime的适配没跟上节奏。就像老式插头插不进新插座，需要个转换器才行。

2. 环境准备：打好基础才能盖高楼

2.1 升级CMake到3.26版本

老版本的CMake就像过时的施工图纸，根本看不懂新工地的要求。我建议先用以下命令彻底清理旧版本：

sudo apt remove --purge cmake

然后下载3.26版本，这个版本对ARM架构支持更好：

wget https://github.com/Kitware/CMake/releases/download/v3.26.4/cmake-3.26.4-linux-aarch64.sh

安装时我习惯放在/opt目录，方便管理：

sudo mkdir -p /opt/cmake sudo sh cmake-3.26.4-linux-aarch64.sh --prefix=/opt/cmake --skip-license

最后别忘了把CMake加入环境变量：

echo 'export PATH=/opt/cmake/bin:$PATH' >> ~/.bashrc source ~/.bashrc

2.2 CUDA环境配置

CUDA就像工地上的起重机，没它啥都干不了。确保PATH包含CUDA路径：

export PATH="/usr/local/cuda/bin:${PATH}" export CUDACXX="/usr/local/cuda/bin/nvcc"

3. 源码编译：步步为营解决兼容性问题

3.1 获取特定版本源码

直接克隆主分支就像买彩票，中奖概率太低。我推荐使用nvidia维护的fork：

git clone https://github.com/SnapDragonfly/onnxruntime.git cd onnxruntime git checkout nvidia_v1.19.2

这个版本经过NVIDIA特别优化，对Jetson平台更友好。

3.2 编译参数详解

编译命令就像烹饪食谱，配料比例很重要：

./build.sh --config Release --update --build --parallel --build_wheel \ --use_tensorrt --cuda_home /usr/local/cuda --cudnn_home /usr/lib/aarch64-linux-gnu \ --tensorrt_home /usr/lib/aarch64-linux-gnu

这里有几个关键点：

• --parallel启用多核编译，节省时间
• --build_wheel生成Python wheel包
• TensorRT相关路径必须准确指向aarch64目录

3.3 常见编译错误解决

我遇到过最典型的问题是API不匹配，解决方法是在cmake阶段加上：

-Donnxruntime_USE_TENSORRT=ON \ -DTENSORRT_HOME=/usr/lib/aarch64-linux-gnu \ -DCMAKE_CUDA_ARCHITECTURES=72 # 对应Orin的SM版本

4. 安装与验证：确保一切就绪

4.1 安装生成的wheel包

编译完成后，在build目录下找生成的whl文件：

ls build/Linux/Release/dist/

安装时建议加上--no-cache避免冲突：

python3 -m pip install --no-cache onnxruntime_gpu-1.19.2-cp310-cp310-linux_aarch64.whl

4.2 兼容性测试脚本

我写了个简单的测试脚本check_compatibility.py：

import onnxruntime as ort print(ort.get_device()) sess_options = ort.SessionOptions() sess_options.graph_optimization_level = ort.GraphOptimizationLevel.ORT_ENABLE_ALL

如果运行时报TensorRT相关错误，可能需要调整环境变量：

export LD_LIBRARY_PATH=/usr/lib/aarch64-linux-gnu:$LD_LIBRARY_PATH

5. 性能优化技巧：让推理飞起来

5.1 TensorRT优化参数

在创建会话时加入这些参数，我实测能提升20%性能：

providers = [ ('TensorrtExecutionProvider', { 'device_id': 0, 'trt_max_workspace_size': 1 << 30, 'trt_fp16_enable': True }), 'CUDAExecutionProvider' ]

5.2 模型预处理技巧

对于动态输入模型，建议固定输入尺寸：

sess_options.add_free_dimension_override_by_name('input', 224) sess_options.add_free_dimension_override_by_name('input', 224)

6. 疑难问题排查指南

6.1 版本冲突解决

当遇到"undefined symbol"错误时，试试：

ldd /usr/local/lib/python3.10/dist-packages/onnxruntime/capi/onnxruntime_pybind11_state.so

检查是否有未解析的TensorRT符号。

6.2 内存优化配置

在Jetson这种资源受限设备上，建议设置：

sess_options.intra_op_num_threads = 4 sess_options.execution_mode = ort.ExecutionMode.ORT_SEQUENTIAL

7. 实际项目中的经验分享

在无人机视觉项目中，我发现onnxruntime 1.19.2 + TensorRT 8.6的组合最稳定。有个坑要注意：如果模型中有自定义OP，需要提前用trtexec转换：

/usr/src/tensorrt/bin/trtexec --onnx=model.onnx --saveEngine=model.plan

然后在代码中加载plan文件而非onnx模型。