不止于Python：在Jetson Nano上为你的C++项目集成onnxruntime-gpu推理引擎（附CMake配置）

不止于Python：在Jetson Nano上为你的C++项目集成onnxruntime-gpu推理引擎（附CMake配置）

当大多数开发者习惯用Python部署AI模型时，C++在边缘计算设备上的性能优势往往被忽视。Jetson Nano作为经典的嵌入式AI开发平台，其GPU加速潜力在C++生态中能得到更极致的释放。本文将带你突破Python的舒适区，从源码编译到项目集成，完整实现onnxruntime-gpu在C++环境中的高效调用。

1. 环境准备：从系统配置到源码编译

在Jetson Nano上编译onnxruntime-gpu需要特别注意ARM架构的兼容性问题。建议使用JetPack 4.6+系统镜像，其预装的CUDA和cuDNN版本能完美匹配ONNX Runtime的编译需求。

关键环境变量配置：

export PATH=/usr/local/cuda/bin:$PATH export CUDA_PATH=/usr/local/cuda export CUDNN_PATH=/usr/lib/aarch64-linux-gnu

编译前必须安装的依赖项：

sudo apt-get install -y \ protobuf-compiler \ libprotoc-dev \ libssl-dev \ zlib1g-dev

源码获取与分支切换建议使用稳定版本（如v1.16.0）：

git clone --recursive https://github.com/microsoft/onnxruntime cd onnxruntime && git checkout v1.16.0

针对Jetson Nano内存限制的编译优化方案：

./build.sh --config Release \ --parallel 2 \ --use_tensorrt \ --cuda_home $CUDA_PATH \ --cudnn_home $CUDNN_PATH \ --tensorrt_home /usr/lib/aarch64-linux-gnu

提示：若编译过程中出现内存不足，可通过增加swap空间解决：

sudo fallocate -l 4G /swapfile sudo chmod 600 /swapfile sudo mkswap /swapfile sudo swapon /swapfile

2. 库文件安装与路径规划

编译完成后，在build/Linux/Release目录下会生成以下关键文件：

推荐安装到系统目录的规范操作：

cd build/Linux/Release sudo cmake --install . --prefix /usr/local

验证安装成功的快速检查方法：

ls /usr/local/lib | grep onnxruntime # 应显示类似：libonnxruntime.so.1.16.0

3. CMake项目集成实战

下面以一个基于OpenCV的实时视觉处理项目为例，展示完整的CMake配置方案。假设项目结构如下：

project/ ├── CMakeLists.txt ├── include/ └── src/ └── inference.cpp

3.1 基础CMake配置

CMakeLists.txt核心配置示例：

cmake_minimum_required(VERSION 3.12) project(onnx_demo LANGUAGES CXX) set(CMAKE_CXX_STANDARD 17) set(CMAKE_PREFIX_PATH "/usr/local") find_package(OpenCV REQUIRED) find_package(onnxruntime REQUIRED) add_executable(inference_demo src/inference.cpp ) target_link_libraries(inference_demo PRIVATE opencv_core opencv_highgui onnxruntime::onnxruntime )

3.2 多配置兼容方案

为支持开发与生产环境的不同需求，可增加条件编译选项：

option(USE_STATIC_ORT "Use static linking for ONNX Runtime" OFF) if(USE_STATIC_ORT) target_link_libraries(inference_demo PRIVATE onnxruntime::onnxruntime_static ) else() target_link_libraries(inference_demo PRIVATE onnxruntime::onnxruntime_shared ) endif()

4. C++ API深度应用

4.1 运行时环境验证

创建验证程序检查可用计算后端：

#include <onnxruntime_cxx_api.h> #include <iostream> int main() { Ort::Env env(ORT_LOGGING_LEVEL_WARNING, "ORTCheck"); auto providers = Ort::GetAvailableProviders(); std::cout << "ONNX Runtime Version: " << Ort::GetVersionString() << "\n"; for (const auto& provider : providers) { std::cout << "Available Provider: " << provider << "\n"; } return 0; }

预期输出应包含：

Available Provider: TensorrtExecutionProvider Available Provider: CUDAExecutionProvider

4.2 模型推理完整流程

实现一个典型的图像分类推理流程：

#include <onnxruntime_cxx_api.h> class ORTInferencer { public: ORTInferencer(const std::string& model_path) { env_ = Ort::Env(ORT_LOGGING_LEVEL_WARNING, "ImageClassifier"); session_options_.SetGraphOptimizationLevel( GraphOptimizationLevel::ORT_ENABLE_ALL); // 启用TensorRT后端 Ort::ThrowOnError(OrtSessionOptionsAppendExecutionProvider_TensorRT( session_options_, 0)); session_ = Ort::Session(env_, model_path.c_str(), session_options_); } std::vector<float> infer(const cv::Mat& input) { // 预处理代码... Ort::MemoryInfo memory_info = Ort::MemoryInfo::CreateCpu( OrtAllocatorType::OrtArenaAllocator, OrtMemType::OrtMemTypeDefault); std::vector<Ort::Value> input_tensors; input_tensors.emplace_back(Ort::Value::CreateTensor<float>( memory_info, input.data(), input.total(), input_shape.data(), input_shape.size())); auto outputs = session_.Run( Ort::RunOptions{nullptr}, input_names_.data(), &input_tensors[0], 1, output_names_.data(), 1); // 后处理代码... return results; } private: Ort::Env env_; Ort::SessionOptions session_options_; Ort::Session session_; };

5. 性能优化技巧

5.1 TensorRT优化参数配置

通过OrtTensorRTProviderOptions实现精细控制：

OrtTensorRTProviderOptions trt_options{}; trt_options.device_id = 0; trt_options.trt_max_workspace_size = 1 << 30; // 1GB trt_options.trt_fp16_enable = true; Ort::ThrowOnError(OrtSessionOptionsAppendExecutionProvider_TensorRT( session_options_, &trt_options));

5.2 内存管理最佳实践

推荐使用内存池减少动态分配开销：

Ort::MemoryInfo memory_info = Ort::MemoryInfo::CreateCpu( OrtAllocatorType::OrtArenaAllocator, OrtMemType::OrtMemTypeDefault); // 复用内存块 static thread_local std::vector<float> input_buffer; input_buffer.resize(input_size);

实测数据显示，在Jetson Nano上采用C++接口相比Python有显著性能提升：

这些优化技巧在实际工业视觉检测项目中，帮助我们将处理帧率从18FPS提升到26FPS，充分释放了Jetson Nano的硬件潜力。