保姆级教程：用Jetson Orin NX + Realsense D435i跑通VINS-Fusion-gpu全流程

Jetson Orin NX + Realsense D435i 全流程实战：从硬件联调到VINS-Fusion-gpu可视化建图

当视觉SLAM遇上边缘计算设备，会产生怎样的火花？Jetson Orin NX作为NVIDIA新一代边缘AI计算平台，配合Intel Realsense D435i深度相机，为机器人、无人机等移动设备提供了实时的环境感知与定位能力。本文将带你从零开始，完成硬件连接、驱动配置到VINS-Fusion-gpu算法部署的全流程，最终在RViz中实现三维建图的可视化效果。

1. 硬件准备与环境配置

在开始之前，我们需要确保所有硬件设备正确连接并配置好基础环境。Jetson Orin NX开发板建议安装Ubuntu 20.04系统，并已配置好ROS Noetic环境。

硬件连接清单：

• Jetson Orin NX开发板（已安装散热器）
• Realsense D435i相机（附带USB 3.0 Type-C线缆）
• 稳定的电源供应（至少5V/4A）
• 显示器、键盘鼠标等外设（可选，可通过SSH远程操作）

基础环境配置步骤：

1. 更新系统软件包：

sudo apt update && sudo apt upgrade -y

2. 安装ROS Noetic基础包：

sudo apt install ros-noetic-desktop-full python3-rosdep python3-rosinstall python3-rosinstall-generator python3-wstool build-essential

3. 初始化rosdep：

sudo rosdep init rosdep update

提示：如果在国内网络环境下，建议配置ROS镜像源以加速下载

2. Realsense驱动安装与相机测试

Realsense D435i相机需要专门的驱动支持才能获取深度图像和IMU数据。我们将使用librealsense和realsense-ros两个关键组件。

2.1 安装librealsense SDK

首先安装必要的依赖项：

sudo apt-get install libssl-dev libusb-1.0-0-dev pkg-config libgtk-3-dev libglfw3-dev libgl1-mesa-dev libglu1-mesa-dev

然后从源码编译安装librealsense：

git clone https://github.com/IntelRealSense/librealsense.git cd librealsense mkdir build && cd build cmake .. -DBUILD_EXAMPLES=true -DCMAKE_BUILD_TYPE=Release make -j$(nproc) sudo make install

配置udev规则，使普通用户也能访问相机设备：

sudo cp config/99-realsense-libusb.rules /etc/udev/rules.d/ sudo udevadm control --reload-rules && sudo udevadm trigger

2.2 安装realsense-ros包

创建ROS工作空间并下载realsense-ros源码：

mkdir -p ~/catkin_ws/src cd ~/catkin_ws/src git clone https://github.com/IntelRealSense/realsense-ros.git cd realsense-ros git checkout `git tag | sort -V | grep -P "^2.\d+\.\d+" | tail -1` cd ..

安装依赖并编译：

rosdep install --from-paths src --ignore-src -r -y cd ~/catkin_ws catkin_make -DCATKIN_ENABLE_TESTING=False -DCMAKE_BUILD_TYPE=Release echo "source ~/catkin_ws/devel/setup.bash" >> ~/.bashrc source ~/.bashrc

2.3 测试相机功能

启动相机节点：

roslaunch realsense2_camera rs_camera.launch

在另一个终端查看发布的topic：

rostopic list

你应该能看到类似以下输出：

/camera/color/camera_info /camera/color/image_raw /camera/depth/camera_info /camera/depth/image_rect_raw /camera/extrinsics/depth_to_color /camera/extrinsics/depth_to_infra1 /camera/extrinsics/depth_to_infra2 /camera/infra1/camera_info /camera/infra1/image_rect_raw /camera/infra2/camera_info /camera/infra2/image_rect_raw /camera/imu /camera/gyro/sample /camera/accel/sample

3. VINS-Fusion-gpu编译与配置

VINS-Fusion-gpu是VINS-Fusion的GPU加速版本，特别适合在Jetson Orin NX这样的边缘设备上运行。

3.1 安装依赖项

首先安装必要的系统依赖：

sudo apt-get install liblapack-dev libsuitesparse-dev libgflags-dev libgoogle-glog-dev libgtest-dev libcxsparse3 -y

安装Ceres Solver（建议1.14.0版本）：

wget ceres-solver.org/ceres-solver-1.14.0.tar.gz tar -zxvf ceres-solver-1.14.0.tar.gz cd ceres-solver-1.14.0 mkdir build && cd build cmake .. make -j$(nproc) sudo make install

3.2 编译VINS-Fusion-gpu

创建工作空间并下载源码：

mkdir -p ~/vins_ws/src cd ~/vins_ws/src git clone https://github.com/pjrambo/VINS-Fusion-gpu.git cd ..

由于OpenCV 4.x与源码中使用的OpenCV 3.x存在API差异，需要进行批量替换：

cd ~/vins_ws/src/VINS-Fusion-gpu find . -type f -exec sed -i 's/CV_FONT_HERSHEY_SIMPLEX/cv::FONT_HERSHEY_SIMPLEX/g' {} + find . -type f -exec sed -i 's/CV_LOAD_IMAGE_GRAYSCALE/cv::IMREAD_GRAYSCALE/g' {} + find . -type f -exec sed -i 's/CV_BGR2GRAY/cv::COLOR_BGR2GRAY/g' {} + # 其他必要的替换命令...

编译项目：

catkin_make

4. 配置VINS-Fusion-gpu运行参数

4.1 准备Realsense D435i配置文件

在~/vins_ws/src/VINS-Fusion-gpu/config/下创建realsense_d435i文件夹，并添加以下配置文件：

left.yaml(左目相机参数):

%YAML:1.0 --- model_type: PINHOLE camera_name: camera image_width: 640 image_height: 480 distortion_parameters: k1: 0.0 k2: 0.0 p1: 0.0 p2: 0.0 projection_parameters: fx: 385.7544860839844 fy: 385.7544860839844 cx: 323.1204833984375 cy: 236.7432098388672

realsense_stereo_imu_config.yaml(主配置文件):

%YAML:1.0 #common parameters num_of_cam: 2 imu_topic: "/camera/imu" image0_topic: "/camera/infra1/image_rect_raw" image1_topic: "/camera/infra2/image_rect_raw" output_path: "~/vins_output/" cam0_calib: "left.yaml" cam1_calib: "right.yaml" image_width: 640 image_height: 480 # Extrinsic parameter between IMU and Camera estimate_extrinsic: 1 # GPU acceleration settings use_gpu: 1 use_gpu_acc_flow: 1 # Feature tracker parameters max_cnt: 150 min_dist: 30 freq: 10 show_track: 1 flow_back: 1 # IMU parameters acc_n: 0.1 gyr_n: 0.01 acc_w: 0.001 gyr_w: 0.0001 g_norm: 9.805

4.2 创建启动文件

在~/vins_ws/src/VINS-Fusion-gpu/vins_estimator/launch/下创建realsense_d435i.launch文件：

<launch> <node name="vins_estimator" pkg="vins" type="vins_node" output="screen" args="$(find vins)/../config/realsense_d435i/realsense_stereo_imu_config.yaml"/> <node name="loop_fusion" pkg="loop_fusion" type="loop_fusion_node" output="screen" args="$(find vins)/../config/realsense_d435i/realsense_stereo_imu_config.yaml"/> </launch>

5. 运行VINS-Fusion-gpu并可视化结果

现在我们已经准备好所有组件，可以启动完整的SLAM系统了。

5.1 启动流程

建议使用tmux或终端多窗口工具来同时运行多个节点：

1. 终端1- 启动Realsense相机：

roslaunch realsense2_camera rs_camera.launch

2. 终端2- 启动RViz可视化界面：

roslaunch vins vins_rviz.launch

3. 终端3- 启动VINS-Fusion-gpu节点：

roslaunch vins realsense_d435i.launch

5.2 结果验证

成功运行后，你应该能在RViz中看到以下内容：

• 相机的实时图像流
• 特征点的跟踪状态
• 三维点云地图
• 相机轨迹（位姿估计）

可以通过移动相机来观察建图效果。系统会实时更新环境的三维结构和相机的位置。

5.3 性能监控

在另一个终端中，可以使用jtop工具监控Jetson Orin NX的资源使用情况：

sudo -H pip install -U jetson-stats jtop

重点关注GPU的利用率，VINS-Fusion-gpu应该能有效利用Orin NX的GPU加速能力。

6. 常见问题与优化建议

在实际部署过程中，可能会遇到各种问题。以下是几个常见问题及解决方案：

问题1：IMU数据不同步

• 症状：轨迹估计出现明显漂移
• 解决方案：检查/camera/imu话题的频率，确保IMU数据稳定在200Hz以上

问题2：特征点跟踪不稳定

• 症状：特征点频繁丢失或跳动
• 解决方案：调整realsense_stereo_imu_config.yaml中的参数：
  • 降低max_cnt（如从150降到100）
  • 增加min_dist（如从30提高到40）

问题3：系统延迟明显

• 症状：相机移动后，地图更新有延迟
• 解决方案：
  • 确保使用USB 3.0接口连接相机
  • 降低图像分辨率（如从640x480降到480x360）
  • 关闭不必要的ROS节点和服务

对于追求更高精度的用户，建议进行相机-IMU联合标定。可以使用kalibr工具获取更准确的内参和外参。