Jetson Nano部署YOLOv5s：从环境搭建到TensorRT加速实现25FPS实时推理
1. Jetson Nano与YOLOv5s的完美组合
Jetson Nano作为一款轻量级AI边缘计算设备，搭载了128核NVIDIA Maxwell GPU和四核ARM Cortex-A57 CPU，虽然体积小巧但性能不俗。而YOLOv5s则是YOLO系列中最轻量级的模型，参数量仅7.2M，非常适合在资源有限的边缘设备上运行。这对组合在目标检测领域堪称黄金搭档，既能满足实时性要求，又不会对硬件造成过大负担。
我实测过多种目标检测模型在Jetson Nano上的表现，YOLOv5s在精度和速度之间取得了很好的平衡。相比其他版本，YOLOv5s的推理速度要快上不少，这对于需要25FPS实时检测的场景来说至关重要。不过原生PyTorch模型直接运行的效率还不够理想，这就需要TensorRT出场了。
TensorRT是NVIDIA专门为深度学习推理设计的加速引擎，它能对模型进行优化，包括层融合、精度校准、内核自动调优等技术。经过TensorRT优化后的YOLOv5s，在Jetson Nano上的推理速度可以从原来的10FPS提升到25FPS以上，这个提升幅度相当可观。
2. 环境配置全攻略
2.1 JetPack系统准备
首先需要确保Jetson Nano刷写了合适的JetPack系统镜像。我推荐使用JetPack 4.6版本，它包含了CUDA 10.2、cuDNN 8.2和TensorRT 7.1等关键组件，这些都是运行YOLOv5s所必需的。刷写系统镜像后，第一件事就是扩容交换空间：
sudo gedit /etc/systemd/nvzramconfig.sh找到mem = $(("${totalmem}"/2/"${NRDEVICES}")*1024)这一行，将其修改为：
mem = $(("${totalmem}"*2/"${NRDEVICES}")*1024)保存后重启设备，使用free -h命令检查交换空间是否已经增大到7.7GB左右。这个步骤很重要，因为后续的编译过程需要大量内存，默认的交换空间大小可能会导致编译失败。
2.2 CUDA环境配置
接下来配置CUDA环境变量，编辑~/.bashrc文件：
sudo gedit ~/.bashrc在文件末尾添加以下内容：
export CUDA_HOME=/usr/local/cuda-10.2 export LD_LIBRARY_PATH=/usr/local/cuda-10.2/lib64:$LD_LIBRARY_PATH export PATH=/usr/local/cuda-10.2/bin:$PATH保存后执行source ~/.bashrc使配置生效，然后运行nvcc -V验证CUDA是否配置成功，如果看到版本号输出说明配置正确。
3. PyTorch与YOLOv5环境搭建
3.1 PyTorch安装
由于Jetson Nano是ARM架构，不能直接使用pip安装PyTorch，需要下载预编译的wheel文件。我推荐使用PyTorch 1.8.0版本，这个版本与JetPack 4.6的兼容性最好。
先安装必要的依赖：
sudo apt-get update sudo apt-get upgrade sudo apt-get dist-upgrade sudo apt-get install python3-pip libopenblas-base libopenmpi-dev然后配置pip国内源加速下载，创建~/.pip/pip.conf文件并添加以下内容（以阿里源为例）：
[global] index-url=http://mirrors.aliyun.com/pypi/simple/ [install] trusted-host=mirrors.aliyun.com安装PyTorch和依赖：
pip3 install Cython numpy pip3 install torch-1.8.0-cp36-cp36m-linux_aarch64.whl3.2 YOLOv5环境配置
克隆YOLOv5仓库并安装依赖：
git clone https://github.com/ultralytics/yolov5.git cd yolov5 pip3 install -r requirements.txt这里可能会遇到matplotlib安装失败的问题，可以单独下载对应的wheel文件安装。安装完成后可以运行测试命令验证是否安装成功：
python3 detect.py --source data/images/bus.jpg --weights yolov5n.pt --img 640如果出现"Illegal instruction (core dumped)"错误，需要在~/.bashrc中添加：
export OPENBLAS_CORETYPE=ARMV8然后执行source ~/.bashrc使其生效。
4. TensorRT加速实战
4.1 模型转换与优化
首先克隆tensorrtx仓库：
git clone https://github.com/wang-xinyu/tensorrtx.git将tensorrtx/yolov5/gen_wts.py复制到YOLOv5目录下，生成.wts权重文件：
python3 gen_wts.py -w yolov5n.pt -o yolov5n.wts接下来编译TensorRT引擎：
cd ~/tensorrtx/yolov5/ mkdir build cd build cmake .. make -j4 sudo ./yolov5 -s yolov5n.wts yolov5n.engine n这个过程可能会比较耗时，建议耐心等待。生成的.engine文件就是优化后的模型，可以直接用于推理。
4.2 实时摄像头推理
为了使用USB摄像头进行实时推理，需要修改yolov5.cpp文件。主要修改两个地方：
- 修改342行附近的视频捕获代码，将视频文件路径改为0表示使用摄像头：
cv::VideoCapture capture(0);- 可以调整CONF_THRESH参数来改变检测的灵敏度，默认0.25对于大多数场景已经足够。
修改后重新编译：
make -j4运行推理程序：
sudo ./yolov5 -v yolov5n.engine如果出现"Failed to load module 'canberra-gtk-module'"错误，可以安装缺失的模块：
sudo apt-get install libcanberra-gtk-module5. 性能优化技巧
5.1 模型精度选择
TensorRT支持FP32、FP16和INT8三种精度模式。在yolov5.cpp中可以通过修改以下定义来切换精度：
#define USE_FP32 // 使用FP32精度 // #define USE_FP16 // 使用FP16精度 // #define USE_INT8 // 使用INT8精度FP16精度可以在几乎不损失精度的情况下将推理速度提升1.5-2倍，是性价比很高的选择。INT8精度需要额外的校准过程，但能进一步提升速度，不过可能会对检测精度有轻微影响。
5.2 图像预处理优化
在实时推理中，图像预处理往往成为性能瓶颈。可以通过以下方式优化：
- 减少不必要的图像格式转换
- 使用GPU加速的图像处理（如使用CUDA实现的resize和normalize）
- 合理设置输入分辨率，不是越大越好
在yolov5.cpp中，预处理部分可以进一步优化，比如将BGR2RGB和归一化操作合并为一个CUDA核函数。
5.3 多线程处理
虽然Python有GIL限制，但仍然可以通过多进程方式实现并行处理。可以将图像采集和推理放在不同的进程中，通过共享内存或队列传递数据。这样可以避免因图像采集等待而导致的帧率下降。
6. 常见问题解决
6.1 模型转换失败
如果在生成.engine文件时失败，首先检查：
- 确认使用的TensorRT版本与JetPack版本匹配
- 检查.wts文件是否生成正确
- 尝试减少make的并行编译线程数（如改为make -j2）
6.2 推理速度不达标
如果无法达到25FPS的目标，可以尝试：
- 降低输入图像分辨率（如从640x640降到480x480）
- 使用更轻量级的模型（如YOLOv5n）
- 启用FP16或INT8量化
- 检查CPU占用率，关闭不必要的后台进程
6.3 内存不足问题
Jetson Nano的4GB内存是主要限制，可以通过：
- 增加交换空间（如前面所述）
- 使用更小的batch size（在yolov5.cpp中修改BATCH_SIZE）
- 减少同时运行的程序
7. 实际应用建议
经过TensorRT加速的YOLOv5s在Jetson Nano上可以实现稳定的25FPS实时检测，这已经能满足大多数应用场景的需求。我在智能门禁、工业质检等多个项目中都采用过这个方案，效果非常不错。
对于需要更高精度的场景，可以考虑使用YOLOv5m，但需要接受帧率下降的事实。另外，如果检测小目标效果不佳，可以尝试修改模型的anchor设置或者增加输入分辨率。
最后提醒一点，Jetson Nano的散热很重要，长时间高负载运行可能会导致降频。建议加装散热风扇或散热片，确保设备能够持续稳定工作。