【jetson】目标检测快速体验

Jetson 目标检测快速体验

基于DetectNet推理框架 +SSD-Mobilenet-v2模型，完成官方原生模型推理、自定义水果数据集训练、自定义模型部署推理全流程，适配 Jetson 平台硬件加速。

一、原生模型推理检测（DetectNet + SSD-Mobilenet-v2）

使用 Jetson 官方detectNet接口实现目标检测，传入图像后可输出目标检测框坐标、目标类别以及置信度。

1. 模型准备

下载推理模型SSD-Mobilenet-v2，放置到指定目录，程序可自动识别加载，无需手动填写路径：

~/jetson-inference/data/network

2. 测试图片准备

直接调用jetson-inference工程自带测试图片，无需额外自行准备。

3. 执行推理命令

1. 切换至工程二进制执行目录

cdjetson-inference/build/aarch64/bin

2. 运行推理指令

./detectnet--headless--network=ssd-mobilenet-v2\./images/humans_0.jpg ./output_001.jpg

4. 关键注意事项

首次运行模型时，TensorRT 会自动完成网络优化，耗时较长；优化文件会缓存至本地磁盘，后续启动运行加载速度大幅加快。

二、训练目标检测模型

1. 训练工具准备

1）下载训练工具

• 下载训练工具：pytorch-ssd
• 解压后放置到指定目录：

/home/guest/jetson-inference/python/training/detection

• 后续所有训练相关操作统一在此目录执行

~/jetson-inference/python/training/detection/pytorch-ssd$

2）依赖安装

• 批量一键安装项目所需依赖

pip3install-rrequirements.txt

• 报错记录：AttributeError: module 'numpy' has no attribute 'bool'
  • 报错原因：numpy 1.24.4版本与老旧pandas 0.25.3版本存在版本冲突
  • 解决办法：升级 pandas 版本

pip3install--upgradepandas--user

3）数据集下载

借助 Open Images 公开数据集，批量下载水果标注文件与实景图片，自动划分训练集、验证集。（水果检测：8类水果，训练可识别苹果、橙子、香蕉、草莓、葡萄、梨、菠萝、西瓜的水果检测模型）

1. 仅下载CSV格式标注文件（文件大小约1.2G）

python3 open_images_downloader.py --stats-only --class-names"Apple,Orange,Banana,Strawberry,Grape,Pear,Pineapple,Watermelon"--data=data/fruit

2. 同步下载标注文件与2500张实景图片（单类别最多300组标注数据）

python3 open_images_downloader.py --max-images=2500--max-annotations-per-class=300--class-names"Apple,Orange,Banana,Strawberry,Grape,Pear,Pineapple,Watermelon"--data=data/fruit

4）模型训练

1. 执行模型训练指令

python3 train_ssd.py--data=data/fruit --model-dir=models/fruit --batch-size=4--epochs=30

2. 报错记录：EOFError: Ran out of input
   • 报错原因：预训练权重文件models/mobilenet-v1-ssd-mp-0_675.pth缺失或文件损坏
   • 解决办法：本地重新获取完整预训练权重文件，放入对应路径后重新启动训练

5）模型导出（导出为ONNX通用格式）

将训练完成的PyTorch模型导出为Jetson平台适配的ONNX格式模型：

python3 onnx_export.py --model-dir=models/fruit

导出文件存放路径

• ONNX模型：/home/guest/jetson-inference/python/training/detection/pytorch-ssd/models/fruit/ssd-mobilenet.onnx
• 类别标签文件：/home/guest/jetson-inference/python/training/detection/pytorch-ssd/models/fruit/labels.txt

三、验证推理模型

加载ONNX模型完成推理

1. 切换至detectnet运行目录

cd~/jetson-inference/build/aarch64/bin

2. 执行图片推理命令

./detectnet\--model=/home/guest/jetson-inference/python/training/detection/pytorch-ssd/models/fruit/ssd-mobilenet.onnx\--labels=/home/guest/jetson-inference/python/training/detection/pytorch-ssd/models/fruit/labels.txt\--input-blob=input_0\--output-cvg=scores\--output-bbox=boxes\/home/guest/jetson-inference/python/training/detection/pytorch-ssd/data/fruit/validation/02aeb6528711637a.jpg\output_fruit.jpg

自行准备水果实拍测试图片即可使用

当前效果与优化方向

✅ 实现效果：自定义水果检测模型可正常推理运行，能够精准识别菠萝等目标水果
❌ 现存问题：出现同一目标重复检测识别现象
🔧 优化思路：优化整体训练流程，调整数据集质量、训练超参，完善数据预处理流程

四，核心流程总结

1. 原生推理：DetectNet搭配官方预置SSD模型，快速上手目标检测功能
2. 自定义训练：基于pytorch-ssd框架搭配水果数据集，训练专属检测模型
3. 模型部署：ONNX格式模型转TensorRT引擎，实现Jetson设备高效部署推理，
4. 使用 Jetson的推理 API 加载 ONNX 模型时，一般会自动转为 ENGINE 格式