RK3588 NPU边缘计算实战：YOLOv5与LLM性能测试
1. 项目概述
在嵌入式AI领域，Rockchip RK3588 SoC凭借其6 TOPS算力的NPU和Mali-G610 GPU，成为了边缘计算的热门选择。我们最近使用Mixtile Blade 3这款搭载RK3588芯片的单板计算机（配备32GB内存）进行了一系列AI和LLM（大语言模型）的基准测试。这款pico-ITX规格的开发板不仅具备强大的计算能力，还拥有丰富的接口配置，非常适合作为边缘AI设备的核心。
硬件选择提示：当处理计算机视觉和LLM任务时，大内存容量（如32GB）能显著提升批量推理性能，特别是在处理高分辨率图像或大型语言模型时。
2. 硬件配置与系统准备
2.1 Mixtile Blade 3开箱与组装
拆开Mixtile寄送的两个包装盒，第一个盒子装有Blade 3单板计算机，第二个则是配套的金属外壳。这款SBC最引人注目的特点是其底部覆盖的巨型散热片，这确保了RK3588在无风扇设计下也能稳定运行。
接口配置亮点包括：
- 双2.5G以太网口
- 双HDMI接口（一进一出）
- 双USB Type-C接口
- 30针GPIO扩展头
- U.2边缘连接器（支持PCIe Gen3x4和SATA 3.0）
组装过程需要注意：
- 移除原装散热片
- 安装U.2转M.2适配器
- 将主板放入CNC铝合金外壳
- 使用硅胶导热垫固定顶盖（金属外壳兼作散热器）
2.2 Ubuntu系统配置
Mixtile Blade 3预装Ubuntu 22.04系统，但我们也测试了通过RKDevTool或microSD卡刷写新系统的标准流程。由于板载只有两个USB-C接口（一个已被电源占用），必须使用USB扩展坞连接键鼠。
系统存储配置如下：
$ sudo fdisk -l Disk /dev/mmcblk0: 116.48 GiB # 板载eMMC Disk /dev/nvme0n1: 232.89 GiB # 通过U.2连接的NVMe SSD $ free -m Mem: 31787 # 确认32GB内存可用3. NPU性能测试：RKNPU2实战
3.1 YOLOv5模型部署
我们使用Rockchip官方提供的RKNPU2工具链测试NPU性能。首先从GitHub克隆rknn-toolkit2仓库，然后编译YOLOv5示例：
cd rknn-toolkit2/rknpu2/examples/rknn_yolov5_demo/ ./build-linux_RK3588.sh clean编译过程会检测OpenCV等依赖项，最终生成可执行文件和配套的RKNN模型文件（yolov5s-640-640.rknn）。
3.2 静态图像推理测试
运行测试命令：
./rknn_yolov5_demo model/RK3588/yolov5s-640-640.rknn model/man.jpg关键性能指标：
- 首次推理耗时：25.523ms
- 10次平均耗时：18.621ms
- 等效帧率：54 FPS
与RK3568（0.8 TOPS NPU）对比：
| 硬件平台 | 首次推理 | 平均推理 |
|---|---|---|
| Mixtile Blade 3 | 25.52ms | 18.62ms |
| YY3568 | 78.92ms | 69.71ms |
3.3 RKNN基准测试
运行官方benchmark工具得到更精确的测量：
./rknn_benchmark yolov5s-640-640.rknn man.jpg结果显示平均推理速度达63.123 FPS，验证了该硬件完全能满足实时物体检测需求。
4. 实时视频流处理
为了测试实际应用场景，我们配置了RTSP视频流处理管道：
4.1 MediaMTX服务器部署
- 从GitHub安装MediaMTX RTSP服务器
- 修改配置文件mediamtx.yml：
paths: cam: runOnInit: ffmpeg -f v4l2 -framerate 24 -video_size 640x640 -i /dev/video1 -vcodec h264 -f rtsp rtsp://localhost:$RTSP_PORT/$MTX_PATH runOnInitRestart: yes4.2 视频流AI处理
运行视频版YOLOv5检测：
./rknn_yolov5_video_demo model/RK3588/yolov5s-640-640.rknn rtsp://127.0.0.1:8554/cam 264实测性能：
- 处理延迟：18-23ms
- 支持多物体实时追踪（人、猫、杯子等）
- 系统资源占用稳定
5. LLM在RK3588上的实践
5.1 环境准备
由于NPU的LLM支持尚未完善，我们转而利用Mali-G610 GPU进行加速。通过Docker快速部署预构建的LLM环境：
docker run --rm -it --privileged docker.io/milas/mlc-llm:redpajama-3b5.2 模型性能对比
我们测试了不同规模的量化模型：
| 模型名称 | 参数量 | 内存占用 | 推理速度 |
|---|---|---|---|
| RedPajama-INCITE-Chat-3B | 3B | ~4GB | 8-10 tok/s |
| Llama-2-7b-chat-hf | 7B | ~10GB | 3-5 tok/s |
| Llama-2-13b-chat-hf | 13B | ~20GB | 1-2 tok/s |
示例问答测试：
<human>: 解释为什么绝缘体中的自由电子不能跃迁到导带 <bot>: 绝缘体中的电子处于较低能级，与导带之间存在较大的禁带宽度...5.3 优化建议
- 使用4-bit量化模型平衡精度与速度
- 对于13B以上模型，建议启用swap空间
- 通过
--privileged参数确保GPU加速可用 - 监控内存使用：
watch -n 1 free -m
6. 性能分析与优化
6.1 硬件资源监控
使用以下工具实时监控：
# NPU使用率 cat /sys/kernel/debug/rknpu/load # GPU负载 cat /sys/class/misc/mali0/device/utilization # 温度监测 sensors6.2 常见问题排查
问题1：NPU驱动加载失败解决方法：
# 重新加载内核模块 sudo modprobe -r rknpu sudo modprobe rknpu问题2：Docker容器无法访问GPU确保：
- 安装最新版Docker（>=20.10）
- 添加用户到docker组
- 使用
--privileged参数
问题3：LLM响应速度慢优化措施：
- 改用更小的模型（如3B参数）
- 降低量化精度（q4f16→q8f16）
- 关闭无关进程释放内存
7. 应用场景建议
基于测试结果，Mixtile Blade 3非常适合以下场景：
- 工业视觉检测（24/7稳定运行）
- 智能零售分析（多摄像头接入）
- 边缘语音助手（本地LLM部署）
- 教育机器人（实时交互）
对于需要更高LLM性能的场景，建议：
- 等待NPU的LLM支持完善
- 考虑外接PCIe加速卡
- 使用模型蒸馏技术减小参数量
8. 开发心得
在实际测试中，我们总结了这些经验：
- RKNN模型转换时，使用
--outputs参数明确指定输出节点能提升推理效率 - 对于视频流处理，硬编码H.264比软件编码节省30% CPU资源
- LLM推理时，设置
OMP_NUM_THREADS=8能更好利用CPU多核 - 长期运行AI任务时，建议在金属外壳加装散热风扇
这套系统的优势在于其平衡的性能和功耗表现，特别是在连续运行计算机视觉任务时，NPU的能效比尤为突出。不过对于LLM应用，目前GPU方案的功耗相对较高，期待未来NPU支持的改进。