当前位置：首页 > news >正文

【瑞芯微平台实时Linux方案系列】第十七篇 - 瑞芯微平台边缘AI与实时控制协同方案

news 2026/3/27 3:24:16

一、简介：为什么要在瑞芯微上“AI+实时”协同？

国产芯片崛起：RK3568/RK3588 自带 3TOPS/6TOPS NPU，成本 < 国外同级 30%，已批量用于边缘网关、机械臂控制器。
场景痛点：
- 传统方案“AI推理”与“PLC控制”分属两颗 CPU，通过 CAN/Ethernet 通信 → 延迟 5-15 ms，抖动大。
- 单颗瑞芯微 SoC 即可跑 Linux + PREEMPT_RT，同时完成“感知-决策-控制”端到端闭环，目标延迟 < 1 ms。
掌握技能价值：
- 缩短硬件 BOM 成本 20%+
- 国产化替代标书中“实时+AI”加分项
- 形成可复用的“AI推理优先级调度”软件 IP

二、核心概念：5 个关键词先搞懂

关键词	一句话说明	本文出现场景
PREEMPT_RT	Linux 实时补丁，将自旋锁变互斥锁、线程化中断	内核编译打开 CONFIG_PREEMPT_RT=y
NPU	神经网络加速单元，瑞芯微 RK3568 为 0.8 TOPS@INT8	使用 RKNN Toolkit2 把 PyTorch → .rknn
SCHED_FIFO	实时调度策略，优先级 1-99，数字越大越先运行	把 AI post-process 线程升到 prio=90
cyclictest	循环测量定时延迟工具	验证“AI满载”时控制线程抖动 < 100 μs
zero-copy	推理结果通过共享内存直接给 PLC 任务，避免 memcpy	使用 mmap + 原子计数器

三、环境准备：30 分钟搭好“AI+实时”工作台

1. 硬件

模块	规格	备注
主板	RK3568 工业板（4×A55 2 GHz）	需引出 GPIO ×8 用于 PWM/脉冲
内存	4 GB LPDDR4	推理缓存 300 MB + RT 控制 100 MB
存储	32 GB eMMC	预留 8 GB 给根文件系统
摄像头	MIPI CSI-2 1080P@60fps	用于视觉抓取定位
执行器	直流电机 + 编码器 1000 线	闭环周期 1 kHz

2. 软件

组件	版本	获取方式
实时内核	linux-5.10.y-rt25	瑞芯微官方 SDK + RT 补丁
RKNN Toolkit2	1.4.0	`pip install rknn-toolkit2`
交叉工具链	gcc-arm-10.2	随 SDK 提供
构建系统	Yocto 3.1	含 meta-rockchip、meta-rt

3. 一键编译 RT 内核（可复制）

#!/bin/bash # build_rt_kernel.sh set -e SDK=https://github.com/rockchip-linux/kernel.git git clone -b stable-5.10 $SDK --depth=1 cd kernel wget https://mirrors.edge.kernel.org/pub/linux/kernel/projects/rt/5.10/patch-5.10.25-rt25.patch.xz xzcat patch-5.10.25-rt25.patch.xz | patch -p1 make ARCH=arm64 rockchip_defconfig ./scripts/config -e CONFIG_PREEMPT_RT make ARCH=arm64 CROSS_COMPILE=aarch64-linux-gnu- -j$(nproc) Image dtbs

输出arch/arm64/boot/Image即为 RT 内核。

四、应用场景：边缘视觉+实时控制 300 字示例

在一条“锂电池极耳焊接”产线，RK3568 控制器通过 MIPI 相机实时采集极耳位置（1920×1080@60fps），NPU 运行轻量化 YOLOv5-n 模型定位焊点中心坐标，推理耗时 6 ms；坐标结果写入共享内存后，实时控制线程（SCHED_FIFO, prio=95）以 1 kHz 频率读取坐标并生成 PWM 脉冲，驱动伺服焊头下压，焊接精度±0.05 mm，端到端闭环延迟<0.9 ms（含图像采集、推理、PID、电机响应）。传统“工控机+GPU”方案延迟 8-12 ms，且需独立 PLC；本方案单 SoC 完成，硬件成本降 35%，功耗降 50%，满足国产化与实时双重需求。

五、实际案例与步骤：从模型到闭环，逐行可跑

5.1 步骤总览

转换模型 → 2. 编译 RT App → 3. 部署到板 → 4. 调度优化 → 5. 延迟测量

5.2 模型转换（PC 端）

# yolov5n.pt → yolov5n.rknn python convert.py

convert.py（可直接复制）：

from rknn.api import RKNN rknn = RKNN() rknn.config(target_platform='rk3568', batch_size=1) rknn.load_pytorch(model='yolov5n.pt', input_size_list=[[3,640,640]]) rknn.build(do_quantization=True, dataset='./calib') rknn.export_rknn('yolov5n.rknn')

5.3 实时推理 + 控制代码（板端）

// rt_ai_control.c #define _GNU_SOURCE #include <pthread.h> #include <sys/mman.h> #include <rknn_api.h> #include <time.h> #define SHARE_SIZE 4096 typedef struct { float x, y; // 像素坐标 _Atomic int new_flag; // 原子标志 } share_t; static share_t *shm; /* AI 线程：SCHED_FIFO 80 */ void *ai_thread(void *arg) { rknn_context ctx; rknn_init(&ctx, "yolov5n.rknn", 0, 0, NULL); while (1) { void *img = capture_camera(); // 6 ms rknn_run(ctx, img, ...); rknn_outputs_get(ctx, &out, 1); shm->x = out.x; shm->y = out.y; atomic_store(&shm->new_flag, 1); } } /* 控制线程：SCHED_FIFO 95 */ void *control_thread(void *arg) { struct sched_param param = { .sched_priority = 95 }; pthread_setschedparam(pthread_self(), SCHED_FIFO, &param); while (1) { if (atomic_load(&shm->new_flag)) { float x = shm->x, y = shm->y; atomic_store(&shm->new_flag, 0); pwm_update(pid_calc(x, y)); // 1 kHz } usleep(1000); // 1 ms } }

编译：

aarch64-linux-gnu-gcc rt_ai_control.c -o rt_ai_control \ -lrknnrt -lpthread -latomic

5.4 调度优化：把 AI 线程绑到非隔离核

# 隔离核 0-1 给控制，核 2-3 给 AI & Linux echo isolcpus=0,1 rcu_nocbs=0-1 > /boot/cmdline.txt taskset -c 2 ./rt_ai_control # AI 在核 2

5.5 延迟测量：cyclictest 满载测试

# 控制线程满载 1 kHz 同时测抖动 cyclictest -p 95 -m -Sp90 -i200 -d60s > cyclictest.log

结果示例：

T: 0 ( 1234) P:95 I:200 C: 300000 Min: 8 Act: 14 Avg: 15 Max: 68

Max=68 μs < 100 μs → 满足实时闭环要求。

六、常见问题与解答（FAQ）

问题	现象	解决
`rknn_init`返回 -1	模型与 NPU 驱动不匹配	确保 RKNN 版本与固件一致，用`cat /sys/kernel/debug/rknpu/version`查看
cyclictest Max > 200 μs	未关 C-State/Turbo	BIOS 关闭 EIST、C6，内核加`intel_idle.max_state=0`
AI 线程抢占控制线程	优先级倒挂	AI 线程用`SCHED_FIFO 80`，控制用 95，差值≥10
共享内存读写冲突	坐标跳变	使用`_Atomic`+ 双缓冲，或 ring-buffer
内存不足	OOM killer 杀 AI 进程	为 NPU 预留 300 MB，Yocto 里关闭 GPU 相关组件

七、实践建议与最佳实践

双缓冲坐标
AI 写 back buffer → 原子切换指针 → 控制读 front buffer，实现零拷贝。
NPU 批处理
一次推理 4 帧，降低单帧均摊时间 25%，但需接受 4 ms 额外延迟。
CPU 亲和性脚本化
把taskset、chrt写入 systemd 单元，开机即生效，避免手工遗忘。
功耗与实时平衡
空闲时echo powersave > /sys/devices/.../scaling_governor，负载>80% 自动切 performance。
远程 OTA
使用 OSTree + SWUpdate，升级失败自动回滚，保障产线 7×24 h。
文档沉淀
每新增 1 个实时线程，必须在《线程优先级表》登记，防止“优先级碎片化”。

八、总结：一张脑图带走全部要点

瑞芯微 AI + 实时闭环 ├─ 芯片：RK3568 NPU 0.8 TOPS ├─ 内核：PREEMPT_RT + isolcpus ├─ 模型：YOLOv5 → RKNN ├─ 线程：AI@FIFO80 Control@FIFO95 ├─ 通信：_Atomic 共享内存 └─ 验证：cyclictest < 100 μs

实时 Linux 不只是“快”，更是“准时”。
当你把 AI 推理与电机控制塞进同一颗国产 SoC，还能把抖动压到 68 微秒，BOM 成本、功耗、体积全部下降——这就是“AI+实时”协同的价值。

立刻打开你的 RK3568 板子，复制本文脚本跑一遍，再把延迟图贴在 README，让下一个面试官看到：你不仅能写算法，更能把它按时送到电机手里！

查看全文

http://www.jsqmd.com/news/332361/