Linux 实时性优化：PREEMPT_RT 补丁、线程优先级、内存锁、减少调度抖动
Linux 实时性优化：PREEMPT_RT 补丁、线程优先级、内存锁、减少调度抖动
标准Linux的调度抖动能把你精心设计的PID控制周期搅成一锅粥，这篇教你把"软实时"榨到极限。
一、为什么工控需要实时性
工控系统对时间有严格要求。举几个典型场景：
- 定时采集：每 10ms 读取一次传感器数据，延迟不能超 1ms，否则数据丢帧
- 精确控制：伺服电机控制周期 1ms，波动超过 50μs 就可能引起震动
- 协议响应：Modbus 从站要在规定时间内应答，超时则主站报通信故障
- 数据完整性：高速采集场景（如振动监测），一次调度抖动就丢一包数据
标准 Linux 内核设计目标是吞吐量而非实时性——它会让高优先级线程等待低优先级线程完成某些操作（比如内核系统调用中的临界区），导致不可预测的延迟。这种延迟称为调度抖动（scheduling jitter）。
二、Linux 调度模型对比
2.1 标准内核
标准内核的抢占模型有几种配置：
| 配置 | 说明 | 最大延迟 |
|---|---|---|
| CONFIG_PREEMPT_NONE | 无抢占，内核态不抢占 | 数十ms |
| CONFIG_PREEMPT_VOLUNTARY | 自愿抢占，内核代码中主动检查 | 几ms |
| CONFIG_PREEMPT | 内核态可抢占（除持锁临界区） | 亚ms级 |
| CONFIG_PREEMPT_RT | 完全抢占，几乎无不可抢占区 | 微秒级 |
标准内核即使用了PREEMPT，仍然存在大量不可抢占的临界区（自旋锁保护的代码段），实时性不够。
2.2 PREEMPT_RT 内核
PREEMPT_RT 补丁的核心改造：
- 自旋锁转为 rt_mutex：允许在锁保护的临界区中被抢占
- 中断线程化：硬中断处理变为内核线程，可被高优先级线程抢占
- 高精度定时器：替代传统低精度时钟，支持微秒级定时
- 优先级继承：解决优先级反转问题
改造后，内核中几乎不再存在不可抢占的代码路径，最大调度延迟可控制在几十微秒以内。
三、PREEMPT_RT 补丁安装与内核配置
3.1 获取补丁
# 以Linux 5.15为例wgethttps://cdn.kernel.org/pub/linux/kernel/v5.x/linux-5.15.tar.xzwgethttps://cdn.kernel.org/pub/linux/kernel/projects/rt/5.15/patch-5.15-rt59.patch.xztarxf linux-5.15.tar.xzcdlinux-5.15 xzcat../patch-5.15-rt59.patch.xz|patch-p1注意：补丁版本必须和内核版本严格匹配，否则打不上。
3.2 内核配置
makemenuconfig关键配置项：
General setup ---> Preemption Model (Fully Preemptible Kernel (Real-Time)) [*] Fully Preemptible Kernel (Real-Time) # 选择PREEMPT_RT CPU/Task time and stats accounting ---> [*] Pressure stall information tracking # 可选，监控压力 Kernel hacking ---> [*] Debug preemptible kernel # 调试可关，影响性能编译安装：
make-j$(nproc)sudomakemodules_installsudomakeinstall3.3 验证
uname-a# 输出应包含 PREEMPT RT# 检查实时内核标志grepPREEMPT /proc/version四、线程优先级设置
4.1 调度策略
Linux 实时调度策略有两种：
| 策略 | 说明 |
|---|---|
| SCHED_FIFO | 先进先出，同优先级不轮转，除非主动让出否则一直运行 |
| SCHED_RR | 时间片轮转，同优先级按时间片轮流执行 |
工控中SCHED_FIFO 用得最多——实时线程不需要时间片轮转，高优先级线程就该独占 CPU 直到主动让出。
4.2 设置优先级
#include<sched.h>#include<stdio.h>intset_realtime_priority(intpriority){structsched_paramparam;param.sched_priority=priority;// SCHED_FIFO优先级范围：1~99if(sched_setscheduler(0,SCHED_FIFO,¶m)!=0){perror("sched_setscheduler failed");return-1;}return0;}// 使用：设置优先级为80set_realtime_priority(80);优先级分配建议：
- 90~99：最关键的实时控制线程（如运动控制）
- 80~89：数据采集线程
- 70~79：通信线程
- 1~69：辅助实时任务
4.3 限制实时线程CPU占用
# 允许用户设置实时优先级（非root用户需要）sudosh-c'echo "username rtprio 99" >> /etc/security/limits.conf'sudosh-c'echo "username memlock unlimited" >> /etc/security/limits.conf'五、CPU 亲和性绑定
5.1 为什么需要绑核
多核系统上，线程可能在不同核心间迁移，导致缓存失效（cache miss），增加延迟。绑定到固定核心可以消除这个开销。
5.2 设置亲和性
#define_GNU_SOURCE#include<sched.h>intset_cpu_affinity(intcpu){cpu_set_tcpuset;CPU_ZERO(&cpuset);CPU_SET(cpu,&cpuset);// 绑定到指定核心if(sched_setaffinity(0,sizeof(cpuset),&cpuset)!=0){perror("sched_setaffinity failed");return-1;}return0;}// 将实时线程绑定到CPU1（CPU0留给系统）set_cpu_affinity(1);5.3 内核隔离（isolcpus）
在内核启动参数中隔离 CPU 核心，避免普通进程调度到该核心：
# /etc/default/grubGRUB_CMDLINE_LINUX="isolcpus=1 nohz_full=1 rcu_nocbs=1"sudoupdate-grubsudorebootisolcpus=1：从调度器中移除CPU1，普通进程不会分配到该核心nohz_full=1：CPU1上无固定时钟中断（tickless）rcu_nocbs=1：RCU回调不在CPU1上执行
六、内存锁机制
6.1 为什么要锁内存
Linux 的虚拟内存机制会在内存不足时把不常用的页面换出到 swap 分区。如果实时线程的代码或数据被换出，访问时会触发缺页中断，产生不可预测的延迟。
6.2 mlockall 锁定内存
#include<sys/mman.h>// 锁定当前进程所有内存页（包括未来分配的）if(mlockall(MCL_CURRENT|MCL_FUTURE)!=0){perror("mlockall failed");return-1;}MCL_CURRENT：锁定当前已映射的所有页面MCL_FUTURE：锁定未来分配的所有页面
6.3 预分配栈空间
#include<pthread.h>void*rt_thread(void*arg){// 预触碰栈空间，确保栈页面已分配volatilecharstack_mem[256*1024];// 256KB栈for(size_ti=0;i<sizeof(stack_mem);i+=4096){stack_mem[i]=0;// 每页写一次，触发缺页}// 实时任务循环while(1){// 控制逻辑...sched_yield();// 或使用定时等待}returnNULL;}intmain(){mlockall(MCL_CURRENT|MCL_FUTURE);pthread_ttid;pthread_attr_tattr;pthread_attr_init(&attr);// 设置栈大小size_tstacksize=512*1024;pthread_attr_setstacksize(&attr,stacksize);pthread_create(&tid,&attr,rt_thread,NULL);pthread_join(tid,NULL);return0;}七、减少调度抖动实践
7.1 关闭不必要的守护进程
# 查看运行的服务systemctl list-units--type=service--state=running# 关闭典型的不必要服务sudosystemctl stop bluetoothsudosystemctl stop cupssudosystemctl stop avahi-daemonsudosystemctl stop NetworkManager# 如果不用桌面环境7.2 禁用 swap
# 临时禁用sudoswapoff-a# 永久禁用：注释/etc/fstab中的swap行sudosed-i'/swap/s/^/#/'/etc/fstab7.3 禁用节能模式
CPU 频率缩放和 C-states 都会增加延迟：
# 设置为performance模式sudocpupower frequency-set-gperformance# 禁用C-states（内核参数）# 在GRUB中添加：processor.max_cstate=0 intel_idle.max_cstate=0八、实时性能测试：cyclictest
8.1 安装与运行
sudoaptinstallrt-tests# 测试：优先级80，间隔1000μs，持续60秒，绑核1sudocyclictest-p80-i1000-d0-t1-a1-D60m8.2 结果解读
输出示例：
T: 0 ( 1234) P:80 I:1000 C: 3600000 Min: 3 Act: 7 Avg: 8 Max: 47| 字段 | 含义 |
|---|---|
| T | 线程编号 |
| P | 优先级 |
| I | 间隔(μs) |
| C | 执行次数 |
| Min | 最小延迟(μs) |
| Act | 实际延迟(μs) |
| Avg | 平均延迟(μs) |
| Max | 最大延迟(μs) |
评判标准：
| 最大延迟 | 评价 |
|---|---|
| < 50μs | 优秀，满足绝大多数工控需求 |
| 50~100μs | 良好，满足大部分实时控制 |
| 100~500μs | 一般，可用于非严格实时场景 |
| > 500μs | 差，需要进一步优化或换硬件 |
标准内核跑 cyclictest 最大延迟通常在几ms到几十ms，PREEMPT_RT 内核可压到几十微秒。
九、实时优化配置清单
| 优化项 | 操作 | 效果 |
|---|---|---|
| 内核 | 安装PREEMPT_RT补丁 | 消除内核不可抢占区 |
| 调度策略 | SCHED_FIFO + 高优先级 | 确保实时线程优先调度 |
| CPU亲和性 | sched_setaffinity绑核 | 消除核间迁移开销 |
| 核隔离 | isolcpus + nohz_full | 减少核心上的干扰 |
| 内存锁 | mlockall | 防止缺页中断 |
| 栈预分配 | 预触碰栈页面 | 避免运行中缺页 |
| 禁用swap | swapoff | 杜绝换页延迟 |
| CPU性能模式 | performance governor | 消除频率切换延迟 |
| 禁用C-states | max_cstate=0 | 消除CPU唤醒延迟 |
| 关闭守护进程 | 停用不必要服务 | 减少后台干扰 |
十、注意事项
实时线程不能占满 CPU。这是最常见的误区。
PREEMPT_RT 是软实时，不是硬实时。如果实时线程的 CPU 占用率持续接近 100%，会导致：
- 系统守护进程饿死（如 watchdog 触发系统重启）
- 网络栈无法收包导致丢包
- 驱动中断处理被延迟
经验法则：实时线程的 CPU 占用率不要超过 70%~80%，留出余量给系统线程。如果计算量大，考虑：
- 用专用核心隔离运行实时线程
- 将非实时工作（如数据上传、日志记录）放到普通优先级线程
- 多核系统上，实时线程绑一个核，系统线程留在其他核
// 正确做法：实时循环中有让出CPU的机制while(running){// 实时控制逻辑（耗时<500μs）do_control();// 精确等待到下一个周期，期间CPU空闲clock_nanosleep(CLOCK_MONOTONIC,TIMER_ABSTIME,&next_wakeup,NULL);next_wakeup.tv_nsec+=PERIOD_NS;// 处理纳秒溢出...}实时性优化的核心思路：减少一切不确定性——不确定的中断、不确定的换页、不确定的调度、不确定的频率切换，通通干掉。