Linux实时调度与PREEMPT-RT详解 RT调度器机理与硬实时工程实践
Linux实时调度与PREEMPT-RT详解_RT调度器机理与硬实时工程实践
本文从内核 RT 调度器的数据结构与策略写到PREEMPT-RT 实时补丁的工程手段，再收束到如何测量与区分软/硬实时。数字与延迟来自公开资料或典型测试配置时，会标明依赖平台、内核版本与负载；请勿把某块板卡上的单次cyclictest结果推广为全域承诺。
目录
- 1. RT 调度器在内核里管什么
- 2. 核心数据结构与 O(1) 选取思路
- 3. SCHED_FIFO 与 SCHED_RR
- 4. 与 CFS 的抢占关系及重新调度路径
- 5. PREEMPT-RT：通用 Linux 为何「不够硬实时」
- 6. 中断线程化（概念与工程效果）
- 7. 测量与验证：不止 cyclictest
- 8. 选型与边界：软实时、硬实时与业务含义
- 9. 初学者：文章够吗？从「懂原理」到「能动手」
- 9.4 源码打 PREEMPT-RT 补丁（流程梗概）
- 10. 延伸阅读线索与免责声明
1. RT 调度器在内核里管什么
Linux 把调度策略按调度类（sched_class）拆分。普通交互/批处理任务多在CFS（完全公平调度）下；需要固定优先级与可预期响应的任务使用实时类（SCHED_FIFO / SCHED_RR），由RT 调度器实现就绪集合管理与选路。
一句话：RT 调度器回答的是「在多个就绪的实时任务里，下一个该谁上 CPU」；它不单独解决「中断里跑太久」「自旋锁关抢占」等整个内核延迟预算问题——后者通常要PREEMPT-RT一类全局改造配合。
2. 核心数据结构与 O(1) 选取思路
下表用工程语言概括常见实现心智（细节随内核版本演进，以当前代码为准）。
| 对象 / 概念 | 作用 |
|---|---|
sched_rt_entity | 绑在任务上的「RT 侧身份」：优先级、运行时间统计、在队列中的链接关系等（与通用sched_entity分工不同）。 |
rt_rq（per-CPU） | 某 CPU 上所有就绪 RT 任务的运行队列视图；与顶层运行队列协作完成「本 CPU 下一个 RT 候选是谁」。 |
rt_sched_class | RT 调度类的vtable：选中下一个实体、enqueue/dequeue、tick 等行为；与fair_sched_class等并列。 |
rt_prio_array | 按优先级分桶：同一优先级一条 FIFO 链表；再用bitmap快速找到「当前最高的非空优先级」，使「选下一个就绪 RT 任务」在常见路径上接近O(1)（常数桶数，而非扫全任务表）。 |
3. SCHED_FIFO 与 SCHED_RR
| 策略 | 行为要点 | 典型注意 |
|---|---|---|
| SCHED_FIFO | 同优先级内FIFO；运行到阻塞、主动让出、或被更高优先级 RT 抢占为止；无固定时间片轮转（不是「一直占满 CPU 直到关机」——仍会触发调度事件）。 | 误用高优先级 FIFO 可能饿死低优先级任务；需完整权限与RLIMIT_RTPRIO等限制。 |
| SCHED_RR | 在 FIFO 语义上增加时间片；片尽排到同优先级队列尾部，实现同优级轮转。时间片默认值与内核/配置有关，文中「100ms」一类数字仅作数量级直觉。 | 与 FIFO 同属 RT 类，仍受系统总延迟与内核可抢占范围约束。 |
4. 与 CFS 的抢占关系及重新调度路径
- 跨类优先级：数值上较高的RT 优先级优先于CFS 普通任务（在调度类比较语义下体现为「RT 先于 fair」）。
- 重新调度（概念路径）：调度器在适当时机置位
TIF_NEED_RESCHED→ 内核在中断返回、系统调用返回等安全点进入__schedule()，完成任务切换。 - 组调度：若启用 RT 带宽/层级调度相关机制，实体上的
my_q一类字段可指向组内子队列，选路可能递归进组——具体行为依赖内核配置与 cgroup 版本。
5. PREEMPT-RT：通用 Linux 为何「不够硬实时」
主线内核即便开了抢占，仍存在大量不可预测长尾：
| 痛点 | 对实时任务意味着什么 |
|---|---|
| 中断上下文过长 | 硬件 ISR 优先级概念上高于普通任务，最坏情况延迟难以用调度类单独兜住。 |
| spinlock 临界区不可抢 | 持有自旋锁时不睡眠；高优任务可能被锁间接拖住（优先级反转风险）。 |
| 关闭抢占的临界区 | 关抢占段里的执行时间直接进入延迟上界。 |
PREEMPT-RT（实时补丁主线合入持续推进，具体能力以所用内核版本说明为准）通过一批内核级改造把「延迟上界」往可建模、可测试方向推：常见叙述包括中断线程化、把大量spinlock 变为可睡眠的实时互斥、优先级继承、高精度定时与更细粒度可抢占点等——不是简单「换一个 RT 调度器类名」。
6. 中断线程化（概念与工程效果）
6.1 传统上下文的限制
经典模型里ISR（上半部）在中断上下文：要求极短、不可睡眠；重活丢到tasklet / workqueue等下半部。即便这样，仍有一段必须在中断里完成的逻辑会与「可调度实体」争抢时间线。
6.2 PREEMPT-RT 的典型做法（概念）
- 硬件中断到达后，仅做最小应答（认中断、必要时 mask 等）。
- 绝大部分原 ISR 逻辑挪到kernel thread，具备独立
task_struct，受统一调度器管理。 - 这些线程可被赋予SCHED_FIFO / SCHED_RR等策略与优先级；更高优的 RT 任务可抢占中断服务线程——从而把「中断造成的不可抢占窗」压缩到极短硬路径。
6.3 相对传统路径的技术收益（归纳）
| 维度 | 传统长 ISR 风险 | 线程化后常见收益 |
|---|---|---|
| 最坏延迟 | ISR 可与 RT 任务在时间上强竞争 | 长处理进入可调度实体，截止时间更可控（仍非零）。 |
| 锁与优先级反转 | ISR 与会睡眠的锁语义难统一 | 与rt_mutex / PI在同一套调度与锁语义下推理。 |
| 可预测性 | 频中断场景难建模 | 负载仍重，但尖峰更容易用工具归因（见下一节）。 |
7. 测量与验证：不止 cyclictest
7.1 cyclictest 的定位
cyclictest（常见随rt-tests分发）通过周期唤醒线程并测量期望时刻 vs 实际唤醒的差值，输出最小/平均/最大延迟等，是工业界常用的基线工具。应在空载与加压（如stress-ng）下对照，避免「实验室空转」误导。
7.2 其它工具（按用途分族）
| 类别 | 工具示例 | 典型用途 |
|---|---|---|
| 延迟直方图 | cyclictest | 周期性唤醒统计，看 max/99.9% tail。 |
| 硬件/SMI 噪声 | hwlatdetect | 怀疑延迟来自SMI、固件、平台时，区分「内核还是板子」。 |
| 官方实时分析套件 | rtla（如timerlat、osnoise） | 定时器链路与系统噪声分解，新一代主力分析手段之一。 |
| 内核追踪 | ftrace、trace-cmd、perf | wakeup_rt等 tracer 追「唤醒→运行」路径；perf 看周期与微观 stalls。 |
| 加压 | stress-ng、hackbench | 制造 CPU/调度/IPC 负载；rteval一类组合脚本可打包负载 + 测量。 |
| PI / IPC 专项 | pi_stress、signaltest、pmqtest等（rt-tests 族） | 验证优先级继承、信号、POSIX IPC 延迟等机制是否正确。 |
| 网络实时 | sockperf、netperf | 微秒级延迟/抖动，偏实时以太网等场景（栈配置仍是大头）。 |
8. 选型与边界：软实时、硬实时与业务含义
| 说法 | 含义（工程上） |
|---|---|
| 软实时 | 尽力在截止时间内完成；偶发超时可容忍或以概率描述。 |
| 硬实时 | 超时即系统级失败；必须给出可证明或可测试的 Worst-Case上界（与业务安全/金融/控制相关时常用此标准）。 |
补丁 + 正确的隔离与配置（CPU 隔离、中断亲和、内存锁、禁用 C-states 等）一起才构成可交付方案；工具只负责度量与回归。
9. 初学者：文章够吗？从「懂原理」到「能动手」
直说：上面各节对「RT 调度器在干什么、PREEMPT-RT 在补什么洞」是够的；若你的目标是「我装什么、改什么、跑什么命令能开始试」——原来缺一块，下面用清单补上。详细编译与板级调参仍以发行版文档与 PREEMPT-RT 官方说明为准。
| 需求 | 本文已覆盖？ | 你还需去哪里补 |
|---|---|---|
| 理解SCHED_FIFO/RR、RT 与 CFS 关系 | 是 | 在真机用chrt做实验（见下） |
| 理解PREEMPT-RT 为何需要、中断线程化在讲什么 | 是 | 读目标内核版本的Kconfig/发布说明 |
| 获得带实时能力的内核 | §9.4梗概级（非手把手） | 首选发行版kernel-rt/linux-image-rt；自研板或必须定制时再走PREEMPT-RT 官方给出的版本对齐与补丁应用流程 |
| 用户态把线程/进程设为 RT | 仅列了 man 线索 | 见下最简命令；系统上常要调RLIMIT_RTPRIO、cgroup 等 |
| 跑通第一次延迟测试 | 有工具表、无命令行 | 见下cyclictest 示例 |
| 板级/系统调优 | 只点名词 | isolcpus/nohz_full/ 中断亲和 /mlock等需单开实验记录 |
9.1 用户态：给任务加 RT 策略（最小示例）
有 root 或足够RLIMIT_RTPRIO时，可用chrt试SCHED_FIFO（数字为优先级，视系统允许范围而定）：
# 以 FIFO 优先级 50 运行你的程序（需权限与配置允许）chrt-f50./your_realtime_appC 程序里则通过sched_setscheduler(2)/pthread_setschedparam(3)等 API 设置；误用高优先级会拖死系统，务必在受控环境试。
9.2 第一次跑 cyclictest（示例，非标准指标承诺）
# 单线程，1ms 周期，跑 60 秒，打印直方图；具体参数以 man 与目标平台为准cyclictest-m-s-p80-i1000-l60000-h在打 RT 内核前/后、空载/加压下各做一轮，对比max与尾部分布，比盯平均数更有用。
9.3 使用 PREEMPT-RT 时通常还动什么（概念表）
| 方向 | 常见手段（仅作线索） |
|---|---|
| 内核 | 使用CONFIG_PREEMPT_RT全量实时（或发行版已编好的 RT 内核）；关注合入主线进度与你的硬件树/驱动是否支持。 |
| 启动参数 | 常配合CPU 隔离（isolcpus）、nohz、将 RCU/非关键线程赶出隔离核等；具体拼法随引导器与需求而变。 |
| 硬件/固件 | 关 C-states、调 SMI、更新 BIOS；与hwlatdetect结果对照。 |
| 应用 | 关键线程mlock防换出、禁止在 RT 路径上分配大堆内存、把非 RT 工作迁到非隔离 CPU。 |
9.4 源码打 PREEMPT-RT 补丁（流程梗概）
此前各节只解释「为何要 PREEMPT-RT」，未单独写如何向内核树打补丁；这里给出与官方文档衔接的通用流程。细节仍以PREEMPT-RT / Linux Foundation Real Time当前页面的版本表与发布物为准——补丁的形态可能是单个大补丁、补丁队列，或基于Git 的 rt 分支，以维护者文档为准。
硬性规则：补丁所针对的Linuxx.y.z必须与源码树完全一致（含稳定版修订号）；版本错一位，patch就会大量Hunk FAILED，或编出来运行异常。
| 步骤 | 说明 |
|---|---|
| 1. 查版本对应 | 在官方 Wiki / 发布索引里找到「某主线版本 ↔ 当前 RT 补丁」；不要凭印象混用相邻版本。 |
| 2. 准备源码 | 下载对应Vanillalinux-x.y.z源码并解压到顶层目录（下面假设该目录即内核根）。 |
| 3. 应用补丁 | 典型命令形态：xzcat ../patch-x.y.z-rtN.patch.xz | patch -p1（从内核根目录执行，-p1剥一层路径）。若为多个.patch按序叠放，需按文档顺序逐个patch -p1 < ...。冲突时首先怀疑版本或已有本地改动。 |
| 4. 配置内核 | make menuconfig或基于旧配置make olddefconfig，打开Fully Preemptible Kernel（RT）一类选项；CONFIG_PREEMPT_RT等符号名随内核演进会调整，请在配置界面搜索PREEMPT/RT核对说明。 |
| 5. 编译与安装 | make -j$(nproc)（桌面常见）；模块与内核安装命令随发行版习惯（如make modules_install install，再update-grub）。 |
交叉编译（嵌入式）：导出ARCH、CROSS_COMPILE，必要时INSTALL_MOD_PATH；把生成的Image/zImage、dtb、模块同步到目标根文件系统；设备树与驱动须与板卡 BSP 一致，否则与「有没有打 RT」无关也会不稳定。
不想自己打补丁时：优先使用厂商或发行版已集成 RT 的内核包；只有缺官方支持或必须改调度/驱动相关选项时，再走自建内核。
结论：把全文当概念地图仍成立；打补丁一节只到「知道该按哪几步、去哪查版本」的程度；产品级构建仍要对照PREEMPT-RT 官方与目标硬件文档，而不是单独依赖本文。
10. 延伸阅读线索与免责声明
| 检索线索 | 用途 |
|---|---|
| PREEMPT-RT官方/wiki、合入主线说明 | 能力边界与内核版本对应关系。 |
Linux mansched_setscheduler、chrt | 用户态如何设置 FIFO/RR 与优先级。 |
| Kernel docscheduler、tracing、lockdep | 与 RT 调试强相关。 |
免责声明：调度与 RT 补丁实现随内核版本快速演进；本文以概念与选型为主，第九节仅为初学者入门线索；不替代具体内核源码阅读、发行版 RT 内核文档与安全关键系统的认证流程。测量数据高度依赖硬件、BIOS、内核配置与负载模型。
实时性首先是一个「上界能不能说清」的问题；调度类解决其中一块拼图，PREEMPT-RT 与测试体系解决另外几块。