BPF工具实战：中断、SMP调用与缓存性能

1. 中断时间分析：softirqs 和 hardirqs

CPU在执行任务时，会花费一部分时间处理中断。传统工具如mpstat可以显示 CPU 在硬中断（%irq）和软中断（%soft）上的时间，但无法分解到具体的中断类型。BPF 工具hardirqs和softirqs可以按中断处理程序名称统计总耗时，帮助定位意外的高中断消耗。

1.1 softirqs：软中断统计

软中断由内核软件触发，常见类型包括net_rx（网络接收）、timer（定时器）、tasklet等。使用 BCC 的softirqs工具可以按类型汇总时间：

# 显示所有 CPU 上软中断的总耗时（毫秒）softirqs-p10

输出示例（基于原文同类工具逻辑）：

Tracing soft irq event time... Hit Ctrl-C to end. softirq TOTAL_msecs net_rx 1832 timer 654 tasklet 78 ...

添加-d参数还可以查看每个软中断的直方图分布，识别是否有异常的长尾延迟。

1.2 hardirqs：硬中断统计

硬中断由硬件设备发出，例如网卡队列中断、磁盘完成中断。hardirqs工具显示每个硬中断处理程序的总耗时：

hardirqs-C5

此工具对于发现“看不见”的 CPU 消耗特别有用——传统定时采样器可能错过中断处理时间，从而低估系统开销。

注意：在某些环境中，PMC（性能监控计数器）可能不可用或受限，此时 BPF 跟踪是分析中断的唯一手段。

2. 跨 CPU 调用：smpcalls

当内核需要在不同 CPU 上执行函数时，会使用smp_call_function_single()或smp_call_function_many()发送 IPI（处理器间中断）。BPF 工具smpcalls可以跟踪这些跨 CPU 调用的延迟分布。

常见导致慢速跨 CPU 调用的场景：

• 定时读取/proc/cpuinfo的snmp-pass服务，每次读取会触发内核遍历所有 CPU 并收集信息，造成大量 IPI。
• 电源管理驱动中的aperfmperf_snapshot_khz函数。

smpcalls输出示例（概念性）：

Tracing smp call latency... Hit Ctrl-C to end. FUNCTION TARGET_CPU COUNT AVG_us smp_call_function_single 23 100 342 smp_call_function_many 12 50 810 ...

通过观察高频、高延迟的调用，可以定位不必要的跨 CPU 交互，并采取优化措施（如调整监控策略、绑定进程到指定 CPU）。

3. 缓存性能：llcstat

末级缓存（LLC，Last-Level Cache）是 CPU 与内存之间的最后一级硬件缓存。LLC 的缺失率直接影响内存访问延迟，是分析 CPU 是否“内存瓶颈”的关键指标。

传统工具如perf stat -d可以展示 LLC 缺失率，但无法按进程/线程分解。BPF 工具llcstat利用 PMC 采样，统计每个进程的 LLC 缺失次数和命中次数，并计算缺失率：

llcstat-C3

输出包含：

• PID、进程名、LLC 命中次数、LLC 缺失次数、缺失率（%）。

结合这一信息，可以快速识别缓存压力大的进程，并进一步通过火焰图分析其代码路径。

3.1 补充：PMC 与 BPF 结合

BPF 程序可以与 PMC 事件联动。例如，通过perf_event_open()设置采样周期，在每次 LLC 缺失时触发 BPF 程序记录栈。下面是一个 bpftrace 单行命令，用于计数 LLC 缺失事件（假设硬件支持）：

bpftrace -e 'profile:hz:99 { @[kstack] = count(); }'

注意：这仅是一个定时采样示例，实际的 PMC 采样需通过perf或bcc的perf_event支持。

4. bpftrace 实践：中断与 IPI 计数

bpftrace 提供更灵活的探针编写方式。以下两个单行命令演示了如何对软中断和 IPI 进行计数：

4.1 软中断计数

bpftrace -e 'tracepoint:irq:softirq_entry { @[args->vec] = count(); }'

该命令在每次软中断进入时递增对应类型的计数，按中断向量号分类。

4.2 x2apic IPI 调用计数

bpftrace -e 'kprobe:x2apic_send_IPI* { @[func] = count(); }'

此命令对x2apic_send_IPI系列内核函数进行频率统计，反映 IPI 的发送情况。

5. 生产环境使用建议

• 低开销设计：上述工具（softirqs、hardirqs、llcstat、smpcalls）均基于 BCC/bpftrace 的 in-kernel 聚合，开销通常在可接受范围内，适合短时（几分钟）生产分析。
• 避免长时运行：高频中断场景下，即使 BPF 程序很轻量，持续运行也可能造成可测量的 CPU 开销。建议先判断问题严重性，再决定运行时长。
• 与 PMC 互补：当 PMC 不可用时，BPF 工具是唯一的信息来源；当 PMC 可用时，联合使用可以交叉验证。
• 优先使用 BCC 工具：BCC 工具经过充分测试且提供了友好的输出格式。bpftrace 更适合快速自定义探查。

6. 总结

BPF 工具为 CPU 性能分析带来了新的能力，尤其是在中断、跨 CPU 调用和缓存层面。通过softirqs/hardirqs可以了解 CPU 被中断消耗的细节；smpcalls暴露了跨核通信的延迟；llcstat将缓存缺失与进程关联。结合传统工具和火焰图，开发者可以更全面地定位性能瓶颈，而不会遗漏那些容易隐藏的硬件层问题。