Linux内存优化：slab/slub分配器原理与实践
1. Linux 内存性能优化概述
作为一名长期从事Linux系统调优的工程师，我经常遇到内存性能瓶颈问题。今天我想分享的是Linux内核中slab/slub分配器的优化思想，这些经验对我设计高性能内存池和解决实际内存问题提供了很大帮助。
Linux内核的slab分配器源于一个朴素的想法：预先分配好那些频繁创建销毁的数据结构。但标准slab实现过于复杂，于是演化出了更轻量的slub分配器。本文讨论的"slab"实际上指的是slub实现。
2. 基础slab分配模型
2.1 单CPU场景
在单CPU环境下，slab的分配和释放非常简单高效：
- 每个CPU维护自己的空闲对象链表
- 分配时直接从链表头部获取对象
- 释放时将对象放回链表头部
- 整个过程无需加锁，操作时间复杂度为O(1)
这种设计完美实现了slab的初衷：快速分配和释放频繁使用的小对象。
2.2 多CPU场景的挑战
当扩展到多核CPU时，简单的单链表模型会遇到严重问题：
- 多个CPU同时分配对象时必然产生竞争
- 传统的解决方案是加锁，但这会显著增加延迟
- 测试表明，加锁情况下单个对象的分配时延可能增加5-10倍
3. 多核优化方案
3.1 每CPU缓存方案
最直接的优化思路是为每个CPU创建独立的数据结构：
- 每个CPU维护自己专属的空闲对象链表
- 分配和释放操作只在当前CPU的链表上进行
- 完全消除锁竞争，保持单核环境下的高效性
注意：这种方案虽然解决了锁竞争问题，但会引入新的内存均衡问题。
3.2 内存均衡问题
在实际运行中会出现这种情况：
- 某个CPU的slab缓存耗尽
- 其他CPU的slab缓存仍有大量空闲对象
- 如果直接从伙伴系统分配新页面，会导致：
- 内存分布不均衡
- 可能耗尽物理内存
这个问题需要特别关注，因为：
- 工作负载与CPU绑定：比如CPU0专门处理网络包，会大量分配skb结构
- 不能简单地从其他CPU"偷"对象，这违背了无锁设计的初衷
4. 分层slab缓存设计
4.1 三级缓存模型
Linux内核最终采用了类似CPU缓存的层次化设计：
Level 1缓存：
- 每CPU独享的空闲对象链表
- 分配释放无需加锁
- 访问速度最快，容量最小
Level 2缓存：
- 每CPU共享的页面级缓存
- 以整个页面为单位管理
- 需要获取页面锁，但锁粒度较小
Level 3缓存：
- 每NUMA节点共享的页面链表
- 全局共享，锁竞争最激烈
- 作为最后防线，避免频繁访问伙伴系统
4.2 工作流程示例
典型对象分配过程：
- 首先尝试从L1缓存获取对象（无锁）
- L1耗尽时，从L2缓存获取页面（页面级锁）
- L2耗尽时，从L3缓存获取页面（全局锁）
- 最后才向伙伴系统申请新页面
这种分层设计实现了：
- 90%以上的分配请求在L1完成（无锁）
- 8-9%的请求在L2完成（细粒度锁）
- 只有不到1%的请求需要全局锁
5. 伙伴系统优化
5.1 单页分配问题
slab分配的对象大多不超过一个页面，这会导致：
- 大量单页分配请求
- 伙伴系统频繁分裂高阶内存块
- 多核环境下锁竞争激烈
5.2 每CPU页面缓存
Linux的解决方案是引入每CPU页面缓存：
- 每个CPU维护自己的单页缓存池
- 常规单页分配直接从本地池获取（无锁）
- 缓存不足时批量从伙伴系统补充
- 缓存过多时批量返还给伙伴系统
这个设计显著减少了：
- 伙伴系统的调用频率（降低10-100倍）
- 内存分裂/合并操作（减少锁竞争）
- 缓存线失效（提高CPU缓存命中率）
6. 实践经验与建议
6.1 监控指标
在实际调优中，我通常会关注这些指标：
# 查看slab信息 cat /proc/slabinfo # 查看伙伴系统状态 cat /proc/buddyinfo # 查看每CPU页面缓存 cat /proc/zoneinfo | grep -A10 "pageset"6.2 调优参数
重要的可调参数包括：
/proc/sys/vm/min_free_kbytes：控制内存回收阈值/proc/sys/vm/drop_caches：手动释放slab缓存- slab分配器的
slub_min_objects和slub_max_order
6.3 常见问题排查
问题1：系统空闲内存很少，但slab占用很高
- 检查是否有内存泄漏（
slabtop查看不断增长的cache） - 考虑定时执行
sync; echo 3 > /proc/sys/vm/drop_caches
问题2：多核CPU利用率不均衡
- 检查NUMA绑定情况（
numastat） - 考虑调整进程CPU亲和性（
taskset或cgroups）
问题3：内存碎片化严重
- 监控
/proc/buddyinfo中长期缺少连续内存 - 考虑重启服务或使用
madvise(MADV_MERGEABLE)
7. 设计思想总结
通过分析Linux内存管理的优化历程，我总结了这些核心思想：
- 无锁化设计：通过每CPU数据结构消除锁竞争
- 分层缓存：类似CPU的L1/L2/L3缓存设计
- 批量操作：减少全局资源访问频率
- 惰性回收：避免过早释放可能重复使用的资源
这些思想不仅适用于内核开发，在用户态高性能程序设计中同样有效。我在设计内存池和缓存系统时，经常会参考这些经过验证的模式。