深入剖析Swap机制：从swap_info_struct到swp_entry_t的全链路解析

1. 理解Swap机制的基本概念

第一次在服务器上看到"OOM Killer"日志时，我才真正意识到Swap机制的重要性。那是一个深夜，监控系统突然报警，我们的在线服务响应时间飙升。查看日志发现，物理内存耗尽后系统开始疯狂使用Swap空间，最终触发了OOM Killer杀死了几个关键进程。这次事故让我下定决心要彻底搞懂Linux的Swap机制。

Swap机制本质上是操作系统的一种内存扩展技术。当物理内存(RAM)不足时，内核会将部分暂时不用的内存页移动到预先配置的交换空间(Swap Space)中，这个移动过程称为Swap Out。当应用程序再次需要访问这些数据时，内核又会将它们从交换空间移回物理内存，这个过程称为Swap In。这种机制就像是一个应急仓库，当主仓库(物理内存)放不下时，把不太常用的货物暂时存放到备用仓库(交换空间)中。

现代Linux内核中，Swap机制已经发展得非常成熟。它不仅支持传统的交换分区(Swap Partition)，还支持交换文件(Swap File)，给系统管理员提供了更灵活的配置选择。在实际生产环境中，合理配置Swap空间可以显著提高系统的稳定性，特别是在处理突发内存需求时。

2. Swap机制的核心数据结构

2.1 swap_info_struct：交换区的控制中心

每个配置的交换区(分区或文件)在内核中都由一个swap_info_struct结构体来管理。这个结构体就像是交换区的"身份证"和"管理手册"，包含了这个交换区的所有关键信息。

struct swap_info_struct { unsigned long flags; // 交换区状态标志 int prio; // 交换区优先级 struct file *swap_file; // 交换文件指针 struct block_device *bdev; // 块设备指针 struct list_head extent_list; // 交换区扩展列表 struct rb_root swap_extent_root; // 红黑树根节点 unsigned int max; // 最大slot数 unsigned char *swap_map; // slot使用情况映射表 // ...其他成员省略... };

其中几个关键字段特别值得关注：

• prio字段决定了交换区的使用优先级，数值越大优先级越高。内核会优先使用高优先级的交换区。
• swap_map是一个数组，记录了每个slot的使用情况。当值为0表示空闲，大于0表示正在使用(值表示引用计数)。
• swap_extent_root是红黑树的根节点，用于高效管理交换区的物理布局。

2.2 swap_map：slot的使用情况簿记

swap_map是理解Swap机制的关键之一。它是一个字节数组，每个元素对应交换区中的一个slot。slot可以理解为交换区中的"车位"，每个车位可以停放一个内存页(通常是4KB)。

当内核需要换出一个内存页时，它会在swap_map中寻找值为0的元素(空闲slot)，然后将其值设为1。如果多个进程共享同一个换出页，引用计数会相应增加。当页被换回内存时，引用计数会减少，当计数归零时，slot就被标记为空闲。

这种设计带来了几个好处：

1. 快速查找空闲slot：内核可以快速扫描swap_map找到可用位置
2. 引用计数：支持共享内存页的正确换入换出
3. 空间利用率：可以精确管理交换区的每个slot

2.3 swp_entry_t：交换页的"快递单号"

swp_entry_t是一个特殊的数据类型，它唯一标识了一个被换出的内存页。可以把它想象成快递单号，通过这个单号可以找到包裹(内存页)当前存放在哪个仓库(交换区)的哪个货架(slot)上。

typedef struct { unsigned long val; } swp_entry_t;

虽然看起来只是一个简单的unsigned long，但它实际上编码了两个关键信息：

• 交换区编号(type)：高几位表示使用哪个交换区(对应swap_info_struct数组的索引)
• slot偏移量(offset)：低几位表示在交换区中的具体位置

内核提供了专门的宏来操作swp_entry_t：

#define swp_type(x) (((x).val) & 0x1F) // 提取交换区类型 #define swp_offset(x) ((x).val >> 5) // 提取slot偏移量 #define swp_entry(type, offset) ((swp_entry_t){(type) | (offset) << 5}) // 创建entry

3. Swap Out：内存页到交换区的旅程

3.1 触发Swap Out的条件

Swap Out不是随机发生的，它通常由以下条件触发：

1. 直接内存回收(Direct Reclaim)：当进程尝试分配内存但系统没有足够空闲页时
2. 内核守护进程kswapd：这个后台线程会定期检查内存压力，在系统空闲时提前进行内存回收
3. 系统管理员手动触发：通过echo 1 > /proc/sys/vm/drop_caches等命令

在实际观察中，我发现一个有趣的现象：Linux内核并不等到内存完全耗尽才开始Swap Out，而是有一个称为"水位线"(watermark)的机制。系统会设置三个水位线：

• 高水位线(high)：当空闲内存高于此值时，kswapd进入休眠
• 低水位线(low)：当空闲内存低于此值时，kswapd开始工作
• 最低水位线(min)：当空闲内存低于此值时，直接回收开始工作

3.2 选择要换出的内存页

不是所有内存页都适合被换出。内核使用LRU(Least Recently Used)算法来选择候选页。具体来说：

1. 活动链表(active_list)：存放最近被访问过的页
2. 非活动链表(inactive_list)：存放较长时间未被访问的页

内核会优先尝试换出非活动链表中的页。为了更精确地判断页的活跃程度，内核还实现了第二次机会算法和时钟算法等变种。

在实际项目中，我遇到过因为错误配置swappiness参数导致性能问题的情况。这个参数(0-100)控制内核倾向于回收匿名页(进程堆栈等)还是文件缓存。对于数据库服务器，通常建议设置为较低值(如10)，因为数据库自己有完善的缓存管理机制。

3.3 分配交换区slot的完整流程

当内核确定要换出一个页后，就需要在交换区中为它找一个"家"。这个过程比想象中要复杂：

1. 选择交换区：内核遍历swap_avail_heads链表，寻找优先级最高的可用交换区。如果有多个相同优先级的交换区，内核会轮询使用它们以实现负载均衡。

2. 查找空闲slot：在选定的交换区中，内核会扫描swap_map数组寻找值为0的slot。为了提高效率，内核会维护一些辅助信息来加速查找。

3. 处理swap_extent：现代Linux内核使用swap_extent结构来管理交换区的物理布局。每个swap_extent描述了一段连续的磁盘块：

struct swap_extent { struct list_head list; unsigned long start_page; // 起始slot号 unsigned long nr_pages; // 连续slot数量 sector_t start_block; // 起始磁盘块号 };

这些extent组织成红黑树，使得内核可以快速根据slot号找到对应的物理磁盘位置。

4. 更新数据结构：找到合适slot后，内核会：
   • 将swap_map对应位置1
   • 必要时创建新的swap_extent或扩展现有extent
   • 更新各种统计信息

4. Swap In：交换区到内存页的回归

4.1 缺页异常：Swap In的触发器

Swap In过程始于一个硬件异常——缺页异常(Page Fault)。当CPU尝试访问一个已经被换出的页时，会发现页表项中存放的不是物理地址，而是一个swp_entry_t。这会触发缺页异常，CPU转而执行内核的缺页处理程序。

在我的性能调优经历中，发现过多的Swap In会显著降低系统性能。一个典型的症状是系统负载很高但CPU利用率不高，同时磁盘I/O很高。这时vmstat命令的si/so字段会显示较高的数值。

4.2 解析swp_entry_t

缺页处理程序首先会解码swp_entry_t，提取出交换区编号(type)和slot偏移量(offset)。这个过程使用前面提到的swp_type和swp_offset宏实现。

这里有一个关键点：swp_entry_t中存储的是逻辑位置信息，而不是物理磁盘地址。这种间接寻址带来了很大的灵活性：

• 交换区可以在磁盘上不连续存放
• 可以动态添加/删除交换区
• 交换区可以是分区也可以是文件

4.3 从slot到物理磁盘块

有了交换区编号和slot号后，内核需要找到数据实际存放在磁盘的哪个位置：

1. 通过type索引swap_info数组，找到对应的swap_info_struct
2. 在swap_extent_root红黑树中搜索包含目标slot的swap_extent
3. 计算物理磁盘块号：start_block + (offset - start_page)

我曾经遇到过一个棘手的bug：在某些特殊配置下，swap_extent的红黑树会出现损坏，导致系统无法正确换入页。最终通过分析crash dump发现是因为并发操作没有正确加锁。

4.4 数据读回与页表更新

找到物理磁盘位置后，内核会：

1. 分配一个物理页帧：如果内存紧张，可能触发新一轮Swap Out
2. 发起磁盘I/O读取页内容
3. 更新页表项：将swp_entry_t替换为物理地址
4. 减少swap_map中的引用计数：如果计数归零，标记slot为空闲

这个过程看似简单，但实际上需要考虑很多边界条件，比如：

• I/O错误处理
• 并发访问控制
• 内存分配失败
• 进程在等待期间被杀死

5. 关键数据结构的协作流程

5.1 数据结构的关系图谱

理解Swap机制的关键在于把握几个核心数据结构如何协同工作：

swap_avail_heads (优先级链表) │ ├─→ [swap_info_struct 0] (prio=5) │ ├─→ swap_map[0...N] → slots │ └─→ swap_extent_root (红黑树) │ ├─→ swap_extent_A: start_page=0, nr_pages=100, start_block=1024 │ └─→ ... │ └─→ [swap_info_struct 1] (prio=3) ├─→ swap_map[0...M] → slots └─→ swap_extent_root (红黑树) ├─→ swap_extent_C: start_page=0, nr_pages=200, start_block=4096 └─→ ...

5.2 Swap Out时的协作

1. 选择交换区：遍历swap_avail_heads链表，找到合适的swap_info_struct
2. 分配slot：在swap_map中标记使用位置
3. 管理物理布局：在swap_extent_root红黑树中查找/创建合适的swap_extent
4. 生成标识：创建swp_entry_t并更新页表项

5.3 Swap In时的协作

1. 解析位置：从swp_entry_t提取type和offset
2. 定位交换区：通过type索引swap_info数组
3. 查找物理位置：在swap_extent_root红黑树中搜索对应swap_extent
4. 更新状态：减少swap_map引用计数，必要时释放slot

6. Swap机制的性能优化设计

6.1 连续I/O优化

机械磁盘的随机I/O性能远低于顺序I/O。Swap机制通过swap_extent尽量保证换出的页在磁盘上连续存放，从而：

1. 减少磁盘寻道时间
2. 启用更大的I/O请求
3. 提高预读效率

在SSD上，这种优化的收益相对较小，但仍然有价值。我曾经测试过碎片化的交换文件与连续交换分区的性能差异，在HDD上差异可达5倍以上。

6.2 红黑树的高效查询

swap_extent_root使用红黑树这种自平衡二叉搜索树来组织swap_extent，保证了：

1. 查找时间复杂度为O(logN)
2. 插入/删除操作高效
3. 空间开销合理

相比简单的链表或数组，红黑树在交换区较大时优势明显。特别是在处理数百GB的交换文件时，线性查找的开销将变得不可接受。

6.3 优先级链表的灵活管理

swap_avail_heads优先级链表允许系统管理员：

1. 为不同交换区设置不同优先级
2. 动态添加/移除交换区
3. 实现负载均衡

在实际部署中，我通常会：

• 给SSD交换区设置更高优先级
• 将频繁访问的数据放在高性能存储上
• 使用多个小交换区而非单个大交换区以提高并行性

7. Swap机制的实践建议

7.1 交换区的配置选择

根据多年运维经验，我总结了以下配置建议：

1. 对于物理服务器：

   • 优先使用专用交换分区
   • 大小建议：内存<8GB时设为内存的2倍；内存≥8GB时设为等于内存大小
   • 考虑使用多个磁盘上的交换分区分散I/O负载

2. 对于虚拟机：

   • 如果主机有充足内存，可以完全不配置Swap
   • 否则使用交换文件更灵活
   • 注意交换文件的预分配和连续性

3. 对于容器环境：

   • Kubernetes等平台通常不建议使用Swap
   • 如果需要，确保cgroup限制配置正确

7.2 监控与调优

有效的Swap监控应该包括：

1. 实时监控：

   watch -n 1 'free -h; echo; vmstat 1 2'

2. 关键指标：

   • si/so(vmstat)：Swap In/Out速率
   • Swap使用量(free)
   • 缺页异常数量(sar -B)

3. 调优参数：

   • vm.swappiness：控制回收匿名页的倾向
   • vm.vfs_cache_pressure：控制回收文件缓存的倾向
   • vm.dirty_ratio：控制脏页写回行为

7.3 常见问题排查

1. 性能下降：

   • 检查si/so是否持续较高
   • 确认交换区是否位于慢速磁盘
   • 考虑增加物理内存或优化应用内存使用

2. 进程被OOM Killer杀死：

   • 检查dmesg日志
   • 分析内存使用模式
   • 可能需要调整overcommit设置

3. Swap空间耗尽：

   • 临时解决方案：创建额外交换文件
   • 长期方案：增加物理内存或优化应用

在内存密集型应用中，我通常会进行严格的内存压力测试，观察Swap行为，确保系统在内存压力下仍能保持可接受的性能水平。