Linux内核物理内存管理：伙伴系统、SLUB分配器与NUMA架构详解

在Linux内核开发与系统调优过程中，物理内存管理一直是核心且复杂的模块。无论是驱动开发、性能优化还是内核定制，深入理解物理内存管理机制都至关重要。本文将从硬件基础出发，逐步解析Linux内核物理内存管理的完整架构，涵盖内存探测、伙伴系统、SLUB分配器、NUMA架构等关键机制，并通过实际代码示例和操作命令展示内核内存管理的实际运作。

本文适合已经掌握Linux操作系统基础、有一定内核源码阅读经验的开发者。通过学习，你将能够理解内核如何管理物理内存、如何诊断内存问题，并为后续内核开发打下坚实基础。

1. 物理内存管理基础概念

1.1 物理内存与虚拟内存的关系

在深入物理内存管理之前，需要明确物理内存与虚拟内存的区别。物理内存是实际存在的硬件内存芯片，而虚拟内存是操作系统为每个进程提供的抽象地址空间。Linux内核通过内存管理单元（MMU）将虚拟地址转换为物理地址，这个过程对应用程序完全透明。

物理内存管理的主要职责包括：

• 检测系统可用的物理内存范围
• 管理物理页面的分配和释放
• 处理内存碎片化问题
• 优化内存访问性能

1.2 物理内存的基本单位：页帧

Linux内核将物理内存划分为固定大小的页帧（Page Frame），通常为4KB（x86架构）。每个页帧是内存分配的基本单位，内核使用struct page结构体来跟踪每个页帧的状态信息。

// 内核源码示例：include/linux/mm_types.h struct page { unsigned long flags; // 页标志位 atomic_t _count; // 引用计数 atomic_t _mapcount; // 映射计数 unsigned long private; // 私有数据 struct address_space *mapping; // 地址空间 pgoff_t index; // 页偏移 struct list_head lru; // LRU链表 void *virtual; // 虚拟地址 };

页帧的状态通过flags字段表示，包括是否脏页、是否可回收、是否被锁定等。理解struct page的结构是分析物理内存管理的基础。

1.3 内存管理区（Zones）

由于硬件限制，物理内存被划分为不同的管理区（Zones）。常见的ZONE包括：

• ZONE_DMA：用于DMA操作的内存区域（0-16MB）
• ZONE_NORMAL：正常映射的内存区域（16MB-896MB）
• ZONE_HIGHMEM：高端内存区域（896MB以上）

这种划分源于x86架构的历史限制，现代64位系统中ZONE_HIGHMEM通常为空。内核根据分配需求从不同的Zone中分配内存，确保兼容各种硬件设备。

2. 物理内存探测与初始化

2.1 启动阶段的内存探测

在系统启动时，内核需要通过BIOS或UEFI获取物理内存布局信息。x86架构使用e820内存映射表来记录可用的物理内存区域。

// 内核通过detect_memory()函数探测内存布局 void detect_memory(void) { detect_memory_e820(); // 使用e820调用获取内存映射 // 处理获取到的内存信息 }

获取到的内存信息被保存在e820_table中，内核根据这些信息建立物理内存的初始映射。

2.2 物理内存的初始化过程

内存探测完成后，内核进入初始化阶段：

// 简化的内存初始化流程 void setup_arch(char **cmdline_p) { // 1. 解析启动参数 parse_early_param(); // 2. 初始化内存映射 init_mem_mapping(); // 3. 初始化物理内存管理 paging_init(); // 4. 建立伙伴系统 free_area_init_nodes(); }

这个过程中，内核建立页表映射，初始化内存管理数据结构，为后续的内存分配做好准备。

2.3 查看系统内存信息

通过/proc接口可以查看系统的物理内存信息：

# 查看物理内存布局 cat /proc/iomem # 查看内存统计信息 cat /proc/meminfo # 查看伙伴系统状态 cat /proc/buddyinfo

这些命令为诊断内存问题提供了重要依据。例如，/proc/buddyinfo显示伙伴系统中不同order的可用页面数量，帮助分析内存碎片情况。

3. 伙伴系统（Buddy System）

3.1 伙伴系统的基本原理

伙伴系统是Linux内核物理内存管理的核心算法，用于解决外部碎片问题。其核心思想是将物理内存组织成不同大小的块（2的幂次方页），每个大小的块维护一个空闲链表。

当请求分配内存时：

1. 寻找大小合适的空闲块
2. 如果找到，直接分配
3. 如果找不到，将更大的块分裂成两个"伙伴"块
4. 分配其中一个，另一个加入对应大小的空闲链表

释放内存时：

1. 检查释放块的伙伴是否空闲
2. 如果伙伴空闲，合并成更大的块
3. 递归检查，直到无法合并为止

3.2 伙伴系统的核心数据结构

// 每个内存管理区维护自己的伙伴系统 struct zone { // ... 其他字段 struct free_area free_area[MAX_ORDER]; // 不同order的空闲区域 }; // 每个order对应的空闲链表 struct free_area { struct list_head free_list[MIGRATE_TYPES]; // 迁移类型的空闲链表 unsigned long nr_free; // 空闲页面数量 };

MAX_ORDER通常定义为11，表示最大的连续块大小为2^10页（4MB）。迁移类型（MIGRATE_TYPES）用于防止内存碎片，包括可移动、不可移动、可回收等类型。

3.3 内存分配函数分析

内核提供多个层次的分配函数：

// 核心分配函数 struct page *alloc_pages(gfp_t gfp_mask, unsigned int order); // 常用封装函数 unsigned long __get_free_pages(gfp_t gfp_mask, unsigned int order); void *__get_free_page(gfp_t gfp_mask); // 分配单页 // 最常用的页面分配接口 void *get_zeroed_page(gfp_t gfp_mask); // 分配并清零的页面

GFP（Get Free Page）标志控制分配行为，常见标志包括：

• GFP_KERNEL：内核正常分配，可能睡眠
• GFP_ATOMIC：原子分配，不会睡眠
• GFP_DMA：从DMA区域分配

3.4 伙伴系统的实际应用

通过内核模块可以演示伙伴系统的使用：

#include <linux/module.h> #include <linux/kernel.h> #include <linux/gfp.h> static int __init buddy_demo_init(void) { struct page *page; void *virt_addr; // 分配2个连续页面（order=1） page = alloc_pages(GFP_KERNEL, 1); if (!page) { printk(KERN_ERR "分配页面失败\n"); return -ENOMEM; } // 将物理页面映射到虚拟地址 virt_addr = page_address(page); printk(KERN_INFO "分配到的虚拟地址: %p\n", virt_addr); // 使用内存... memset(virt_addr, 0, PAGE_SIZE * 2); // 释放页面 __free_pages(page, 1); return 0; } static void __exit buddy_demo_exit(void) { printk(KERN_INFO "伙伴系统演示模块卸载\n"); } module_init(buddy_demo_init); module_exit(buddy_demo_exit); MODULE_LICENSE("GPL");

这个简单的模块展示了如何通过伙伴系统分配和释放连续物理页面。

4. SLUB分配器

4.1 SLUB分配器的角色

伙伴系统管理的是页面级的内存分配，但对于小对象（几十到几千字节）来说，直接使用页面分配会造成严重的内存浪费。SLUB分配器作为伙伴系统的上层封装，专门处理小内存对象的分配。

SLUB是SLAB分配器的改进版本，具有更简单的设计和更好的性能。它维护多个大小等级的缓存（kmem_cache），每个缓存管理特定大小的对象。

4.2 SLUB的核心数据结构

// SLUB缓存结构 struct kmem_cache { struct kmem_cache_cpu __percpu *cpu_slab; // 每CPU slab unsigned long flags; // 标志位 int size; // 对象大小 int object_size; // 实际对象大小 int offset; // 空闲指针偏移 struct kmem_cache_node *node[MAX_NUMNODES]; // 每个节点的slab }; // 每CPU的slab管理 struct kmem_cache_cpu { void **freelist; // 空闲对象链表 struct page *page; // 当前正在使用的slab页面 int tid; // 事务ID，用于并发控制 };

SLUB通过每CPU缓存减少锁竞争，提高并发性能。

4.3 kmalloc的实现原理

kmalloc是内核中最常用的内存分配函数，其底层基于SLUB分配器：

// kmalloc函数族 void *kmalloc(size_t size, gfp_t flags); void kfree(const void *objp); // 大小特定的分配函数 void *kmalloc_array(size_t n, size_t size, gfp_t flags); void *kcalloc(size_t n, size_t size, gfp_t flags);

kmalloc的工作流程：

1. 如果请求大小超过SLUB处理范围（通常为8KB），直接使用伙伴系统
2. 否则，找到合适大小的kmem_cache
3. 从每CPU缓存中获取空闲对象
4. 如果每CPU缓存为空，从共享的slab页面中补充

4.4 查看SLUB状态信息

通过/proc/slabinfo可以查看SLUB分配器的详细状态：

# 查看SLUB分配器状态 cat /proc/slabinfo # 更友好的显示方式 slabtop # 查看特定缓存的信息 cat /proc/slabinfo | grep kmalloc

这些信息对于诊断内存泄漏和性能问题非常有价值。例如，通过观察kmalloc-xxx缓存的活跃对象数量，可以判断是否存在内存泄漏。

5. NUMA架构下的内存管理

5.1 NUMA架构简介

NUMA（Non-Uniform Memory Access）是多处理器系统中的内存架构，每个CPU有本地内存，访问本地内存比访问远程内存更快。现代服务器大多采用NUMA架构。

Linux内核通过节点（Node）来管理NUMA内存，每个节点包含自己的内存管理区和伙伴系统。

5.2 NUMA相关的数据结构

// NUMA节点结构 typedef struct pglist_data { struct zone node_zones[MAX_NR_ZONES]; // 节点的内存管理区 struct zonelist node_zonelists[MAX_ZONELISTS]; // 备用区域列表 int nr_zones; // 区域数量 struct page *node_mem_map; // 页描述符数组 unsigned long node_start_pfn; // 起始页帧号 unsigned long node_present_pages; // 物理页面总数 unsigned long node_spanned_pages; // 总页面范围 int node_id; // 节点ID // ... 其他字段 } pg_data_t;

内核维护一个pg_data_t数组，每个元素对应一个NUMA节点。

5.3 NUMA感知的内存分配

内核提供NUMA感知的分配函数：

// 在特定节点上分配内存 struct page *alloc_pages_node(int nid, gfp_t gfp_mask, unsigned int order); // 在当前节点的本地内存分配 #define alloc_pages(gfp_mask, order) \ alloc_pages_node(numa_node_id(), gfp_mask, order)

通过numa_node_id()可以获取当前CPU所在的节点ID，从而实现本地内存分配。

5.4 查看NUMA内存信息

# 查看NUMA节点信息 numactl --hardware # 查看每个节点的内存统计 cat /sys/devices/system/node/node0/meminfo cat /sys/devices/system/node/node1/meminfo # 查看进程的NUMA内存分配 numastat -p <pid>

这些工具帮助优化应用程序的内存分配策略，减少跨节点访问带来的性能损失。

6. 物理内存的回收机制

6.1 内存回收的必要性

当系统内存紧张时，内核需要回收不再使用的页面来满足新的分配请求。内存回收主要包括页面换出（Swap Out）和缓存回收。

6.2 LRU链表机制

内核使用LRU（Least Recently Used）算法来管理页面的回收优先级：

// 页面的LRU管理 struct page { struct list_head lru; // LRU链表指针 // ... 其他字段 }; // LRU链表类型 enum lru_list { LRU_INACTIVE_ANON, // 非活跃匿名页 LRU_ACTIVE_ANON, // 活跃匿名页 LRU_INACTIVE_FILE, // 非活跃文件页 LRU_ACTIVE_FILE, // 活跃文件页 LRU_UNEVICTABLE, // 不可回收页 NR_LRU_LISTS };

内核定期扫描LRU链表，将长时间未访问的页面标记为可回收状态。

6.3 页面回收流程

页面回收的核心函数是shrink_page_list()：

// 简化的回收流程 static unsigned long shrink_page_list(struct list_head *page_list, struct pglist_data *pgdat, struct scan_control *sc) { LIST_HEAD(ret_pages); unsigned long nr_reclaimed = 0; while (!list_empty(page_list)) { struct page *page = lru_to_page(page_list); // 检查页面是否可回收 if (!page_mapped(page) && PageDirty(page)) { // 脏页需要写回 if (pageout(page, mapping)) { // 写回成功，加入回收列表 list_add(&page->lru, &ret_pages); nr_reclaimed++; } } } return nr_reclaimed; }

6.4 内存压力处理

内核通过水位线（Watermark）机制来触发内存回收：

// 内存管理区的水位线 struct zone { // ... 其他字段 unsigned long watermark[NR_WMARK]; // 水位线数组 }; // 水位线类型 enum zone_watermarks { WMARK_MIN, // 最低水位线，开始后台回收 WMARK_LOW, // 低水位线，开始直接回收 WMARK_HIGH, // 高水位线，停止回收 NR_WMARK };

当可用内存低于WMARK_LOW时，内核同步进行内存回收，可能导致进程阻塞。

7. 物理内存的性能优化

7.1 大页（Huge Page）支持

为了减少TLB Miss，Linux支持大页（通常2MB或1GB），大幅提高内存访问性能：

# 查看大页信息 cat /proc/meminfo | grep Huge # 配置大页数量 echo 20 > /proc/sys/vm/nr_hugepages # 使用大页的应用程序 # 在程序中使用mmap的MAP_HUGETLB标志

大页特别适合数据库、科学计算等需要大量连续内存的应用场景。

7.2 内存压缩技术

Linux内核的zswap和zram技术通过压缩内存页面来增加有效内存容量：

# 启用zram modprobe zram echo $((1024*1024*1024)) > /sys/block/zram0/disksize mkswap /dev/zram0 swapon /dev/zram0 # 查看zram状态 cat /sys/block/zram0/mm_stat

内存压缩在内存受限的嵌入式设备和移动设备中特别有用。

7.3 透明大页（Transparent Hugepages）

透明大页是内核自动将普通页面合并为大页的技术：

# 查看透明大页状态 cat /sys/kernel/mm/transparent_hugepage/enabled # 配置透明大页 echo always > /sys/kernel/mm/transparent_hugepage/enabled

透明大页减少了应用程序的配置负担，但可能带来内存碎片问题。

8. 物理内存问题诊断与调优

8.1 常见内存问题分析

内存泄漏诊断：

# 查看内存使用趋势 watch -n 1 'cat /proc/meminfo' # 检查slab泄漏 echo 1 > /proc/sys/vm/drop_caches # 清空缓存 cat /proc/slabinfo | sort -nr -k2 # 按活跃对象排序 # 使用kmemleak检测内核内存泄漏 echo scan > /sys/kernel/debug/kmemleak cat /sys/kernel/debug/kmemleak

内存碎片分析：

# 查看伙伴系统碎片情况 cat /proc/buddyinfo # 查看页面块分布 cat /proc/pagetypeinfo

8.2 内存性能监控工具

使用vmstat监控内存状态：

# 每秒刷新一次内存统计 vmstat 1 # 关键指标说明： # swpd: 使用的交换空间 # free: 空闲内存 # buff: 缓冲区内存 # cache: 页面缓存 # si: 页面换入 # so: 页面换出

使用numastat监控NUMA性能：

# 查看NUMA内存分配统计 numastat -c <进程名> # 关键指标： # numa_hit: 本地内存分配次数 # numa_miss: 远程内存分配次数 # numa_foreign: 本该本地却远程分配的次数

8.3 内核参数调优

调整内存回收参数：

# 降低swappiness，减少交换倾向 echo 10 > /proc/sys/vm/swappiness # 调整脏页写回阈值 echo 1500 > /proc/sys/vm/dirty_writeback_centisecs echo 10 > /proc/sys/vm/dirty_ratio # 调整透明大页策略 echo madvise > /sys/kernel/mm/transparent_hugepage/enabled

优化NUMA内存分配：

# 启用自动NUMA平衡 echo 1 > /proc/sys/kernel/numa_balancing # 设置内存分配策略 numactl --interleave=all <应用程序>

8.4 生产环境最佳实践

1. 监控预警设置：建立内存使用率、交换频率、OOM Killer触发次数的监控告警
2. 应用程序优化：对于内存敏感应用，使用mlock锁定关键内存，避免被换出
3. 内核版本选择：新版本内核通常有更好的内存管理特性，但需要充分测试
4. 硬件规划：根据工作负载特点合理规划内存容量和NUMA架构
5. 备份与恢复：重要的内存状态信息定期保存，便于问题复现和分析

通过系统化的监控、诊断和调优，可以显著提高系统的内存使用效率和稳定性。物理内存管理的深入理解是Linux系统性能优化的基石，需要结合理论知识和实践经验不断积累。