linux内存迁移

Linux 内存迁移（Page Migration）是内核在进程虚拟地址完全不变的前提下，将物理页面从一个地址透明搬运到另一个地址的核心机制。它是CMA、内存规整（Compaction）、NUMA 优化、内存热插拔的基础。

内存迁移定义：

虚拟地址 → 物理页的映射被修改，数据被拷贝到新物理页，旧页释放。进程完全无感知。

核心用途：

1. CMA 连续内存分配（你最关心）：回收被占用的 CMA 页，腾出大块连续物理内存。
2. 内存规整（Compaction）：解决外部碎片，满足高阶页（order>3）、巨页（HugeTLB）分配。
3. NUMA 节点迁移：把页移到本地节点，降低访存延迟。
4. 内存热插拔：下线物理内存前迁移走所有页。
5. 硬件场景：GPU / 设备内存、TEE 安全内存、保留区复用。

核心原理与流程

页面迁移不改变进程虚拟地址，仅调整物理页归属，关键路径在mm/migrate.c，核心步骤如下：

1. 隔离页面：通过folio_isolate_lru()从 LRU 链表移除目标页，递增引用计数（refcount），防止迁移中被释放。
2. 锁定与同步：锁定旧页与新页，确保写回（writeback）完成，避免数据不一致。
3. 页表转换：将旧页所有页表项转为迁移条目（migration entry），此时访问者会阻塞等待；若 mapcount 非零则放弃迁移。
4. 内容迁移：拷贝旧页内容到新页，更新页表指向新页，释放旧页。
5. 恢复与统计：解锁页面，更新页框计数器，更新迁移成功 / 失败统计。

不可迁移页面：

• 内核态不可移动页（MIGRATE_UNMOVABLE），如固定映射的内核内存；
• 共享页需CAP_SYS_NICE权限，否则跳过；
• 正在写回（writeback）或有外部引用的页。

页面可迁移性（MIGRATE_TYPES）

内核按能否迁移把页分成 4 类（mm/page_alloc.c）：

CMA 关键：CMA 区域页默认是MIGRATE_CMA，空闲时允许MIGRATE_MOVABLE借用；当驱动要分配时，内核把这些被借用页迁移出去，恢复连续。

完整迁移流程（内核态）

核心文件：mm/migrate.c入口：migrate_pages()/alloc_contig_range()（CMA 用）

1. 页面隔离（Isolate）

• 把目标页从 LRU 摘下 →isolate_lru_page()
• 页引用计数 +1，防止释放
• 标记为MIGRATE_ISOLATE，禁止新分配

2. 锁定与检查

• 锁页（lock_page()），确保无写回、无并发访问
• 检查：是否正在写回、是否有永久引用、是否不可迁移

3. 分配新页

• 按旧页属性（order、migratetype、nid）分配新物理页
• CMA 场景：新页从非 CMA 区域 MOVABLE分配

4. 页表冻结（Migration Entry）

• 把所有 PTE 替换为特殊迁移条目（swap entry-like）
• 访问会阻塞直到迁移完成 → 保证原子性

5. 数据拷贝 & 元数据迁移

• migrate_page_copy()：拷贝内容、PG 标志、引用计数
• migrate_page_move_mapping()：更新 address_space、radix tree、匿名页映射

6. 页表修复 & 解锁

• 用新页 PFN 替换迁移条目，刷新 TLB
• 解锁、释放旧页引用
• 旧页放回伙伴系统（CMA 页回到 CMA 池）

7. 失败回滚

• 迁移失败：恢复旧页映射、解除隔离、放回 LRU

CMA 内存迁移

CMA 分配连续内存的唯一核心动作就是迁移。

CMA 分配流程（含迁移）

1. cma_alloc()申请 N 个连续页
2. alloc_contig_range()核心：
   • start_isolate_page_range()：把目标范围设为MIGRATE_ISOLATE
   • __alloc_contig_migrate_range()：迁移所有被占用页
   • 范围全部空闲后，从 buddy 系统摘除
3. 迁移成功 → 返回连续物理页；失败 → 重试 / 报错

CMA 迁移特点

• 只迁移 MOVABLE/CMA 页
• 不可迁移页存在 → CMA 分配直接失败（最常见坑）
• 迁移对驱动完全透明：dma_alloc_coherent()自动走 CMA

三种迁移模式（enum migrate_mode）

// include/linux/migrate.h enum migrate_mode { MIGRATE_ASYNC, // 异步，不阻塞、不回收、快速失败（规整用） MIGRATE_SYNC_LIGHT,// 同步，轻度阻塞，不回收脏页 MIGRATE_SYNC, // 完全同步（CMA/热插拔用）：阻塞、回收、必成功 };

• CMA 强制用 MIGRATE_SYNC：必须确保迁移成功，才能腾出连续内存

内核 API（驱动 / 模块可用）

1. 通用页面迁移

// 迁移一页 int migrate_page(struct address_space *mapping, struct page *newpage, struct page *page, enum migrate_mode mode); // 迁移一页（folio 新版接口） int migrate_folio(struct address_space *mapping, struct folio *dst, struct folio *src, enum migrate_mode mode); // 批量迁移页链表 int migrate_pages(struct list_head *source, new_folio_t new, free_folio_t free, unsigned long private, enum migrate_mode mode, int reason, unsigned int *ret_succeeded);

2. CMA 专用（分配连续内存）

// 从 CMA 池分配连续页（会触发迁移） struct page *cma_alloc(struct cma *cma, size_t count, unsigned int align, bool no_warn); // 释放回 CMA void cma_release(struct cma *cma, struct page *pages, size_t count);

3. 保留内存映射（no-map 静态区）

// 静态 reserved-memory（no-map）需手动映射 void *vaddr = memremap(phys_addr, size, MEMREMAP_WC); memunmap(vaddr);

用户态接口 & 工具

1. 系统调用

• mbind()+MF_MOVE/MF_MOVE_ALL：迁移进程内存到指定 NUMA 节点
• migrate_pages()：跨进程迁移
• move_pages()：单页迁移

2. 命令行工具

# 迁移进程页到 NUMA 节点 migratepages <PID> <from-node> <to-node> # 查看迁移状态 cat /proc/vmstat | grep pgmigrate # pgmigrate_success 成功数 # pgmigrate_fail 失败数 # 查看 CMA cat /proc/meminfo | grep Cma cat /sys/kernel/debug/cma/cma_0/used # 查看页迁移类型（debug） cat /sys/kernel/debug/page_owner

Reserved Memory / 静态 / 动态 / CMA 迁移对比

性能与风险控制

1. 性能开销：
   • 迁移涉及页表修改、内存拷贝与 TLB 失效，高并发场景可能引入抖动；
   • 建议在业务低峰期执行，避免影响延迟敏感业务。
2. 失败排查：
   • 检查PGMIGRATE_FAIL计数器（/proc/vmstat）；
   • 确认目标节点有足够空闲内存（free -m）；
   • 验证权限（CAP_SYS_NICE）与页面可迁移性（numa_maps）。
3. 内存规整（Compaction）：
   • 目的：合并碎片生成高阶连续页（如大页），依赖迁移；
   • 触发时机：高阶分配失败、手动触发、后台kcompactd定期执行；
   • 监控：/proc/buddyinfo查看高阶页数量，/proc/pagetypeinfo查看迁移类型分布。

扩展场景

1. 设备内存迁移：GPU SVM 等场景通过migrate_vma_*/migrate_device_*API，将页在主机内存与设备私有内存间迁移；
2. 内存热插拔：依赖迁移实现节点上线 / 下线时的页重定位。

总结

Linux 内存迁移是 NUMA 优化、碎片整理的核心机制，核心依赖migrate_pages系统调用与numactl工具。实践中需关注权限、内存可用性与性能开销，结合numastat、numa_maps等工具定位问题。若需细粒度控制，可使用move_pages单页接口；若需整理碎片，手动触发compact_memory即可。