当前位置： 首页 > news >正文

05 - AMDGPU中的VRAM管理器

news 2026/5/3 18:42:47

难度: 🟡 进阶级
预计学习时间: 60分钟
前置知识: 04-drm_buddy核心数据结构详解

📋 概述

AMDGPU VRAM Manager是Buddy分配器和TTM框架之间的桥梁：

  • 🔗集成层: 将Buddy嵌入到TTM资源管理框架
  • 📊统计层: 追踪VRAM使用情况和分配统计
  • 🎯策略层: 处理对齐、范围、连续性等分配策略
  • 🔐并发控制: 使用互斥锁保护Buddy操作

本章深入分析VRAM Manager的实现，理解它如何协调各个组件。

5.1 struct amdgpu_vram_mgr 结构

完整定义

// drivers/gpu/drm/amd/amdgpu/amdgpu_vram_mgr.cstructamdgpu_vram_mgr{structttm_resource_managermanager;// 继承TTM资源管理器structdrm_buddymm;// ← Buddy分配器实例structmutexlock;// 保护并发访问u64 default_page_size;// 默认页大小atomic64_tvis_usage;// Visible VRAM使用量structlist_headreservations_pending;// 待处理的预留structlist_headreserved_pages;// 已预留的页面structlist_headallocated_vres_list;// 已分配资源列表};// VRAM资源结构structamdgpu_vram_mgr_resource{structttm_resourcebase;// TTM资源基类structlist_headblocks;// Buddy分配的块链表unsignedlongflags;// 分配标志struct{pid_tpid;// 分配进程PIDcharcomm[TASK_COMM_LEN];// 进程名}task;// 用于调试追踪structlist_headvres_node;// 链入allocated_vres_list};

字段详解

1. manager - TTM资源管理器接口
structttm_resource_managermanager;// 初始化时设置回调函数mgr->manager.func=&amdgpu_vram_mgr_func;// TTM通过这个接口调用VRAM Managerstaticconststructttm_resource_manager_funcamdgpu_vram_mgr_func={.alloc=amdgpu_vram_mgr_new,// 分配接口.free=amdgpu_vram_mgr_del,// 释放接口.debug=amdgpu_vram_mgr_debug,// 调试接口};
2. mm - Buddy分配器实例
structdrm_buddymm;// 这是核心！VRAM Manager使用mm管理所有VRAM// 所有分配最终调用: drm_buddy_alloc_blocks(&mgr->mm, ...)// 所有释放最终调用: drm_buddy_free_list(&mgr->mm, ...)
3. lock - 并发保护
structmutexlock;// 为什么需要锁？// - Buddy数据结构不是线程安全的// - 多个CPU核心可能同时分配/释放VRAM// - 需要保证操作的原子性// 使用模式mutex_lock(&mgr->lock);drm_buddy_alloc_blocks(&mgr->mm,...);// 操作Buddymutex_unlock(&mgr->lock);
4. vis_usage - Visible VRAM统计
atomic64_tvis_usage;// 追踪Visible VRAM的使用量// Visible VRAM是CPU可直接访问的区域，通常很小// 更新使用量if(block_in_visible_range(block)){atomic64_add(size,&mgr->vis_usage);}// 查询使用量u64amdgpu_vram_mgr_vis_usage(structamdgpu_vram_mgr*mgr){returnatomic64_read(&mgr->vis_usage);}

5.2 与DRM Buddy的集成

初始化流程

// drivers/gpu/drm/amd/amdgpu/amdgpu_vram_mgr.cintamdgpu_vram_mgr_init(structamdgpu_device*adev){structamdgpu_vram_mgr*mgr=&adev->mman.vram_mgr;structttm_resource_manager*man=&mgr->manager;// 1. 初始化互斥锁mutex_init(&mgr->lock);// 2. 初始化链表INIT_LIST_HEAD(&mgr->reservations_pending);INIT_LIST_HEAD(&mgr->reserved_pages);INIT_LIST_HEAD(&mgr->allocated_vres_list);// 3. 获取VRAM大小u64 vram_size=adev->gmc.real_vram_size;u64 chunk_size=PAGE_SIZE;// 4KB// 4. 初始化Buddy分配器 ← 关键步骤drm_buddy_init(&mgr->mm,vram_size,chunk_size);// 5. 设置默认页大小#ifdefCONFIG_TRANSPARENT_HUGEPAGEmgr->default_page_size=HPAGE_PMD_SIZE;// 2MB#elsemgr->default_page_size=2UL<<20;// 2MB#endif// 6. 初始化TTM资源管理器ttm_resource_manager_init(man,&adev->mman.bdev,vram_size);man->func=&amdgpu_vram_mgr_func;// 7. 注册到TTMttm_set_driver_manager(&adev->mman.bdev,TTM_PL_VRAM,man);ttm_resource_manager_set_used(man,true);return0;}

初始化后的状态：

amdgpu_device └── mman (memory manager) └── vram_mgr ├── manager (TTM接口) │ └── func = amdgpu_vram_mgr_func │ ├── mm (Buddy实例) │ ├── free_list[0..max_order] │ ├── roots[] │ ├── size = 8GB │ └── chunk_size = 4KB │ ├── lock (互斥锁) └── allocated_vres_list (空)

清理流程

voidamdgpu_vram_mgr_fini(structamdgpu_device*adev){structamdgpu_vram_mgr*mgr=&adev->mman.vram_mgr;structttm_resource_manager*man=&mgr->manager;// 1. 从TTM注销ttm_resource_manager_set_used(man,false);ttm_set_driver_manager(&adev->mman.bdev,TTM_PL_VRAM,NULL);// 2. 清理Buddy分配器drm_buddy_fini(&mgr->mm);// 3. 清理TTM资源管理器ttm_resource_manager_cleanup(man);// 4. 销毁互斥锁mutex_destroy(&mgr->lock);}

5.3 分配统计和跟踪

资源分配

// TTM调用的分配接口staticintamdgpu_vram_mgr_new(structttm_resource_manager*man,structttm_buffer_object*tbo,conststructttm_place*place,structttm_resource**res){structamdgpu_vram_mgr*mgr=to_vram_mgr(man);structamdgpu_bo*bo=ttm_to_amdgpu_bo(tbo);structamdgpu_vram_mgr_resource*vres;u64 size=tbo->base.size;u64 min_block_size;unsignedlongpages_per_block;// 1. 创建资源对象vres=kzalloc(sizeof(*vres),GFP_KERNEL);// 2. 初始化资源ttm_resource_init(tbo,place,&vres->base);INIT_LIST_HEAD(&vres->blocks);// 3. 设置分配标志vres->flags=0;if(place->flags&TTM_PL_FLAG_TOPDOWN)vres->flags|=DRM_BUDDY_TOPDOWN_ALLOCATION;if(bo->flags&AMDGPU_GEM_CREATE_VRAM_CONTIGUOUS)vres->flags|=DRM_BUDDY_CONTIGUOUS_ALLOCATION;if(bo->flags&AMDGPU_GEM_CREATE_VRAM_CLEARED)vres->flags|=DRM_BUDDY_CLEAR_ALLOCATION;// 4. 计算页大小和对齐if(bo->flags&AMDGPU_GEM_CREATE_VRAM_CONTIGUOUS){pages_per_block=~0ul;// 无限大，强制连续}else{pages_per_block=HPAGE_PMD_NR;// 2MB huge pagepages_per_block=max_t(u32,pages_per_block,tbo->page_alignment);}// 5. 执行Buddy分配mutex_lock(&mgr->lock);u64 fpfn=place->fpfn<<PAGE_SHIFT;// 起始地址u64 lpfn=place->lpfn<<PAGE_SHIFT;// 结束地址if(tbo->page_alignment)min_block_size=tbo->page_alignment<<PAGE_SHIFT;elsemin_block_size=mgr->default_page_size;// 调用Buddy分配drm_buddy_alloc_blocks(&mgr->mm,fpfn,lpfn?lpfn:mgr->mm.size,size,min_block_size,&vres->blocks,vres->flags);// 6. 记录分配信息（用于调试）vres->task.pid=task_pid_nr(current);get_task_comm(vres->task.comm,current);list_add_tail(&vres->vres_node,&mgr->allocated_vres_list);mutex_unlock(&mgr->lock);// 7. 计算起始PFNvres->base.start=calculate_start_pfn(vres);// 8. 更新Visible VRAM统计update_vis_usage(mgr,vres,true);*res=&vres->base;return0;}

资源释放

staticvoidamdgpu_vram_mgr_del(structttm_resource_manager*man,structttm_resource*res){structamdgpu_vram_mgr*mgr=to_vram_mgr(man);structamdgpu_vram_mgr_resource*vres;vres=to_amdgpu_vram_mgr_resource(res);// 1. 更新Visible VRAM统计update_vis_usage(mgr,vres,false);mutex_lock(&mgr->lock);// 2. 从分配列表移除list_del(&vres->vres_node);// 3. 释放所有Buddy块drm_buddy_free_list(&mgr->mm,&vres->blocks,0);mutex_unlock(&mgr->lock);// 4. 释放资源对象kfree(vres);}

Visible VRAM统计更新

// 辅助函数：更新Visible VRAM使用量staticvoidupdate_vis_usage(structamdgpu_vram_mgr*mgr,structamdgpu_vram_mgr_resource*vres,bool allocate){structamdgpu_device*adev=to_amdgpu_device(mgr);structdrm_buddy_block*block;u64 vis_size=adev->gmc.visible_vram_size;u64 usage=0;// 遍历所有块，统计Visible区域的使用量list_for_each_entry(block,&vres->blocks,link){u64 start=drm_buddy_block_offset(block);u64 size=drm_buddy_block_size(&mgr->mm,block);// 检查块是否在Visible区域if(start<vis_size){// 计算在Visible区域内的部分u64 end=start+size;if(end>vis_size)end=vis_size;usage+=end-start;}}// 更新统计if(allocate)atomic64_add(usage,&mgr->vis_usage);elseatomic64_sub(usage,&mgr->vis_usage);}

5.4 VRAM使用率监控

Sysfs接口

AMDGPU通过sysfs暴露VRAM使用信息：

// Sysfs属性定义// 总VRAM大小staticssize_tamdgpu_mem_info_vram_total_show(structdevice*dev,structdevice_attribute*attr,char*buf){structamdgpu_device*adev=dev_get_drvdata(dev);returnsysfs_emit(buf,"%llu\n",adev->gmc.real_vram_size);}// 已使用VRAMstaticssize_tamdgpu_mem_info_vram_used_show(structdevice*dev,structdevice_attribute*attr,char*buf){structamdgpu_device*adev=dev_get_drvdata(dev);structttm_resource_manager*man=&adev->mman.vram_mgr.manager;returnsysfs_emit(buf,"%llu\n",ttm_resource_manager_usage(man));}// Visible VRAM总大小staticssize_tamdgpu_mem_info_vis_vram_total_show(structdevice*dev,structdevice_attribute*attr,char*buf){structamdgpu_device*adev=dev_get_drvdata(dev);returnsysfs_emit(buf,"%llu\n",adev->gmc.visible_vram_size);}// 已使用Visible VRAMstaticssize_tamdgpu_mem_info_vis_vram_used_show(structdevice*dev,structdevice_attribute*attr,char*buf){structamdgpu_device*adev=dev_get_drvdata(dev);returnsysfs_emit(buf,"%llu\n",amdgpu_vram_mgr_vis_usage(&adev->mman.vram_mgr));}// 注册sysfs属性staticDEVICE_ATTR(mem_info_vram_total,S_IRUGO,amdgpu_mem_info_vram_total_show,NULL);staticDEVICE_ATTR(mem_info_vram_used,S_IRUGO,amdgpu_mem_info_vram_used_show,NULL);staticDEVICE_ATTR(mem_info_vis_vram_total,S_IRUGO,amdgpu_mem_info_vis_vram_total_show,NULL);staticDEVICE_ATTR(mem_info_vis_vram_used,S_IRUGO,amdgpu_mem_info_vis_vram_used_show,NULL);

使用示例

# 查看VRAM信息cd/sys/class/drm/card0/device# 总VRAM容量catmem_info_vram_total# 输出: 8589934592 (8GB)# 已使用VRAMcatmem_info_vram_used# 输出: 2147483648 (2GB)# Visible VRAM容量catmem_info_vis_vram_total# 输出: 268435456 (256MB)# 已使用Visible VRAMcatmem_info_vis_vram_used# 输出: 134217728 (128MB)

Debugfs接口

更详细的调试信息通过debugfs提供：

// drivers/gpu/drm/amd/amdgpu/amdgpu_vram_mgr.cstaticvoidamdgpu_vram_mgr_debug(structttm_resource_manager*man,structdrm_printer*p){structamdgpu_vram_mgr*mgr=to_vram_mgr(man);structamdgpu_device*adev=to_amdgpu_device(mgr);structdrm_buddy*mm=&mgr->mm;structamdgpu_vram_mgr_resource*vres;mutex_lock(&mgr->lock);// 打印整体统计drm_printf(p,"man size:%llu MiB\n",man->size>>20);drm_printf(p,"man usage:%llu MiB\n",ttm_resource_manager_usage(man)>>20);drm_printf(p,"man available:%llu MiB\n",(man->size-ttm_resource_manager_usage(man))>>20);// 打印Buddy状态drm_buddy_print(mm,p);// 打印每个分配的详细信息drm_printf(p,"\nAllocated resources:\n");list_for_each_entry(vres,&mgr->allocated_vres_list,vres_node){structdrm_buddy_block*block;drm_printf(p," PID:%d COMM:%s SIZE:%lluMB\n",vres->task.pid,vres->task.comm,vres->base.size>>20);// 打印块信息list_for_each_entry(block,&vres->blocks,link){drm_printf(p," Block: offset=0x%llx size=%lluKB order=%u\n",drm_buddy_block_offset(block),drm_buddy_block_size(mm,block)>>10,drm_buddy_block_order(block));}}mutex_unlock(&mgr->lock);}

Debugfs使用示例

# 查看详细的VRAM管理器状态cat/sys/kernel/debug/dri/0/amdgpu_vram_mm# 输出示例:# man size:8192 MiB# man usage:2048 MiB# man available:6144 MiB## buddy_mm size:8589934592# buddy_mm available:6442450944## Allocated resources:# PID:1234 COMM:glxgears SIZE:64MB# Block: offset=0x10000000 size=65536KB order=14# PID:1235 COMM:vkcube SIZE:128MB# Block: offset=0x20000000 size=131072KB order=15# ...

💡 重点提示

  1. VRAM Manager是桥梁: 连接TTM框架和Buddy算法，负责协调和策略。

  2. Buddy是引擎: 实际的分配算法由Buddy完成，VRAM Manager只是调用者。

  3. 互斥锁是关键: 所有Buddy操作必须在锁保护下，确保线程安全。

  4. 统计信息重要: Visible VRAM使用量、分配追踪等对调试和优化很有帮助。

  5. sysfs vs debugfs: sysfs提供基本统计，debugfs提供详细调试信息。

  6. 资源追踪: 记录每个分配的PID和进程名，便于追踪内存泄漏。

⚠️ 常见陷阱

❌陷阱1: “直接调用drm_buddy API”

  • ✅ 正确: 应该通过TTM接口，让VRAM Manager协调分配。

❌陷阱2: “忘记更新vis_usage”

  • ✅ 正确: 分配/释放Visible区域的块时必须更新vis_usage统计。

❌陷阱3: “在锁外操作Buddy”

  • ✅ 正确: 所有drm_buddy_*调用都必须在mgr->lock保护下。

❌陷阱4: “混淆总VRAM和Visible VRAM”

  • ✅ 正确: 它们是不同的区域，统计和限制都不同。

📝 实践练习

  1. 查看实际VRAM使用：

    # 在你的系统上查看VRAM信息cd/sys/class/drm/card0/deviceecho"Total VRAM:$(catmem_info_vram_total)bytes"echo"Used VRAM:$(catmem_info_vram_used)bytes"echo"Visible VRAM:$(catmem_info_vis_vram_total)bytes"echo"Used Visible:$(catmem_info_vis_vram_used)bytes"# 计算使用率

  2. 分析分配追踪：

    # 查看哪些进程分配了VRAMcat/sys/kernel/debug/dri/0/amdgpu_vram_mm# 找出最大的分配# 分析是否有内存泄漏

  3. 模拟分配场景：

    // 设计一个分配场景// 场景: 游戏启动// 1. 分配 512MB 纹理 (可以不连续)// 2. 分配 8MB framebuffer (必须连续, Visible区域)// 3. 分配 256MB compute buffer (可以不连续)// 计算:// - 每个分配调用drm_buddy_alloc_blocks几次?// - flags参数应该是什么?// - min_block_size应该设置为多少?// - 是否需要指定fpfn/lpfn?

📚 本章小结

  • amdgpu_vram_mgr: TTM和Buddy之间的集成层
  • 核心职责: 策略控制、并发保护、统计追踪
  • Buddy集成: 通过mgr->mm调用Buddy API
  • 监控接口: sysfs提供基本信息，debugfs提供详细调试
  • 资源追踪: 记录每个分配的来源，便于调试

VRAM Manager展示了如何将通用的Buddy算法集成到实际的驱动框架中，是理解驱动开发的好例子。

➡️ 下一步

理解了VRAM Manager的集成方式后，下一章将深入Buddy的核心算法——分配算法的实现细节。

👉 06-Buddy分配算法

http://www.jsqmd.com/news/746078/

相关文章：

  • GPT-SoVITS如何通过边缘计算优化实现毫秒级实时语音合成？
  • 从CREO到URDF：机器人开发的终极自动化转换指南
  • XXMI Launcher终极指南：一站式米哈游游戏模组管理神器
  • 如何构建macOS菜单栏管理系统：5个关键技术突破
  • PeachPy社区贡献指南：从用户到开发者的成长路径
  • 别再只用单片机点灯了！用Multisim仿真4017+运放，体验纯硬件流水灯的乐趣
  • 网盘直链解析助手：八大平台高效下载的完整解决方案
  • Phi-4-mini-reasoning商业应用：智能客服中复杂问题归因分析模块
  • php把运行时重构成常驻内存 + 多进程 + 事件驱动（Reactor） 模式完整流程=workerman
  • WinAppDriver环境搭建避坑大全：解决.NET依赖、版本冲突和‘找不到元素’的常见问题
  • Python模型配置统一管理方案（企业级配置中心落地全图谱）
  • STM32内核精讲 | 第四章 指令集基础 —— Thumb® 与 Thumb‑2
  • 拼多多以“技术驱动效率革命“为核心战略，聚焦供应链数字化与智能化升级
  • 通过curl命令直接测试Taotoken大模型API接口
  • ComfyUI-WanVideoWrapper深度解析：企业级AI视频生成架构与性能优化实战指南
  • 百度文库文档打印助手：5分钟掌握纯净文档获取技巧
  • 构建多 Agent 协作系统时如何通过 Taotoken 统一管理模型调用
  • 基于TMS320F28027的智能小车开发（一）：电机PWM驱动模块详解与避坑指南（附b站视频教程）
  • 告别风扇噪音与高温：FanControl让你的PC散热更智能
  • 某音a_bogus vmp逆向
  • 【2026年最新版】收藏备用！小白程序员必学的LLM智能体入门指南（从基础到实操）
  • Appium Inspector进阶玩法：除了看元素，这些隐藏功能让你的测试效率翻倍
  • OpenClaw从入门到应用——Agent：流式传输与分块
  • Fairseq-Dense-13B-Janeway保姆级教学：从显存监控（nvidia-smi）到生成质量评估全流程
  • 将 Hermes Agent 工具链接入 Taotoken 的统一模型平台
  • 开源本地化入门：从Presentify项目学习软件国际化与GitHub协作
  • 企业网里给奇安信天眼‘安家’：探针镜像口配置与网络规划的那些事儿
  • STM32开发工具
  • Octogen：让AI代理原生操作数据库，实现自然语言数据查询与分析
  • Clawtique：OpenClaw的模块化能力管理器，解决插件污染与依赖难题