GPU内存层次结构：隐藏的性能瓶颈
引言
GPU内存层次结构正日益成为深度学习研究人员和实践者关注的领域。通过建立对内存层次结构的直观理解，开发者可以最小化内存访问延迟、最大化内存带宽并降低功耗，从而实现更短的处理时间、加速数据传输和成本效益高的计算使用。对内存架构的透彻理解将使开发者能够充分发挥GPU的大规模性能潜力。
CUDA回顾
CUDA（计算统一设备架构）是某机构开发的并行计算平台，用于配置GPU。
CUDA程序的执行始于主机代码（CPU串行代码）调用内核函数。此函数调用在设备（GPU）上启动线程网格，以并行处理不同的数据组件。
线程由程序代码、代码中的当前执行点以及其变量和数据结构的值组成。一组线程形成一个线程块，一组线程块组成CUDA内核网格。软件组件（线程和线程块）直接对应其硬件对应物（CUDA核心和CUDA流多处理器）。
所有这些共同构成了GPU的组成部分。
线程被组织成块，块被组织成网格。
H100系列引入了新的线程块集群架构，将GPU的物理编程架构扩展到包括线程、线程块、线程块集群和网格。
CUDA内存类型
CUDA设备使用的内存存储类型具有不同程度的可访问性和持续时间。当CUDA程序员将变量分配给特定的CUDA内存类型时，他们决定了变量的访问方式、访问速度以及可见范围。
以下是不同内存类型的快速概述：
寄存器内存对每个线程是私有的。这意味着当特定线程结束时，该寄存器的数据将丢失。
本地内存也对每个线程是私有的，但比寄存器内存慢。
共享内存对同一块中的所有线程可访问，并持续到块的生存期。
全局内存保存的数据持续到网格/主机的生存期。所有线程和主机都可以访问全局内存。
常量内存是只读的，专为在内核执行期间不变的数据设计。
纹理内存是另一种只读内存类型，非常适合物理相邻的数据访问。与全局内存相比，其使用可以减少内存流量并提高性能。
GPU内存层次结构
速度-容量权衡
重要的是要理解，在内存访问效率方面，带宽和内存容量之间存在权衡。更高的速度与更低的容量相关。
寄存器
寄存器是GPU上最快的内存组件，组成直接向CUDA核心提供数据的寄存器文件。内核函数使用寄存器存储线程私有的频繁访问的变量。
寄存器和共享内存都是片上内存，驻留在这些内存中的变量可以以非常高的速度并行访问。
通过有效利用寄存器，可以最大化数据重用并优化性能。
缓存层级
现代处理器中存在多级缓存。到处理器的距离反映在这些缓存的编号方式中。
L1缓存
L1或一级缓存直接连接到处理器核心。当活动数据量超过SM寄存器文件容量时，它作为备份存储区域。
L2缓存
L2或二级缓存更大，通常跨SM共享。与L1缓存不同，只有一个L2缓存。
常量缓存
常量缓存捕获每个内核中频繁使用的变量，从而提高性能。
在设计大规模并行处理器的内存系统时，会有常量内存变量。重写这些变量将是冗余和无意义的。因此，像常量缓存这样的专用内存系统消除了对计算成本高的硬件逻辑的需求。
H100系列的新内存特性
Hopper通过其H100系列GPU引入了新特性，以增强其与先前某机构微架构相比的性能。
线程块集群
正如文章前面提到的，线程块集群随H100系列首次亮相，扩展了CUDA编程层次结构。线程块集群允许对比单个SM上的线程块更大的线程组进行更多的程序控制。
异步执行
异步执行的最新进展在Hopper架构中引入了张量内存加速器和异步事务屏障。
张量内存加速器单元允许在全局内存和共享内存之间高效传输大数据块。
异步事务屏障允许CUDA线程和片上加速器同步，无论它们是否物理位于不同的SM上。
H100系列包含在Ampere GPU架构中引入的异步屏障和新的异步事务屏障。
结论
将变量分配给特定的CUDA内存类型允许程序员精确控制其行为。这种指定不仅决定了变量的访问方式，还决定了这种访问发生的速度。存储在具有更快访问时间的内存类型（如寄存器或共享内存）中的变量可以快速检索，加速计算。相比之下，存储在较慢内存类型（如全局内存）中的变量以较慢的速度访问。此外，内存类型分配影响变量的使用范围以及与其他线程的交互。分配的内存类型决定了变量是可供单个线程、一个线程块还是网格中的所有线程访问。最后，H100系列作为当前AI工作流程的最先进GPU，引入了几个影响内存访问的新特性，如线程块集群、张量内存加速器单元和异步事务屏障。
参考文献
- 大规模并行处理器编程（第4版）
- Hopper白皮书
- CUDA回顾：CUDA编程模型 | 某机构技术博客
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）
公众号二维码
公众号二维码
