【AI 工程师的 GPU 入门课】02 内存金字塔：HBM、SRAM 与不可逾越的“内存墙”

大家好，我是Tony Bai。

欢迎来到我们的专栏 《AI 工程师的 GPU 入门课》的第二讲。

上一讲我们提到，LLM 推理是典型的“大巴车”业务，需要高吞吐量。今天，我们来聊聊这辆大巴车最致命的弱点。

想象这样一个场景：你买了一台拥有 1000 个顶级厨师（GPU 核心）的超级厨房。这些厨师切菜、炒菜的速度快如闪电。但是，你的厨房里没有冰箱，食材全部存放在距离厨房 10 公里外的仓库（显存）里。

每当厨师要切一个土豆，快递员就必须骑车去仓库取一个土豆回来。厨师“咔嚓”一刀切完，只花了 0.01 秒，然后就只能坐着发呆，等待快递员花 1 小时把洋葱取回来。

在这个系统里，厨师的手速（算力）再快也没有意义，因为整体效率完全取决于快递员的车速（带宽）。

这就是 AI 工程领域著名的“Memory Wall”（内存墙）。

对于大模型推理而言，我们绝大多数时候都在面对这堵墙。今天，我们就来解剖 GPU 的内存金字塔，看看数据究竟是如何在 GPU 内部流动的，以及为什么“搬运数据”会成为万恶之源。

GPU 的内存金字塔：从仓库到工作台

当我们说“显存”时，我们通常指的是 GPU 规格表上写的那个数字（比如 RTX 5090 的 32GB 或 H100 的 80GB）。但这只是冰山一角。

GPU 的存储系统是一个层级分明的金字塔，越往上，速度越快，容量越小，价格越贵。

而且最关键的是，不同层级的内存，其“管理权限”是完全不同的。

让我们由下而上，一层层拆解：