大模型资源占用分析
大模型推理受到内存带宽的限制吗
大模型推理确实会受到内存带宽的严重限制，这在业界被称为“内存墙”（Memory Wall）。
不过，这种限制并不是贯穿推理的全过程，而是主要集中在生成文本的阶段（Decode 阶段）。我们可以把大模型的推理过程拆解为两个阶段来看：
1. 读题阶段（Prefill 阶段）：受限于计算能力
当你向大模型输入一大段提示词（Prompt）时，模型需要并行地处理这些输入内容。
特点：这是一个高度并行的计算过程，模型需要执行海量的矩阵乘法运算。
瓶颈：此时 GPU 的计算单元（如 Tensor Core）通常处于满负荷运转状态，算力被完全压榨。因此，这个阶段是计算受限（Compute-bound）的，瓶颈在于芯片的计算速度，而不是内存带宽。
2. 答题阶段（Decode 阶段）：严重受限于内存带宽
当模型开始逐个字（Token）生成回复时，情况就完全变了。
特点：这是一个自回归的过程，生成每一个新字，GPU都需要把之前所有输入和已生成内容的“记忆”（即 KV Cache）从显存中读取出来参与计算。
瓶颈：每生成一个字，计算量其实很小（类似于矩阵与向量相乘），但需要搬运的数据量却非常庞大。这就好比一位世界顶级的厨师（计算单元）切菜速度极快，但食材运输员（内存带宽）每秒只能从冷库里搬出一点点原料。厨师大部分时间都在“等米下锅”，处于闲置状态。因此，这个阶段是典型的内存带宽受限（Memory-bound）。
为什么内存带宽会成为核心瓶颈？
算力与带宽增长失衡：在过去十年里，AI 芯片的计算能力增长了约 80 倍，但内存带宽仅增长了约 17 倍。计算速度远远跑在了数据搬运速度的前面。
KV Cache 的累积：随着对话的进行，需要反复读取的 KV Cache 体积会越来越大，对显存带宽的压力也随之飙升。
这对我们有什么直观影响？
当你发现大模型在刚开始回复时很快（Prefill 阶段计算快），但后续文字生成的节奏变得拖沓、卡顿，或者在长文本对话中响应越来越慢时，这通常不是因为算力不够，而是被内存带宽卡住了脖子。
为了应对这个问题，目前业界也在通过提升硬件带宽（如采用 HBM 高带宽内存）、优化 KV Cache 管理、模型量化（减少数据搬运量）以及存内计算（PIM）等架构创新来试图打破这堵“内存墙”。
模型全部加载到显存中，还受带宽限制吗
依然会受到带宽的限制。
“模型全部加载到显存中”解决的是显存容量（VRAM Capacity）的问题，但这和显存带宽（VRAM Bandwidth）完全是两回事。我们可以通过一个非常直观的类比来理解：
显存容量：好比是厨房的大小，决定了你能在厨房里存放多少食材（模型参数）。
显存带宽：好比是冰箱到灶台的传送带速度，决定了你每秒钟能从冰箱里拿出多少食材下锅。
即使你的厨房（显存）足够大，把所有食材（模型）都装进去了，但如果传送带（带宽）的速度很慢，世界顶级的厨师（GPU计算单元）依然只能站在灶台前干等食材送过来。
为什么模型在显存里了，还需要极高的带宽？
在大模型逐字生成回复（Decode 阶段）时，模型需要每一次都从显存中把庞大的参数和之前积累的“记忆”（KV Cache）读取到计算核心中进行运算，生成完一个字后，再把这些数据写回显存。
这个过程是极其高频的。举个具体的例子：假设一个 10 亿参数（1B）的模型，在不压缩的情况下大约占用 2GB 显存。如果模型每秒需要推理生成 1000 个字，就意味着这 2GB 的数据每秒钟要在显存和计算单元之间完整地搬运 1000 次，理论上这就需要2000GB/s的显存带宽。
目前顶级的消费级显卡（如 RTX 5090）显存带宽也只有 1700GB/s 左右，而普通电脑的系统内存（DDR5）带宽通常只有 100GB/s 上下。所以，哪怕显存完全装得下模型，一旦带宽跟不上，计算单元就会处于“算力闲置”状态，也就是我们常说的“内存墙”瓶颈。
这也是为什么在本地跑大模型时，一张二手的 RTX 3090（拥有 936GB/s 的高带宽）生成文字的速度，会比用最新款 CPU 配合大容量系统内存（仅有约 96GB/s 带宽）快上十几倍的原因。
TPS一般是多少
TPS（Tokens Per Second）并没有一个固定的标准值，它完全取决于模型大小、硬件配置和并发量。简单来说，TPS 指的是大模型每秒能生成多少个字（Token）。
结合你提供的书本内容和实际应用场景，我们可以把 TPS 分为两个维度来看：
服务端吞吐量
这是书本中主要讨论的场景（例如每秒处理 10 个请求）。
定义：整个系统每秒钟能向所有用户总共输出多少个字。
典型数值：
1）单张高端显卡（如 A100/H100）：运行一个 70B（700亿参数）的大模型，通过量化和优化技术，TPS 可能在100 到 500之间。
2）集群：如果是大型推理集群，TPS 可以达到数万甚至数十万。
书本中的例子：书中提到“芯片制造商宣称的峰值 FLOP/s 下芯片的吞吐量为 100 TPS，但在实际推理服务中只能达到 20 TPS”。这只是一个用于解释 MFU（模型算力利用率）的假设性数字，意在说明理论值和实际值的巨大差距。
单用户生成速度
这是你在本地或网页上直接感受到的速度。
定义：模型每秒钟为你一个人生成多少个字。
典型数值：
1）人类阅读速度：大约是5-10 Token/s（中文语境下约等于 5-10 个汉字）。
2）流畅体验：通常需要达到20-30 Token/s以上，你会感觉文字是“刷刷”出来的，几乎没有等待感。
3）本地运行：
- 在高端显卡（如 RTX 4090）上运行 7B 模型，可以达到100-200 Token/s（非常快）。
- 在普通电脑或 Mac 上运行 70B 模型，可能只有5-15 Token/s（勉强够用）。
总结：TPS 到底多少算好？
及格线：TPS > 10（能跟上人类阅读速度，不觉得卡）。
优秀线：TPS > 50（几乎是瞬间生成大段文字）。
工业级目标：追求极高的 TPS（如 1000+），是为了同时服务成千上万的用户，降低单次推理的成本。