AI 和 LLM 的进步通常归因于三个方面的持续改进：模型、数据、计算。三者互相关联。要跑起那些参数量庞大的模型，就需要足够的计算资源来支撑。Llama 3 最大的模型超过 4000 亿参数在 16000 块 GPU 上训练了数周乃至数月，优化计算意味着在更低的成本下训练更大的模型。
本文将介绍 GPU 的核心特性，并据此讨论如何设计更快的算法。
GPU 与 CPU 的区别
CPU 的优化目标是单任务延迟，尽可能快地完成一个任务然后转向下一个，这对通用计算是非常合理的。但是GPU 则不同，它优化的是吞吐量追求的是同时完成多个并行任务。打个比方：CPU 像一个能力极强的工人，GPU 像一群普通工人同时干活。在 LLM 训练这种大规模并行处理场景下GPU 的架构天然占优。
继续用工厂来打比方。GPU 可以看作一个庞大的工厂城镇。城镇中有多个"工厂集群"（技术上叫流式多处理器，SM），每个集群包含多个工厂（流式处理器，SP）和一个小仓库（共享内存）。整个城镇里还有一个全局仓库（DRAM），离各集群更远但容量大得多。
类比虽然简化但说明了 GPU 中一条核心：集群内的小仓库访问速度远快于全局仓库，代价是容量小得多。
全局仓库的运输通道到底有多慢？过去 20 年间，硬件浮点运算能力（对应工厂车间的加工速度）提升了 60000 倍，DRAM 带宽只提升了 100 倍，互连带宽更是只有 30 倍。
https://avoid.overfit.cn/post/8b2888b82d7c40c3b60e7e8847dafc9f