GPU架构学习笔记（面试精炼版）
GPU架构学习笔记（面试精炼版）
一、GPU 与 CPU 核心差异
1. GPU 特点
- 设计目标：追求高吞吐量，面向大规模多线程并行计算
- 核心数量：数千个轻量级小核心（CUDA Core）
- 缓存结构：小缓存 + 高带宽，弱化单线程延迟，强化并发吞吐
- 典型场景：矩阵运算、卷积、图像处理、深度学习训练/推理
2. CPU 特点
- 设计目标：追求低延迟，强调单线程高性能
- 核心数量：少量大核心（一般 2~64 核），控制逻辑复杂
- 缓存结构：大缓存 + 低延迟，减少访存等待
- 典型场景：系统调度、逻辑控制、分支判断、串行任务
3. 核心总结（面试必背）
- CPU：擅长单任务低延迟，核心少但控制单元复杂、缓存大，适合复杂逻辑与串行流程。
- GPU：牺牲单线程性能，用数千个轻量计算核心并行执行海量简单任务，天然适配深度学习中矩阵乘法、卷积这类高度并行计算。
二、NVIDIA GPU 核心架构
1. SM（流式多处理器）
- 定位：GPU最小独立执行单元，所有并行计算都在 SM 内完成。
- SM 数量与算力：
- A100：108 个 SM
- RTX 3090：82 个 SM
- SM 数量直接决定峰值并行计算能力。
- SM 占用率：
- 深度学习训练中，建议SM 占用率 > 80%
- 占用率过低 = GPU 算力未被充分利用 = 训练速度慢。
2. Tensor Core（张量核心）
- 核心功能：NVIDIA 专为矩阵乘法 + 卷积设计的专用硬件单元，原生支持混合精度计算。
- 性能优势：
- 相比普通 CUDA Core，矩阵乘法速度提升5~10 倍
- 是混合精度训练的底层硬件基础。
- 工作机制：
- 在精度损失可控前提下，用FP16 替代部分 FP32 计算
- 既提升计算速度，又降低显存占用
- 是大模型微调、训练提速的必备硬件条件。
三、GPU 显存层级结构（面试高频）
从快到慢、从近到远：
寄存器 → 共享内存 → L1 缓存 → L2 缓存 → 全局显存 → CPU 内存
1. 寄存器
- 位置：SM 内部
- 速度：1~10 ns
- 容量：每个 SM 几 MB
- 用途：存储线程私有变量、计算中间结果，最快、最小。
2. 共享内存（Shared Memory）
- 位置：SM 内部
- 速度：10~20 ns
- 容量：每个 SM 几十 MB
- 用途：同一个 Block 内线程共享数据，减少全局显存访问。
3. L1 缓存
- 位置：SM 内部
- 速度：20~40 ns
- 容量：每个 SM 几十 MB
- 用途：缓存全局显存数据，降低访存延迟。
4. L2 缓存
- 位置：GPU 全局
- 速度：100~200 ns
- 容量：数 GB
- 用途：所有 SM 共享，全局显存的二级缓存。
5. 全局显存（Global Memory）
- 位置：GPU 板载外部（GDDR/HBM）
- 速度：500~1000 ns
- 容量：数十 GB
- 用途：存储模型参数、梯度、输入输出数据，容量最大、最慢。
6. CPU 内存
- 位置：主机端
- 速度：~10000 ns
- 容量：上百 GB
- 用途：存储训练数据集、模型备份、CPU 侧逻辑数据。
显存结构总结（面试必背）
- 从寄存器到全局显存，访问速度相差 100~1000 倍。
- 深度学习训练性能瓶颈通常不在计算，而在显存带宽：
即全局显存 ↔ SM 之间的数据搬运速度。 - 优化核心：尽可能减少全局显存访问次数，用好高速缓存。
四、显存带宽的作用
1. 定义
单位时间内，GPU 从全局显存读取/写入的数据量。
2. 对深度学习的关键影响
- 大模型训练中，参数、梯度、激活、优化器状态全部依赖显存带宽。
- 带宽不足时：SM 算力再强也会空等数据，出现“算力闲置”。
- DDP 多卡训练中：NCCL 梯度同步通信会直接占用显存带宽，带宽不足会拖慢同步效率。
五、核心硬件特性 ↔ 深度学习优化（面试串联题）
SM 数量
- 越多 → 并行能力越强
- 优化：DDP 多卡训练、提高 batch size，提升 SM 利用率。
Tensor Core
- 支持混合精度，提速 + 降显存
- 优化：开启
torch.cuda.amp自动混合精度训练。
显存带宽
- 越高 → 数据搬运越快，缓解“内存墙”
- 优化：FP16/FP8、梯度累积、显存分片、减少 CPU↔GPU 拷贝。
全局显存容量
- 直接决定能训多大模型
- 优化：模型并行、ZeRO 优化、梯度检查点、激活重计算。
NVLink / NVSwitch
- 决定多卡通信速度
- 影响：DDP 梯度同步、分布式训练效率。
六、高频面试考题（标准答案版）
1. 为什么 GPU 比 CPU 更适合深度学习训练？
- 深度学习核心是矩阵乘法、卷积等高度并行任务，而非复杂逻辑控制。
- GPU 拥有数千个轻量 SM/CUDA 核心，可大规模并行计算，吞吐远高于 CPU 少量大核心。
- GPU显存带宽远高于 CPU 内存，能支撑海量参数与数据的高速读写，解决深度学习的内存墙问题。
2. Tensor Core 对混合精度训练的加速作用？
- Tensor Core 是 NVIDIA 专为矩阵运算设计的专用硬件，原生支持 FP16/FP32 等低精度。
- 相比传统 CUDA Core：
- 计算速度提升5~10 倍，低精度运算周期更短。
- 显存占用降低约50%，减少访存压力。
- 混合精度训练中：
- 前向/反向用FP16计算
- 权重用FP32保存
- 在精度损失可控前提下，兼顾速度、显存、精度。
3. 显存层级结构对大模型训练优化有什么启发？
- 不同层级速度差距极大，优化核心：尽量少访问全局显存。
- 具体优化思路：
- 充分利用共享内存缓存重复访问数据，降低全局显存读写。
- 开启混合精度（FP16/FP8），减少单数据体积，提升带宽利用率。
- 使用梯度累积、显存分片，降低瞬时显存占用。
- 避免频繁 CPU↔GPU 数据拷贝，减少跨端传输。