GPU架构-SIMT
GPU SIMT架构深度剖析：从指令分派到线程调度的硬件实现
引言：理解SIMT是驾驭GPU计算的基石
大模型训练的算力基石——GPU，其核心计算模型是英伟达提出的SIMT（Single-Instruction, Multiple-Threads，单指令多线程）。然而，许多开发者对SIMT的理解停留在“GPU的多线程版本”这一浅层认知，对其与SIMD的本质差异、warp的硬件调度机制、Volta独立线程调度的架构突破、以及AMD方案的技术路线差异缺乏系统性认识。
本文将从指令集架构、流水线实现、存储层次、分支处理四个维度，深度拆解SIMT的技术本质，并与SIMD、MIMD、向量架构等进行定量对比。全部论述基于NVIDIA官方文档、AMD ROCm白皮书及顶级学术文献，确保技术细节的准确性与前沿性。
一、SIMT架构的核心定义与执行模型
1.1 从SP到SM：硬件层次结构的精确映射
CUDA编程模型中的线程层次（grid→block→thread）直接映射至GPU的物理硬件层次：
| 编程抽象 | 硬件实体 | 执行特征 |
|---|---|---|
| 线程（Thread） | CUDA Core（SP） | 每个线程拥有独立指令地址计数器、寄存器状态 |
| 线程块（Block） | 流多处理器（SM） | 一个Block在单个SM上执行，Block内线程可共享内存 |
| 网格（Grid） | GPU设备 | 跨SM并行，Grid内Block独立执行 |
这里的核心抽象在于：逻辑上每个线程独立，物理上32个线程捆绑执行。这32个线程构成的集合称为warp，是SM调度和执行的基本单元。
关键定量：
- 每个warp固定包含32个线程
- Fermi架构：每个SM最多驻留48个warp（1536线程）
- Kepler架构：每个SM最多驻留64个warp（2048线程）
- Volta/V100：每个SM最多驻留64个warp
- Ampere/A100：每个SM最多驻留64个warp
- Hopper/H100：每个SM最多驻留64个warp
1.2 SIMT的指令发射机制
SIMT架构的核心特征是：一个warp内的32个线程在同一时钟周期执行同一条指令，但操作各自的数据。
每个SM包含多个warp调度器（Warp Scheduler）：
- Fermi：2个warp调度器，每周期可发射2条独立指令（来自不同warp）
- Kepler：4个warp调度器，每周期可发射8条指令（每个调度器双发射）
- Maxwell/Pascal：4个warp调度器，优化功耗
- Volta及之后：4个warp调度器，支持独立线程调度
指令发射的具体流程：
- 每个warp调度器维护一个就绪warp池
- 每个周期选择一个就绪warp
- 将该warp的下一条指令广播至所有32个活跃线程的ALU
- 若指令为内存访问，LD/ST单元生成32个独立地址
与CPU的核心差异：CPU的指令发射需处理分支预测、乱序执行、寄存器重命