SM内最多容纳多少线程?
SM内最多容纳多少线程?
(rtx306012GB版本是28个sm, sm内最多容纳16个block, 最多容纳48个wrap)
(同一个架构下，数据中心卡（如 A100）通常给更大的 Block 上限（32），而消费级卡（如 RTX 3090）会被阉割到 16。)
理论上容纳线程数量= 容纳warp数量 * 32
- 消费级显卡, sm可容纳48个wraps, 也就是 48 * 32 = 1536 个线程
- A100等数据中心卡, sm可容纳64个warps, 也即是 64 * 32 = 2048线程
- 但这个值只是理论上, 实际上很难达到100%的理论上限
一个 Kernel 最终能在一个 SM 上塞进多少 Warp（即它的 NCU中的Occupancy即warp占用率），取决于它用掉了多少 SM 的硬件资源, 通常瓶颈会卡在：
- 寄存器：GA106 核心每个 SM 共有 65536 个 32 位(64K)寄存器。如果一个 Kernel 的每个线程用了 128 个寄存器，那一个 SM 最多就只够容纳 512 个线程（16 个 Warp），远达不到 48 个 Warp 的槽位上限。
- 共享内存：GA106 每个 SM 最多配备 100KB 的共享内存。如果你的 Kernel 配置了很大的共享内存块，也会减少 SM 能同时容纳的 Block 数量。
- Block 数量硬性上限：GA106 每个 SM 最多同时驻留16 个 Block。如果你的 Block 特别小（比如只有 64 个线程），那即便线程总数没到 1536，只要塞满了 16 个 Block，SM 也放不下更多了。
注: GA106 是NVIDIA 为某款 GPU 芯片内部硅片起的核心代号，通俗说就是这颗芯片的真实姓名。GA代表GraphicsAmpere（安培架构），表明它属于 RTX 30 系列这一代。106代表在这代架构中的具体芯片规格，数字越大通常代表核心规模越大、定位越高端。