进阶篇第7节：常量内存与只读缓存——适用于只读数据的优化手段

引言

当所有线程都需要同一个数据时，常量内存是最好的选择

在之前的章节中，我们重点学习了如何优化全局内存和共享内存的访问模式。但还有一种特殊的内存类型，经常被初学者忽视，却在特定场景下能带来惊人的性能提升——常量内存。

常量内存是只读的，但它最大的优势在于广播机制：当一个warp内的所有线程访问同一个常量内存地址时，硬件只需要一次读取，就能将数据广播给所有线程。这种机制在GPU编程中极为高效，尤其适用于查找表、系数矩阵、配置参数等场景。

今天，我们将深入常量内存的硬件实现，理解它的工作机制，并通过实战案例展示它的威力。

一、常量内存的硬件实现

1.1 常量内存的位置

常量内存是设备端内存的一部分，位于显存中，但拥有专用的缓存——常量缓存。每个SM都有自己的常量缓存，大小约8-64KB（取决于架构）。常量内存的总容量固定为64KB（所有SM共享这一块物理内存，但每个SM有独立的缓存）。

1.2 广播机制

当同一个warp内的32个线程访问同一个常量内存地址时：

1. 硬件从常量缓存读取一次数据（如果缓存命中，只需几个周期）
2. 将该值广播给所有32个线程
3. 整个过程只需要一个内存事务