DRAM内存计算技术PUDTune：原理、优化与应用

1. 内存计算与DRAM技术背景

在传统冯·诺依曼架构中，数据需要在处理器和内存之间频繁搬运，这种"内存墙"问题已成为制约计算性能提升的主要瓶颈。内存计算（In-Memory Computing）技术通过直接在存储介质中执行计算操作，有效减少了数据搬运开销。其中，基于DRAM的内存计算因其高密度、低成本特性而备受关注。

DRAM（动态随机存取存储器）作为现代计算机系统的主要内存，其基本存储单元由一个晶体管和一个电容组成。电容存储电荷代表数据位（1或0），而晶体管作为开关控制访问。DRAM的层级结构包括：

• 通道（Channel）：每个内存控制器通常支持多个独立通道
• 芯片（Chip）：每个通道可连接多个DRAM芯片
• 存储体（Bank）：每个芯片包含多个可并行操作的存储体
• 子阵列（Subarray）：每个存储体进一步划分为多个子阵列，包含256-1024行和65536列存储单元

2. Processing-Using-DRAM技术原理

2.1 PUD基础操作

Processing-Using-DRAM（PUD）技术利用商用DRAM的模拟特性实现内存计算，无需硬件修改。其核心是三种基本操作：

1. RowCopy：在子阵列内部将数据从一行复制到另一行。通过特定时序控制实现行间数据传输，为后续计算准备数据布局。

2. 同时多行激活（SiMRA）：同时激活多行DRAM单元，使它们的电荷在相同列上共享。这是实现多数表决（MAJX）操作的关键。

3. 部分充电（Frac）：对单元施加不完整的充电操作，产生介于0和1之间的中间电荷状态。通过控制Frac操作次数可精确调节电荷水平。

2.2 MAJX运算实现

多数表决（MAJX）是PUD的基础运算单元，用于判断X个输入中1或0占多数。以MAJ5（5输入多数表决）为例，其标准实现流程为：

1. 使用RowCopy将5个输入行和3个中性行布置到指定位置
2. 对第一个中性行执行Frac操作，使其达到半充电状态
3. 通过SiMRA同时激活这8行，实现电荷共享
4. 多数表决结果存储在全部8行中

这种运算可构建AND/OR逻辑门和全加器等基本计算单元，进而实现更复杂的矩阵运算。

3. PUD的误差挑战与现有方案局限

3.1 误差敏感列问题

DRAM感应放大器（Sense Amplifier）的阈值电压变异是导致计算误差的主要原因。理想情况下，感应放大器应在0.5VDD电压处判断1/0，但工艺变异会导致实际阈值偏移（如0.48VDD或0.53VDD）。

在标准DRAM读取中，30fF单元电容与270fF位线共享电荷产生的电压差（约0.55VDD）足以克服这种变异。但在PUD的MAJ5运算中，多单元电荷共享会使有效电压差降至约0.529VDD，处于误差敏感区间。

3.2 现有解决方案的不足

传统应对方案是仅使用无错误列进行计算，但这会显著降低吞吐量。实验数据显示，SK海力士DDR4模块中约50%的列对MAJ5运算敏感，导致计算吞吐量减半。

另一种思路是增加中性行数量以扩大电压差，但这会占用更多DRAM行资源，降低存储密度。在8行SiMRA配置下，仅有3行可用于中性数据，限制了调整空间。

4. PUDTune核心技术解析

4.1 多级充电校准原理

PUDTune的创新在于利用Frac操作产生的多级电荷状态实现高精度校准。通过为每列配置特定的偏移模式，可补偿感应放大器的阈值电压变异。

关键技术突破点包括：

1. 分级Frac配置：对不同中性行施加不同次数的Frac操作，产生多样化的电荷补偿水平。例如T2,1,0配置表示对三行分别执行2次、1次和0次Frac。
2. 宽范围精细调节：组合不同Frac次数既能提供大范围偏移（如T0,0,0），也能实现精细调节（如T2,2,2），适应各种阈值变异情况。
3. 模式动态选择：通过算法为每列选择最优的Frac组合，使最终电压避开该列感应放大器的误差区间。

4.2 校准数据识别算法

PUDTune采用迭代算法确定每列的最佳校准模式：

1. 初始化所有列的校准数据为默认模式
2. 对每个测试迭代：
   • 将当前校准数据写入DRAM
   • 执行MAJX采样测试（使用随机输入模式）
   • 计算每列的输出偏差（1的比例）
   • 对偏差超过阈值的列调整其Frac配置
3. 经过约20次迭代后收敛到稳定解

该算法在实践中约需1分钟/子阵列的校准时间，校准数据可长期保存复用。

5. PUDTune实现细节与优化

5.1 系统架构设计

PUDTune的实际部署需要考虑以下组件：

1. 校准数据存储：占用子阵列中3行的存储空间（约0.6%容量开销）
2. 温度监控：集成温度传感器以检测环境变化，触发必要的重新校准
3. 控制逻辑：扩展内存控制器指令集，支持Frac操作计数配置
4. 性能计数器：实时监测各列错误率，动态调整资源分配

5.2 时序与功耗优化

PUDTune在时序控制方面做出以下改进：

1. 并行Frac执行：通过bank级并行性，同时对多个子阵列执行不同次数的Frac操作
2. 自适应延迟：根据Frac总次数动态调整操作时序，最小化额外延迟
3. 功耗平衡：在ACT功率限制下优化bank激活模式，避免峰值功耗超标

实验数据显示，T2,1,0配置相比基线方案仅增加约15%的操作延迟，但带来显著的可靠性提升。

6. 性能评估与结果分析

6.1 实验环境配置

评估平台采用以下配置：

• DRAM模块：48个SK海力士DDR4-2133芯片
• 控制器：基于Xilinx Alveo U200 FPGA的DRAM Bender
• 测试模式：8,192组随机输入测试每bank的65,536列
• 温度范围：40°C至100°C（带加热垫控制）

6.2 关键性能指标

1. 错误列比例（ECR）：

   • 基线方案（B3,0,0）：46.6%
   • PUDTune（T2,1,0）：3.3%
   • 改进幅度：1.81倍

2. 计算吞吐量：

   • MAJ5运算：从0.89 TOPS提升至1.62 TOPS
   • 8位加法：从50.2 GOPS提升至94.6 GOPS
   • 8位乘法：从5.8 GOPS提升至11.0 GOPS

6.3 不同配置对比

通过测试多种Frac组合发现：

• T0,0,0提供最宽偏移范围但粒度粗糙
• T2,2,2提供精细调节但范围有限
• T2,1,0在范围和粒度间取得最佳平衡，比次优配置提升1.48倍

7. 可靠性验证与实际考量

7.1 温度稳定性测试

在40°C至100°C范围内：

• 总ECR保持稳定（约3.3%）
• 新增错误列比例<0.14%
• 表明PUDTune具有优良的温度适应性

7.2 长期稳定性测试

持续一周的监测显示：

• 校准数据有效性保持稳定
• 新增错误列比例<0.27%/周
• 建议每月执行一次快速验证校准

7.3 实际部署建议

1. 生产阶段：在芯片测试环节执行完整校准，将模式数据写入片上fuses
2. 系统启动：从非易失存储加载校准数据至指定DRAM区域
3. 运行期间：监控温度变化和错误率，触发局部重新校准
4. 容错设计：结合ECC机制处理残余错误列

8. 应用前景与扩展方向

PUDTune技术可广泛应用于：

1. AI加速：提升DRAM中矩阵乘法的可靠性和效率
2. 数据库处理：加速位图索引等位密集型操作
3. 科学计算：支持高吞吐量定点运算
4. 边缘设备：为资源受限设备提供高效计算能力

未来研究方向包括：

1. 自适应校准策略，动态调整Frac配置
2. 三维堆叠DRAM中的校准技术扩展
3. 与近存计算架构的协同优化
4. 针对新型存储器的校准方法迁移