CASCADE架构：AI加速器的矩阵乘法革命

1. CASCADE架构：AI加速器的革命性设计

在AI硬件加速领域，矩阵乘法作为神经网络推理的核心计算任务，其执行效率直接决定了整个系统的性能上限。传统方案如Google TPU采用256×256的脉动阵列实现65,536个MAC单元并行计算，而ZettaLith的CASCADE架构通过三项关键创新实现了数量级的性能突破：

1.1 列导向计算范式

CASCADE（Column-Array Systolic Computation with Accumulation During Execution）的核心在于其列导向设计：

• 独立列计算：8,192个计算列完全独立运作，仅通过CREST系统每64行进行近邻复用
• 垂直累加：部分和沿列方向垂直传播，避免传统方案中的跨芯片数据传输
• 广播机制：FP4激活值通过8级锁存树同步分发到所有列，消除数据倾斜（见图9）

这种设计使得单个TRIMERA堆栈能在33,260个时钟周期（2.77μs）内完成24,576×8,192矩阵的32,768批次计算，效率高达98.52%。实测显示，相比并行加法树方案仅牺牲1.12%效率，但换来了更稳定的12GHz运行频率。

1.2 权重驻留与异步加载

CASCADE的存储架构突破体现在：

权重预加载流程： 1. 通过HBM4接口异步加载201,326,592个FP4权重 2. 直接写入SLD芯片的PE单元存储 3. 计算期间权重保持静态 4. 支持39TB/s的权重更新带宽

这种设计消除了传统SRAM缓存的需求，每个PE单元既是计算单元又是存储单元。在Llama 3.1 405B模型推理中，权重复用率可达1,047倍，使HBM带宽需求降低两个数量级。

1.3 CREST容错系统

针对超大阵列的良率挑战，CREST实现：

• 每64行设置冗余列比较器
• 动态检测并替换故障PE列
• 6,144个备用列（占总列数0.75%）
• 故障隔离精度达单个PE级别

实测表明，即使0.5%的PE失效，系统仍能保持99.2%的计算吞吐量。这种"带伤运行"能力使得可以采用更激进的制程工艺。

2. ZettaLith硬件实现细节

2.1 TRIMERA三维堆栈

ZettaLith的基本计算单元采用创新的三层堆栈：

graph TD BID[Base Interface Die] -->|UCIe 2.0| HILT HILT[High-Intensity Logic Die] -->|12GHz TSV| SLD SLD[Super Logic Die] -->|μbump| WSSCB

• BID：集成HBM4控制器（2.56×10¹⁴ Bytes/s带宽）、时钟网络和电源管理
• HILT：包含：
  • 384MB激活值存储（47mm² N2工艺）
  • 257MB输出和存储（31mm²）
  • 温度传感器和时钟缓冲器
• SLD：201,719,808个PE单元（TSMC A14工艺）

2.2 超高频PE设计

单个PE单元的关键参数：

• 4-bit乘法 + 8-bit累加
• 12GHz主频
• 0.012μm²面积（TSMC A16）
• 功耗仅38μW @0.75V
• 支持FP4/INT4混合精度

384个CASCADE阵列通过WSSCB（Wafer-Scale Silicon Circuit Board）互连，形成156个TRIMERA集群，总PE数量达31,406,948,352个。

2.3 数据通信架构

ZettaLith采用非对称2D网状网络：

特别设计的μbump阵列实现：

• 20μm间距
• 3 wires/μm密度
• 1.4mm等长布线
• 延迟<1.2ps/mm

3. Transformer推理优化实践

3.1 Llama 3.1 405B案例

针对该模型的硬件映射方案：

# 模型参数映射示例 model_params = { "d_model": 16384, # 使用1024个PE列并行处理 "n_heads": 128, # 每头分配64专用PE列 "ffn_dim": 65536, # 分块到8个TRIMERA集群 "batch_size": 1024, # 充分利用32,768批次容量 "context_len": 2000 # 需要3次HILT换入 }

关键性能指标：

• 1,507 PFLOPS持续算力
• 80%硬件利用率
• 0.59ms/batch延迟
• 能耗比达458 TFLOPS/W

3.2 内存访问优化

通过权重驻留和激活值复用，实现：

1. 激活值流水：

   • 24,576个广播锁存树
   • 12GHz分发频率
   • 2.4×10¹⁸ activations/s

2. 输出和压缩：

   输出和生成流程： 1. 列累加结果转为FP8 2. 通过128位SIPO FIFO降频 3. 写入HILT存储（1GHz速率） 4. 支持自动偏置相加

3. HBM访问策略：

   • 异步预取权重
   • 突发传输激活值
   • 优先级加权仲裁

3.3 实际部署经验

在量产环境中我们发现：

关键教训：A14工艺早期使用时，建议将SLD尺寸控制在40%晶圆面积以内。虽然理论PE密度可达68%，但实际良率曲线显示40%面积时故障率可控制在0.3%以下，与CREST容错能力最佳匹配。

其他实用技巧：

• 保持HILT温度<85℃以避免时钟偏移
• 权重加载采用2:1交错模式降低IR Drop
• 激活值广播树需要严格等长布线（±1.2ps容差）

4. 与传统方案的性能对比

4.1 计算密度突破

4.2 延迟优化实例

在1750亿参数模型上实测：

1. 传统GPU集群：

   • 需要8台DGX H100
   • 延迟：340ms
   • 功耗：28kW

2. ZettaLith单机：

   • 1/8机柜空间
   • 延迟：0.82ms
   • 功耗：3.3kW

4.3 经济性分析

虽然单个TRIMERA堆栈成本约$12,000，但考虑：

• 每美元算力：125 GFLOPS/$ (vs H100的7.7 GFLOPS/$)
• 机房设施节省：功率密度达4.6 PFLOPS/机柜
• 3年TCO降低估算：62-68%

5. 未来演进方向

基于现有架构，我们正在探索：

1. MHLA支持：为DeepSeek R1的Multi-Head Latent Attention优化PE指令集
2. 光学互连：在WSSCB中集成硅光模块，目标突破200TB/s互连带宽
3. 3D-NAND集成：将权重存储迁移至存储级内存，支持万亿参数模型

一个有趣的发现是：通过调整CASCADE阵列的行列比（当前64×8192），当PE总数固定时，将阵列改为128×4096可获得更好的热分布，但会牺牲约5%的CREST响应速度。这种权衡需要根据具体应用场景评估。