RISC-V SoC上DNN加速的内存优化与FTL算法实践

1. RISC-V SoC上的DNN加速内存优化挑战

在边缘计算场景下，深度神经网络(DNN)的部署面临严峻的内存带宽挑战。典型的RISC-V异构SoC（如Siracusa）采用多级软件管理内存架构，包含L1紧耦合存储器（32KB）、L2共享缓存（64KB）和片外L3 DRAM。这种架构中，数据搬运能耗可能占系统总能耗的60%以上，而传统层间分块(tiling)策略虽然能降低单层内存占用，却会导致中间张量(tensor)的反复搬运。

以Vision Transformer(ViT)中的多层感知机(MLP)阶段为例，其典型结构包含GEMM(通用矩阵乘)和GeLU(高斯误差线性单元)激活函数。当采用逐层分块策略时：

• GEMM输出的中间张量需完整写入L2缓存
• 该张量随后被GeLU读取处理
• 若L2容量不足，还需与L3 DRAM交换数据

这种模式产生了三个关键问题：

1. 冗余数据传输：中间张量在存储层级间来回搬运
2. 内存墙效应：数据搬运时间可能超过计算时间
3. 缓存抖动：频繁换入换出降低缓存命中率

实测数据显示：在RV32IMCF-XpulpV2架构的8核集群上，仅MLP阶段的中间张量搬运就消耗28.8%的总执行时间，当使用NPU加速器时该比例更高达60.1%。

2. Fused-Tiled Layers算法设计原理

2.1 核心创新：约束驱动的层融合

FTL算法的突破在于将传统独立的层分块过程转化为可融合的约束优化问题。其核心思想是通过线性变换建立跨层张量维度间的数学关系，使多个层的分块方案能统一求解。具体实现包含四个关键步骤：

1. 维度变量化：为每个算子的输入/输出张量维度定义变量

   • 例如GEMM输入A[BATCH, M, K] → 定义变量Abatch, Am, Ak
   • 输出C[BATCH, M, N] → Cbatch, Cm, Cn

2. 约束条件建模：

   • 几何约束：描述张量维度间的数学关系

     # GEMM输出与GeLU输入的维度必须一致 Cm == Dm # D是GeLU的输入维度变量 Cn == Dn

   • 硬件约束：反映架构特性

     # 分块大小需是核心数的整数倍 Am % Ncores == 0 # 分块应大于核心数以避免负载不均衡 Am > Ncores

3. 层间变量绑定：通过共享张量维度建立层间关联

   # 融合GEMM与GeLU层 fuse_constraints = [Cbatch == Dbatch, Cm == Dm, Cn == Dn]

4. 联合求解：以L1缓存利用率最大化为目标函数，求解最优分块方案

   objective = maximize(L1_utilization) solution = solve(constraints + fuse_constraints, objective)

2.2 硬件适配性设计

FTL特别针对RISC-V异构架构的三大特性进行优化：

1. DMA 3D传输支持：

   • 利用RISC-V SoC的灵活DMA引擎执行非连续内存访问
   • 示例配置：传输5x5xCH的卷积核数据时，设置stride参数避免数据重组

2. 混合精度支持：

   // 使用XPulpV2 SIMD指令处理8位整型 v4s a = *((v4s*)vec_a); v4s b = *((v4s*)vec_b); int acc = __DOTP4(a, b);

3. NPU协同计算：

   • 对GEMM等规则运算卸载到NPU
   • 保留标量控制流在RISC-V核心执行

3. 在Deeploy框架中的实现细节

3.1 内存分配策略优化

传统分层内存分配与FTL方案的对比：

具体实现时采用两级内存分配器：

1. 静态分配器：在编译时确定各张量的基地址

   #define GEMM_OUT_ADDR 0x1C000000 #define GELU_OUT_ADDR 0x1C010000

2. 动态分配器：通过内存池管理临时缓冲区

   void* tile_buf = mempool_alloc(TILE_SIZE);

3.2 计算流水线设计

典型GEMM+GeLU融合层的执行流程：

1. 数据预取阶段：

   dma_start(src=L2, dst=L1, dims=[Bx,By], stride=STRIDE);

2. 并行计算阶段：

   // GEMM核心计算循环 loopn.t 0, K, GEMM_LOOP p.lw x1, x2(x3!) // 带后递增的加载 p.mac x4, x1, x5 // SIMD乘加

3. 激活函数融合：

   // GeLU直接使用GEMM结果寄存器 float val = (x > 0) ? x : 0.5*x*(1 + tanh(sqrt(2/PI)*(x + 0.044715*x*x*x)));

4. 性能优化实测与调优技巧

4.1 ViT-MLP基准测试结果

在Siracusa SoC上的实测数据对比：

关键发现：

• 纯CPU场景：DMA传输减少37%，L2访问下降52%
• NPU加速场景：避免了NPU与CPU间的数据同步开销

4.2 实际部署中的经验技巧

1. 分块大小调优公式：

   最优分块 = min(L1容量/3, sqrt(2*Ncores*计算强度))

2. 双缓冲配置原则：

   • 当满足计算时间 < DMA传输时间时启用双缓冲
   • NPU场景下建议强制启用：

     dma_set_double_buffering(ENABLE);

3. 调试工具链使用：

   # 使用GVSoC仿真器分析内存访问 gvsoc --trace=mem --stats ./mlp_ftl.elf

4. 常见问题排查：

   • 症状：NPU计算结果异常
   • 检查点：
     1. DMA传输维度是否对齐NPU要求
     2. 融合层间的张量布局是否一致
     3. L1缓存是否发生别名冲突

在部署基于FTL的ViT模型时，我们总结出三点黄金法则：

1. 对连续线性层（如MLP）优先尝试融合
2. 对分支结构（如残差连接）保持独立分块
3. 在L2-L3带宽受限场景，适当增大分块减少传输次数

这种优化方法不仅适用于ViT，对CNN、RNN等架构同样有效。我们在ConvNeXt模型上测试显示，FTL可实现平均31.2%的内存传输降低。随着RISC-V生态的发展，此类软件定义的内存优化技术将愈发重要。