27、嵌入式系统中提升缓存性能的硬件/软件技术

嵌入式系统中提升缓存性能的硬件/软件技术

1. 引言与动机

在数据密集型嵌入式应用里，处理器与内存速度之间的差距不断扩大，这使得数据局部性优化成为极为关键的问题。多年来，硬件设计师和编译器开发者分别采用智能缓存管理机制和程序级转换来优化数据缓存局部性。不过，至今很少有研究深入探讨这些优化之间的相互作用。

当下，硬件和软件方法在提升数据缓存性能方面各有千秋。硬件方法试图预测处理器未来的访问行为，让数据尽可能靠近处理器；软件方法则借助编译器优化，像循环转换（如分块技术）来重新排列数据访问模式，以最大化数据重用，增强局部性。然而，这两种方法大多是独立存在的。例如，基于编译器的循环重构方案可能未考虑受害者缓存的存在及其与转换操作的相互影响；而增强局部性的硬件技术通常也不会考虑代码中已有的软件优化。

但实际上，将硬件和软件方法结合起来具有很大的潜力。编译器通常能从全局视角看待程序，若能将这种全局信息传递给硬件，系统性能有望大幅提升。为了实现这一目标，我们提出了一种集成方案，该方案能有选择地应用硬件或软件优化，并关闭另一种优化。我们还提出了一种区域检测算法，通过编译器分析来确定程序中哪些区域适合硬件优化，哪些适合软件优化，进而灵活开启或关闭硬件优化。

2. 硬件与软件技术概述

2.1 硬件技术

硬件解决方案通常涉及多级内存层次结构，并对每一级进行进一步优化。研究团队提出了多种智能缓存控制机制和新颖架构，能在运行时检测程序访问模式，微调缓存策略，从而最大化缓存利用率和数据局部性。常见的硬件技术包括：
- 受害者缓存：用于减少直接映射缓存的缺失率。
- 列关联缓存：降低直接映射缓存的缺失率。
- 硬