[论文学习] 基于 Tile Tensors 的大规模神经网路加密资料框架

HeLayers: A Tile Tensors Framework for Large Neural Networks on Encrypted Data (Ehud Aharoni et al., PETS 2023)

1. 核心问题与动机

同态加密（Homomorphic Encryption, HE）允许在不解密的情况下对加密数据进行计算，这为**隐私保护机器学习（Privacy-Preserving Machine Learning）**提供了强大基础，尤其适合将敏感数据（如医疗影像）外包给云端服务，同时符合 HIPAA、GDPR 等法规。

主要挑战：

• 大多数 HE 方案（如 CKKS）以 SIMD（Single Instruction Multiple Data）方式运作，一个密文（ciphertext）只能加密固定长度的向量（slot count，由安全参数决定）。如何有效「packing」（打包）高维张量（tensor，如影像批次 4D/5D）到这些固定大小的密文中，会大幅影响延迟（latency）、内存用量、吞吐量（throughput）和通讯成本。
• 打包选择极其复杂：不同操作（如矩阵乘法、卷积）对打包形状的需求不同；小型张量会浪费 slot，大型张量则需多次旋转（rotation）操作，增加成本。不同优化目标（低延迟 vs. 高吞吐 vs. 低内存）也会导致不同的最佳打包方案。
• 现有非互动式（non-client-aided）HE 解决方案在大型网络（如 AlexNet 224×224×3 输入）上性能极差，先前最佳实现需超过 3 小时（80-bit 安全等级），远无法实用。client-aided 方法虽较快，但需用户在线互动、存在安全风险（如模型萃取攻击），且违背完全外包的初衷。

动机：开发一个「packing-oblivious」（打包无感知）的框架，让开发者只需专注于神经网络设计，框架自动处理打包优化。同时聚焦非互动式、HE-friendly 模型（用多项式激活函数取代 ReLU/MaxPool），在不牺牲太多准确度的前提下实现高性能。HeLayers正是 IBM Research 团队为此提出的Tile Tensors框架。

2. 结果 / 成果

• Tile Tensors 数据结构：将张量拆分成固定形状的「tiles」（每个 tile 对应一个密文），提供标准的 tensor API（加法、乘法、sum、broadcasting、卷积等），内部自动处理 packing、旋转与 HE 操作。支持多种 packing 策略，包括交错（interleaved）、旋转宽张量等，涵盖先前多种优化技巧。

• Packing Optimizer：自动探索多种 packing 选项，估算每个选项的时间与内存成本，根据用户目标（latency/throughput/memory）选出最佳方案。包含一套描述 packing 的语言，方便设计与重现。

• 新型 2D Convolution 算法：针对大型输入提出高效 packing 与实现，能连续执行多层卷积而无需昂贵的 im2col 预处理（im2col 会增加乘法深度，不适合 AlexNet 等深层网络）。这是论文的重要技术贡献。

• 实验成果：

  • CryptoNets 基准测试：不同 packing 下延迟从 0.86s 到 11.1s 不等，展示框架优化效果。
  • HE-friendly AlexNet（大型输入 224×224×3）：完整 inference 只需约5 分钟（128-bit 安全，无 bootstrapping），比先前非互动式方案快数个数量级，是当时已知最大且最快的非互动式实现。
  • 框架已开放非商业使用（HELayers SDK），并在后续工作中被广泛引用。

3. 分析与洞见

优点与创新：

• 抽象化与易用性：开发者像写普通 PyTorch/TensorFlow 程序一样操作 tensor，框架在底层自动优化 packing，大幅降低 HE 程序设计门槛。这与 CHET、nGraph-HE 等编译器理念一致，但更专注于 tile-based 通用 packing。
• 弹性与全面性：Tile 概念能自然支持不同维度、批次处理与长序列运算，特别适合 CNN。Optimizer 考虑实际 HE 库限制（如 slot count、旋转成本），提供极高的实务价值。
• 安全与实用平衡：坚持 non-client-aided 模式，提供更好的安全性和用户体验（用户只需加密一次数据，无需全程在线）。HE-friendly 模型的准确度 tradeoff 留给 AI 领域，框架本身可随 AI 进展持续受益。

限制与边缘考量：

• 准确度：依赖多项式逼近激活函数，可能略微降低模型精度（论文未深入讨论，视为 AI 领域议题）。
• 性能瓶颈：仍需大量计算资源（5 分钟 inference 对实时应用仍偏慢）；未使用 bootstrapping，限制电路深度，适合特定 HE-friendly 架构。
• 通用性：最适合 CNN，对 Transformer 等 attention-heavy 模型的适用性需额外验证。packing optimizer 在极大型网络上的编译时间可能较长。
• 威胁模型：假设模型拥有者/用户/云端间的非共谋（non-collusion），在某些多方情境下需额外考量。
• 硬件依赖：性能高度依赖底层 HE 库（如 IBM HELib 或 SEAL），未来 GPU/硬件加速可进一步提升。

更广泛意涵：HeLayers 代表 HE 从理论走向实用的重要一步。它不仅解决了 packing 这一「隐藏难题」，也为后续 FHE 编译器、PPML 框架（如后来的 Orbit、HEPack 等工作）奠定了基础。在Web3、联邦学习、医疗 AI等领域具有巨大潜力——用户可将加密数据上传云端运行大型模型，同时保有完整隐私控制。

4. 结论

HeLayers 透过Tile Tensors框架与自动优化器，成功将大型神经网络在加密数据上的非互动式 inference推向实用层级（AlexNet 5 分钟），大幅缩小了 HE 与明文计算之间的性能差距。

其核心贡献在于提供直观抽象、通用 packing 机制与高效卷积实现，让隐私保护 AI 开发者能专注于高层逻辑而非底层密码学细节。

论文强调，随着 HE 硬件加速、更好 HE-friendly 模型与编译技术的进展，完全实用的加密 AI 时代即将到来。对于 GitHub 项目，这篇论文是极佳的起点：可基于开放的 HElayers SDK 实现 demo、扩展到更多网络架构，或整合 bootstrapping 与硬件加速，开发更强大的隐私计算工具。

论文链接：

• PETS 2023 正式版本：https://petsymposium.org/popets/2023/popets-2023-0020.pdf
• arXiv 版本：https://arxiv.org/pdf/2011.01805.pdf
• IBM Research 页面：https://research.ibm.com/publications/helayers-a-tile-tensors-framework-for-large-neural-networks-on-encrypted-data