SecureInfer: Heterogeneous TEE-GPU Architecture for Privacy-Critical Tensors for Large Language M...
文章主要内容总结
该研究针对大型语言模型（LLMs）在移动和边缘设备部署时面临的模型提取攻击风险，提出了一种混合框架SecureInfer。其核心思路是结合可信执行环境（TEEs，如Intel SGX）的硬件隔离能力与GPU的高性能计算优势，通过威胁感知和信息论驱动的细粒度模型划分，在保障隐私安全的同时避免性能损耗。
具体而言，SecureInfer将LLMs中隐私敏感组件（如Q/K/V投影、注意力分数计算、前馈网络块、LoRA适配器等）部署在SGX安全飞地中执行，而将计算密集但安全性要求较低的线性操作（如矩阵乘法）加密后卸载到GPU，CPU仅负责输入输出等非敏感控制流程。通过分块安全张量执行、轻量级加密、一次性掩码等优化策略，解决了边缘设备内存有限、延迟敏感的问题。
实验基于定制化LLaMA-2模型验证，结果显示：与纯TEE部署相比，SecureInfer实现了最高4.7倍的速度提升；与纯GPU部署相比，仅产生2.06倍的延迟开销，且输出保真度损失极小（BLEU分数下降低于0.12）；在黑盒攻击场景中，能有效降低模型提取 fidelity，token匹配率仅为56.4%，为边缘设备上LLMs的安全部署提供了实用解决方案。
文章创新点
- 混合架构设计：首次提出TEE-GPU异构协同框架，突破纯TEE性能瓶颈和纯GPU隐私漏洞，实现安全与性能的平衡。
- 细粒度威胁感知划分策略：不同于传统基于层深度的粗粒度划分，基于组件敏感性（抗模型提取攻击能力）和计算强度进行精准划分，适配Transformer