【TEE从入门到精通及实战】94 TEE大模型推理：全栈机密计算架构模板与代码开源
94 TEE大模型推理：全栈机密计算架构模板与代码开源
开篇故事
上个月，我帮一家金融科技公司做技术咨询。他们的核心业务是在云端运行一个百亿参数的风控大模型，客户数据包含用户身份证、银行卡号、征信记录——全是合规红线上的敏感信息。
客户明确要求：“模型权重不能泄露，用户输入不能离开加密域，推理结果只能返回给授权方。”
他们之前的方案是：把整个模型加载到一台SGX enclave里，结果发现8GB的EPC内存根本装不下百亿参数（约20GB），直接OOM崩溃。
于是他们退而求其次，把模型分成两部分：权重明文放在主机内存，只有推理逻辑放在enclave里。结果安全审计直接打回——攻击者只要dump主机内存，模型参数就全裸奔了。
这不是个例。我见过太多团队在“大模型+TEE”的坑里反复跌倒。
核心矛盾很简单：大模型动辄几十GB，而TEE的安全内存（如SGX的EPC）通常只有几百MB到几GB。强行全量加载，内存不够；分块加载，又怕性能崩盘；加密传输，密钥管理又成新问题。
今天这篇，我就把过去两年在多个项目中打磨出的全栈机密计算架构模板完整拆给你看。
它不是一个玩具demo，而是一套可以在生产环境直接部署的工程方案。更重要的是——我会把所有代码开源，并附上完整的部署脚本和测试用例。