大模型推理场景下的 AI 网关：定位、职责与架构演进
引言
从 2025 年初开始，大模型领域进入了新一轮加速发展阶段。随着大模型在企业内部系统和生产环境中的落地，大模型推理逐渐演化为一类重要的基础设施能力。在这一背景下，围绕大模型推理访问、资源管理与安全控制的 AI 网关（AI Gateway） 受到了业界的广泛关注（参见参考资料 [1][3][5]）。
由于 AI 网关仍处于快速演进阶段，不同厂商和社区对其定位与边界的理解并不完全一致。本文尝试基于当前较为主流的工程实践，对 大模型推理场景中的工作机制 以及 AI 网关的角色、作用和分类方式 进行系统性说明。
1. 大模型的推理场景
在说明 AI 网关之前，有必要先明确大模型推理场景的基本工作机制。
图1 大模型推理场景的工作机制
站在“智能体（Agent）”的视角，一个典型的大模型推理场景可以抽象为以下几类交互关系（见图1）：
用户 → 智能体：用户向智能体发起请求
智能体 → 大语言模型：智能体通过 LLM API 调用大语言模型进行推理
智能体 → 传统服务：智能体调用已有业务系统或工具提供的能力
智能体 → 智能体：智能体之间进行协作或能力委托
在接口层面，OpenAI API [6]的接口语义正在逐步成为事实上的接口参考标准（de facto standard），但在底层推理系统和企业内部场景中，仍然存在大量非 OpenAI 协议的实现方式。与此同时，MCP（Model Context Protocol）[7]等协议更多用于工具能力描述和上下文编排，其底层调用仍然依赖 HTTP、gRPC 或内部 RPC 等通信机制。对于智能体之间的协作，也正在出现 A2A（Agent to Agent）[8]等新型协议尝试。
2. 大模型推理场景中的网关
图2 大模型推理场景中的网关
在上述推理场景中，随着调用链条变长、资源成本上升以及安全风险增加，单