LangSmith LLM 网关：面向生产环境的Agent运行时管控方案

核心要点

1. 消除厂商锁定依赖：一套网关兼容闭源与开源权重模型，集中管控，可灵活切换模型服务商，不用再看A÷脸色
2. 成本与稳定性管控：设置成本、调用频次限制，追踪资源消耗，并为任意模型、服务商、主机实例配置降级策略
3. 敏感数据脱敏防护：在模型调用请求中自动脱敏个人身份信息、密钥等，避免隐私信息外流至模型服务商

生产环境运行的Agent，需要一套管控能力以规避成本失控、服务中断等各类线上风险。token限额、调用速率限制、模型故障降级、敏感数据防护，都是必不可少的管控手段。工程师痛点在于只能针对每一套Agent、每一家模型服务商手动重复开发这套管控逻辑。

为此我们推出了 LangSmith LLM 网关。它部署在Agent与底层大模型之间，作为统一治理中间层，专门适配Agent工程团队在生产场景下的管控需求。通过 LLM 网关，团队仅需一处配置，即可对全部Agent、各类模型、多家服务商统一执行运行时管控，在规范化模型调用行为的同时，彻底摆脱单一厂商绑定。

为什么Agent需要统一治理中间层

在线上生产环境，模型调用极易引发高额损耗与面向客户的服务故障，实际场景中这类问题十分常见： 模型服务商突发宕机、封号，客服Agent持续返回报错，直接引发客户不满、影响业务营收；或是代码智能体夜间陷入无限重试循环，次日产生上万次大模型调用，生成四位数高额账单。

核心问题在“统一”：上面问题仅靠事后复盘远远不够，必须在违规行为发生前就管控。但如果管控逻辑分散嵌入每个智能体代码，每新增一套智能体、接入一家服务商，都要重新开发、维护一套独立逻辑运维成本极高。 而LLM网关支持团队一次性定义管控规则，自动在所有模型、全部Agent中统一生效。

LLM 网关完整管控能力

LLM 网关覆盖Agent在生产环境最核心的四类管控需求：成本管控、调用限流、模型降级、数据脱敏。

1. 限额防超支：

LLM 网关支持对用户的大模型调用开销进行事前监控与管控，防患于未然。你可以设置限时额度，并从四个维度追踪资源消耗：

• 企业级：全公司统一开销管控
• 用户级：限定个人开发者额度
• 工作空间级：各业务团队不同额度
• API 密钥级：单个项目独立管控开销

一旦达到设定上限，Agent将收到标准 402 报错，并附带清晰提示信息。

1. 限流保稳定：

支持在组织、工作空间、用户、API 密钥四层维度配置调用速率限制，避免恶意攻击或高峰试用期耗尽配额，保障其他Agent、业务团队的服务稳定性。

1. 多租户场景：客户级独立限额与限流

面向多租户平台、第三方代理商，LLM 网关支持客户级独立管控，无需为每个客户单独创建 API 密钥。 通过自定义请求头标识终端用户/业务团队，即可对其分别配置限额与限流规则，同时所有大模型请求共用同一个API 密钥。可在统一面板调整所有客户的配额与消耗，无需自行开发配套逻辑。

1. 提高可靠性

可跨模型、跨主机实例配置故障降级规则，并对所有业务代码统一生效。当某服务商的模型宕机、触发限流或服务不可用时，Agent将自动切换至备用模型，无需在每个业务代码中单独编写降级逻辑。

1. 降低敏感数据泄露风险

在请求转发至模型服务商前，自动识别、脱敏、替换请求内的个人身份信息（PII）与密钥；同时网关也会对 LangSmith 记录的链路追踪日志脱敏。（该功能仅面向开通了企业计划的用户开放）

1. 在 LangSmith 中追踪 LLM 网关事件

所有网关的管控事件都作为元数据存入 LangSmith 的链路追踪日志，可用于观测真实流量下管控逻辑是如何执行的。如果请求因限额、限流等规则被拦截，可打开对应追踪日志，结合完整事件上下文排查原因，并决定是否需要调整管控配置。

自由选择模型服务商

LLM 网关提供统一接口，负责智能体到各家模型服务商的请求路由。支持 OpenAI、Anthropic、Fireworks 等主流服务商，以及兼容 OpenAI/Anthropic 协议的自定义模型端点。

LangSmith 网关原生支持“自带密钥BYOK“模式：你可以使用已有的服务商api-key通过LLM网关完成路由、治理、策略管控，无需为每一处模型调用额外埋点。 如果团队希望简化采购流程、快速搭建智能体业务，可直接在 LangSmith 内充值买点数就能调用 Fireworks 上面的开源模型。

我们坚信开源权重模型具备极高业务价值（内涵A÷是吧哈哈）：它让企业掌握更多的 AI 系统自主权，团队可灵活根据成本、效果、延迟、隐私、部署要求择优选型，并结合自身业务场景微调模型。LLM 网关正是我们降低开源模型生产落地门槛的方案之一。

开源模型现已能够满足企业落地 AI 业务所需的“性能要求“。下一个发展重点，是降低开源模型在智能体业务流程中的落地门槛 —— 企业需对成本、延迟与权限治理有可控能力。Fireworks 能大规模提供高速、高效且稳定的开源模型推理服务。我们十分期待与 LangChain 合作推出 LangSmith LLM 网关，助力企业将这套高性能方案投入生产。

——Fireworks 首席执行官 乔琳（Lin Qiao）

企业团队落地网关的真实业务场景

已有多家企业通过 LLM 网关为生产智能体配置硬性限额与统一管控，典型使用场景包括：面向公网需配置开销限额的 C 端智能体、多租户 SaaS 智能体（需要统一账单、用量追踪、按用户独立配额）

LLM 网关帮我们实现深度智能体账单与消耗追踪集中化，能够清晰查看每位客户的资源使用情况与配额限制。集成流程简单，提供了业务规模化所需的完整可观测能力。 — Blueberry AI 联合创始人 & CTO 肖恩・里奇

所有线上智能体都必须配置硬性开销上限，面向公网的产品更是刚需。LLM 网关直接消除了成本失控风险，我们只需与客户敲定开销等管控规则，点击几下即可完成全部配置。 — Friday 数字机构 AI 工程师 希尔克・西贝斯马

LLM 网关快速上手教程

你可直接通过 API 调用 LLM 网关，也能搭配各类代码开发工具使用，例如 Claude Code、Codex

接入步骤：

1. 将智能体的请求目标地址切换为 LangSmith 网关端点；
2. 使用你的 LangSmith API 密钥完成身份鉴权；
3. 将各大模型服务商密钥录入工作空间密钥库；
4. 统一配置故障降级、调用限流、限额、数据脱敏等管控策略；
5. 仅修改代码内base_url字段，其余业务代码无需改动。

LLM 网关未来规划

当前 LLM 网关已上线企业高频刚需的管控能力，后续我们将持续迭代，扩充生产环境大模型调用的治理工具集：

• 安全护栏：全面覆盖智能体调用外部模型、对接生产系统时产生的各类风险。
• CI/CD 管控：支持托管提示词模板，跑A/B 测试，蓝绿发布、影子流量部署，以及通过代码定义管控规则（Infrastructure-as-Code）