大规模AI推理生产环境避坑指南：来自Workato、Hippocratic AI、ISMG的工程实战
将 AI 从花哨的演示变成高并发的生产环境，这个过程充满了隐性的技术债务和基础设施挑战。周末原型里调个 OpenAI API，和给 5 万并发用户提供稳定低于 200 毫秒延迟、优雅降级、每次输出都可靠的服务，完全是两码事。这很少是“模型本身的问题”，而是决策、取舍和架构的问题。
在 DigitalOcean Deploy 2026 大会上，DigitalOcean 邀请到了来自Workato、Hippocratic AI和ISMG的工程负责人。由 DigitalOcean 工程高级经理 Karnik Modi 主持，嘉宾们分享了他们在规模化运行推理负载时积累的经验。
这场讨论聚焦于如何在实时交互中管理 P99 延迟峰值、限制 Agent 权限以防止“管理员”漏洞、以及确保基础设施在生产流量到来之前就已具备策略感知能力。这些洞见超越了模型性能本身，直指可靠的大规模 AI 所需的编排和安全护栏。
为大规模而生的嘉宾们
每位嘉宾所在的公司都处于生产级 AI 的前沿——从一个能跑的原型到一个服务真实用户的可靠系统，这之间的差距本身就是最大的挑战。无论是跨数千个企业应用编排自主 Agent，还是在实时临床语音对话中将延迟视为患者安全问题，抑或是在全球网络安全媒体网络中部署 AI 驱动的智能，这些团队都直面了那些只有规模化之后才会浮现的基础设施、治理和架构决策。
Oscar Wu — Workato 研究实验室 AI 研究技术负责人
Workato 是一个企业集成平台，连接了超过 14,000 个应用，已编排超过一万亿次自动化任务。其 AI 重心已转向 Agentic 编排——即在无需编写代码的情况下，跨企业系统构建、部署和治理能够推理、行动并执行多步工作流的自主 AI Agent。在生产规模下，Workato 的 AI 研究实验室直面 Agent 治理、大规模工具库中的工具选择准确性，以及如何在持续负载下保持推理快速且经济高效等难题。Workato 的 AI 研究实验室在 DigitalOcean 的 AI-Native Cloud 上运行其推理负载，在 NVIDIA Hopper GPU 上实现了推理成本降低 67%、首字延迟加快 77%。
Debo Datta — Hippocratic AI 联合创始人
Hippocratic AI 为医疗保健领域构建以安全为核心的生成式 AI 语音 Agent，承担出院后随访、慢病管理、用药审查和临床试验协调等面向患者的任务。由于每次临床对话可能包含数百轮实时交互，公司的核心基础设施挑战是在大规模下保持亚秒级延迟，确保语音交互富有共情力且自然，而不是像机器人一样生硬。Hippocratic AI 是 DigitalOcean 推理引擎的设计合作伙伴，并在该平台上运行其面向患者的负载，已支撑超过 2000 万次患者交互，延迟降低 40%。
Dan Grosu — ISMG CTO/CISO
ISMG（信息安全媒体集团）运营着 38 家专注于网络安全、IT 和 AI 的媒体机构，服务于全球银行、医疗保健和政府等行业的安全专业人士。该公司构建了自己的企业 AI 平台 Apollo，处理数千页访谈记录和会议内容，生成网络安全市场情报和战略评估。
从“要不要上 AI”到“基础设施扛不扛得住”
嘉宾们一致认为，过去 18 个月里，围绕 AI 的讨论已经变了。光是“有 AI”已经不够了，现在的焦点是你的技术栈是否真的能在大规模下支撑住它。
“AI 不再是竞争优势了。它是竞争性基础设施。问题已经从‘我们该不该上线 AI 功能？’变成了‘我们的企业技术栈真的能跟 AI Agent 配合工作吗？’” —Oscar Wu, Workato
当 AI 变成基础设施，支撑它的 GPU 账单就不再是实验性的开支项，而是核心运营成本。对于 Hippocratic AI 这样聚焦医疗健康的公司，AI 是核心产品，但由于庞大的 GPU 需求，它同时也是个巨大的成本中心。挑战在于如何把这笔成本转化为安全、可靠的收入来源。
10 个请求叫测试，100 万个才叫考验
在受控环境里，一切都看起来很高效率。但嘉宾们指出了那些只有在真实生产流量到来时才会浮现的特定“瓶颈”。
工具一多，Agent 就懵了
当一个 AI Agent 能访问 5 个工具时，它跑得很完美。当它能访问超过 50 个工具时，就开始出问题了。Oscar 指出，Agent 经常会选错工具——因为名字听起来太像了，或者没有一套有治理策略的执行规则来约束它。
延迟的代价，不止是“卡顿”两个字
在 Hippocratic AI，延迟不仅仅是一个技术指标——它还是个患者安全问题。他们以安全为核心的 LLM 处理多轮临床对话，任何延迟都会侵蚀有效护理所需的共情和信任。
“流量低的时候，你根本测不出极限。只有规模化之后，你才会注意到 P99 延迟。如果你在一个有 200 轮对话的临床电话中，延迟不太好的话，每一通电话你都能感受到卡顿。” —Debo Datta, Hippocratic AI
架构是活物，别把它做死了
扩展 AI 推理是一个不断重新设计技术栈的持续循环。随着新架构不断涌现，最终胜出的将是那些基础架构已经为 Agent 就绪、具备策略感知能力、并结构化地建立了信任的团队。
“让 AI 给你带来惊喜。如果你的数据整理好了，你就处于一个绝佳的位置，可以利用 AI 取得巨大的成功。” —Dan Grosu, ISMG
别让你的 Agent 拥有管理员权限
随着推理变得越来越分布式，安全风险也随之上升。ISMG 的 Dan 指出，虽然 AI 是加速交付的“超能力”，但它也带来了新的责任。如果基础设施没有得到妥善管理，每一次发出的提示词都可能是一个安全风险。
Oscar 进一步补充道：“别让你的 AI Agent 成为管理员。连你的实习生都不是管理员。你需要把 Agent 当作用户的按需操作委托，给它限定时间和范围的访问权限。”
Dan 指出，随着 AI 与更多系统集成，安全失效的“爆炸半径”会越来越大。他们迁移到像 DigitalOcean 这样可靠的供应商，正是因为需要可追溯性、日志记录，以及确保所有“操作杆”仍然在人类控制之下的确定性。
最冒险的 AI 策略就是没有 AI 策略
很多决策者仍然对将 AI 深度集成到现有技术栈中犹豫不决。嘉宾们警告说，这种“观望”态度往往会导致后期出现难以逾越的差距。
“AI 不会帮你掩盖你乱七八糟的企业技术栈，它只会放大它。风险不是聊天机器人晚了六个月，而是你在让 AI 安全地干实事的运营模式上晚了两年。” —Oscar Wu, Workato
Dan 补充说，最成功的公司会是那些在真正需要 AI 之前就已经把数据和流程结构化好了的公司。如果你的数据是有组织的，AI 就能立刻产生投资回报。Dan 和他的团队已经构建了 Agent 来创建一个“基于 Agent 的防火墙”，以实时阻止复杂的安全威胁。
无论是 Workato 在数千个企业应用中治理 Agent，还是 Hippocratic AI 在临床语音通话中保持亚秒级延迟，抑或是 ISMG 部署基于 Agent 的防火墙来应对实时威胁，它们的共同主线都是一样的：规模化推理是一个基础设施问题，而不是模型问题。
这正是 DigitalOcean 的 AI-Native Cloud 要解决的问题：一个集推理、计算、数据和 Agent 运行时于一体的统一平台，让团队专注于交付产品，而不是把一堆供应商拼凑在一起。如果上面这些经验教训让你感同身受，那么这套技术栈已经准备好了，随时等你来用。直接联系卓普云AI Droplet，了解更多。