别把 `transformers serve` 当成 vLLM 替代品：它真正补上的，是模型到 OpenAI API 的最后一公里

别把transformers serve当成 vLLM 替代品：它真正补上的，是模型到 OpenAI API 的最后一公里

很多团队现在都有一个尴尬场景：模型在transformers里能跑，评测脚本、agent 框架、前端 demo 却都想连一个 OpenAI-compatible API。于是有人看到 Transformers v5 里的transformers serve，第一反应是：那以后是不是不用 vLLM、TGI、SGLang 了？

我的结论先说：不是。transformers serve最适合补“模型到 HTTP API”的最后一公里，不适合被当成高并发生产 serving engine 的直接替代品。真正该问的不是“它能不能起服务”，而是你的负载、SLA、模型数量和接口兼容需求到底是哪一种。

这篇文章不做命令行流水账，也不伪造吞吐 benchmark。我这次做了三件事：

• 读了 Transformers v5 当前仓库里的serve文档和源码。
• 对照了官方对 vLLM / SGLang backend 的定位。
• 写了一个很小的场景决策脚本，把“什么时候用 serve，什么时候换生产引擎”落成规则。

如果你正在做本地模型评测、内网模型服务、agent demo、私有化小工具，或者正准备把一个新模型接进 OpenAI SDK，这个边界比一条安装命令更重要。