SGLang：每天处理万亿 token 的 LLM 推理引擎

SGLang：每天处理万亿 token 的 LLM 推理引擎

大语言模型的推理速度，一直是工程团队头疼的问题。模型越来越强，部署成本居高不下。SGLang 瞄准的就是这件事。它是一个高性能的 LLM 和 multimodal 模型推理框架，目前在 GitHub 上已经收获了 2.8 万 Star。

速度是核心优势

跑过大模型的人都知道，同样的模型用不同推理框架跑，吞吐量能差好几倍。SGLang 用了一套叫 RadixAttention 的技术做前缀缓存，加上零开销 CPU 调度器、prefill-decode 分离、投机解码这些优化手段，把推理效率提升了几个档次。结构化输出、连续批处理、分页注意力、量化这些特性也都内置支持。

这套方案的效果很直接。目前 SGLang 已经在全球超过 40 万张 GPU 上部署，每天处理的 token 量达到万亿级别。xAI、AMD、NVIDIA、Intel、LinkedIn、Cursor 这些公司都在生产环境中使用。

硬件和模型覆盖面

SGLang 的硬件支持范围相当广。NVIDIA 的 GB200、H100、A100，AMD 的 MI300，Intel 的 Xeon CPU，Google 的 TPU，华为的昇腾 NPU，主流的加速硬件基本都覆盖了。不管你是用单卡跑小模型，还是用大规模集群跑千亿参数模型，都能用。

模型方面，Llama、Qwen、DeepSeek、GLM、Gemma、Mistral 这些主流语言模型都支持。也能跑 embedding 模型和 reward 模型。兼容 Hugging Face 模型和 OpenAI API 格式，从其他框架迁移过来不需要改太多代码。

不止是推理

SGLang 还有一个重要定位，就是作为强化学习后训练的 rollout 后端。AReaL、Miles、verl 这些主流训练框架都基于它做模型训练。很多前沿模型的训练过程里都有 SGLang 的身影。

项目由 LMSYS 组织托管，代码完全开源。从 2024 年 1 月发布至今，社区迭代很快，也获得了 a16z 的开源 AI 资助。如果你正在做大模型部署或训练，SGLang 值得关注。官方文档和快速入门指南都很完善，上手门槛不高。

注。官方文档和快速入门指南都很完善，上手门槛不高。