【AI黑话日日新】什么是token吞吐量？

在大语言模型（LLM）的落地部署中，Token吞吐量是衡量系统性能的核心指标——它直接决定了服务能支撑的并发用户数、算力成本，甚至用户体验（生成速度）。本文将从「概念拆解」到「实战测试」再到「性能优化」，全方位讲透Token吞吐量，所有代码均可直接复制运行，帮你快速掌握LLM吞吐量的测试与调优方法。

一、Token吞吐量核心概念

1.1 什么是Token吞吐量？

Token吞吐量（Token Throughput）是指LLM推理系统在单位时间内处理+生成的Token总数，核心单位为每秒Token数（tok/s 或 TPS）。

简单理解：

• 输入Token：用户提问、上下文等模型需要“读取”的内容；
• 输出Token：模型生成的回答内容；
• 吞吐量=（总输入Token数 + 总输出Token数）/ 总耗时（秒）。

1.2 核心细分指标

实际测试中，我们通常关注3类吞吐量指标，覆盖不同场景：