tokenspeed 工具：直观感受大语言模型每秒生成 token 速率

【导语：tokenspeed 工具可让用户直观感受大语言模型每秒生成 token 的速率，不同模式和内容类型下，相同 token 速率给人的感受差异明显。】

tokenspeed 呈现 token 生成速率

每个本地大语言模型的基准测试都会报告吞吐量，如“在 M3 上每秒生成 47 个 token”等，但人们很难直观理解这些数字的含义。tokenspeed 工具就旨在呈现这些速率下 token 流的实际情况。

工具的四种模式

该工具具有四种模式，代码模式是带有语法高亮的伪代码，这是大语言模型常见输出内容；文本模式类似“lorem ipsum”的散文，适用于聊天或回答场景；思考模式是灰色斜体的推理句子与代码交替出现，模拟推理模型的思考过程；智能体模式交替进行工具调用和代码生成，并伴有处理停顿，模拟 AI 编码智能体。

测试建议与 token 含义

测试建议从默认的每秒 30 个 token 开始感受，还可按 `1`（每秒 5 个 token — 树莓派级别的本地模型）、`5`（每秒 60 个 token — 典型的托管式 Claude 或 GPT）等预设值调整。这里近似采用字节对编码（BPE）风格的分词方式，短单词通常是一个 token，较长标识符会拆分，标点符号和运算符也算作 token。

代码的 token 密度比散文高，相同每秒 token 数，不同输出内容给人的感受差异很大，英文散文平均每个单词约有 1.3 个 token，每秒 30 个 token 约等于每秒 23 个单词。

编辑观点：tokenspeed 工具为人们理解大语言模型的 token 生成速率提供了直观途径，有助于更准确地评估模型性能。