大模型的 Token 是什么？输入 Token 和输出 Token 在计费上有什么区别？
👨⚕️主页： gis分享者
👨⚕️感谢各位大佬 点赞👍 收藏⭐ 留言📝 加关注✅!
👨⚕️收录于专栏：AI大模型原理和应用面试题
文章目录
- 一、🍀回答重点
- 二、🍀扩展知识
- 2.1 ☘️Token 的分词原理
- 2.2 ☘️实战中控制 Token 成本的几个招
- 2.3 ☘️上下文窗口和 Token 的关系
- 三、🍀追问
一、🍀回答重点
Token是大模型处理文本的最小单位。大模型不是一个字一个字读文本的，先通过分词器 Tokenizer 把文本切成一个个 Token，再去理解和生成。
一个 Token 不一定等于一个字。英文里，一个常见单词通常就是 1 个 Token，长一点的单词会被拆成 2～3 个 Token。中文一个汉字通常是 1～2 个 Token，取决于模型用的分词器。
计费上，输入 Token 和输出 Token 分开计价，价格差距很大。通常输出 Token 单价是输入的 3～4 倍。
原因是：输出 Token 要模型一个一个"生成"，每生成一个都跑一次前向推理，计算成本远高于处理输入。输入的 Token 可以并行处理，效率高得多。
所以实际开发中有个很实用的省钱思路：尽量把信息放在输入端，用详细的 Prompt 和上下文喂进去，让模型的输出尽量简洁精准。