【理论篇】深入理解 BPE 分词：大模型时代的文本“拆字“艺术

一、先来"看见"分词

​ 在讲任何理论之前，我们先打开一个工具tiktokenizer。这是一个基于 JavaScript 的在线分词可视化工具，在浏览器中实时运行。左侧输入文本，右侧立即显示分词结果，每个 token 用不同颜色高亮。

1.1 Tiktokenizer介绍

​ 这是一个开源的在线分词可视化工具，基于 OpenAI 的 tiktoken 库，用 JavaScript 在浏览器中实时运行，不调用任何 API。界面分为 System、User、Assistant 三个输入栏，对应 Chat API 的消息角色。你可以把系统提示、用户消息、模型回复分别贴进去，观察每部分各自被拆成了多少 token。三个栏的分词逻辑完全一样，分开只是方便你估算实际对话场景下的 token 消耗。

1.2 举例说明

​ 选择 GPT-4o 分词器，在 User 栏分别输入Hello, world!和你好，世界，你会看到这样的 token 序列：

​ 仔细观察，有几个值得玩味的现象：

• 标点和空格不是"免费的"

  Hello, world!变成了 4 个 token：Hello（13225）、,（11）、world（2375，注意前面带空格）、!（0）。逗号、感叹号各占一个 token，空格则被粘在了下一个词的开头。

• 中文的切分粒度不同

  你好，世界变成了 3 个 token：你好（177519）、，（979）、世界（28428）。两个汉字被合并为一个 token，而英文Hello五个字母也才一个 token。同样的"一个 token"，承载的信息量差异很大。这也是为什么中文 prompt 往往比英文更费 token。

​ 这些现象说明一件事：大模型处理文本的第一步，就不是在"词"的层面上操作的。它使用的是一种介于字符和单词之间的切分方案—子词（subword）。而构建这套子词词表的核心算法，就是我们今天要讲的BPE（Byte Pair Encoding，字节对编码）。

二、背景：为什么不能直接按词切分

​ 在传统 NLP 中，英文按空格切分就能得到单词，中文用 jieba 等工具也能搞定。

• 但大模型时代，这套方案撑不住了，原因有三个：

  • 词表爆炸

    英文有大量的派生词（running、runner、runs），中文有无穷的组合（“人工智能”、“人工降雨”），如果每个词都分配一个 ID，词表会膨胀到不可控。

  • OOV（未登录词）问题

    训练时没见过的词怎么办？传统方法只能标记为<UNK>，直接丢失语义信息。

  • 多语言支持

    一个模型要同时处理中英日韩甚至代码，按语言各搞一套分词器根本不现实。

• BPE 的思路很巧妙：不以"词"为基本单位，而是通过数据驱动的方式，自动学习一套子词切分方案。高频词保留完整，低频词拆成有意义的碎片。一石三鸟，解决了上面全部问题。

三、基础知识：三种分词粒度

​ 在正式讲 BPE 之前，先理清三种分词粒度：

• 子词分词的核心思想一句话概括：高频的留着，低频的拆开。

• 你可以在 tiktokenizer 中亲手验证：输入the, unhappines