大语言模型工作原理：从文本分词到高维向量计算的完整解析
1. 从“你好”到数字矩阵：大语言模型如何“看懂”世界
我们每天都在和ChatGPT、文心一言这样的AI助手对话，感觉它们像人一样理解我们的问题。但你是否想过，当你在对话框里输入“帮我写一首关于春天的诗”时，这台机器究竟“看到”了什么？它真的理解“春天”的温暖、“诗”的韵律吗？答案可能出乎你的意料：它看到的，只是一串经过复杂编码的数字。今天，我们就来彻底拆解这个魔法背后的工程逻辑，看看一句简单的人话，是如何被大语言模型（LLM）拆解、转换，并最终“计算”出回应的。这个过程，远比你想象的更工程化、更精妙，也充满了工程师们为了解决实际问题而设计的各种巧思和“补丁”。
理解这个过程，不仅有助于你更理性地使用AI工具，更能让你洞察当前AI能力的边界。你会发现，所谓的“智能”，其起点竟是一个如此机械的“分词”动作；而让模型显得“博学”的，则是将词语映射到高维空间中的某个点。这趟从文本分词到高维向量的计算之旅，正是现代大语言模型所有能力的基石。无论你是开发者想深入了解模型原理，还是普通用户好奇AI的运作机制，这篇文章都将带你走完这段从“字符”到“智能”的完整路径。
2. 旅程的起点：文本分词（Tokenization）的工程艺术
大语言模型处理文本的第一步，不是理解，而是“切分”。这个步骤叫做分词（Tokenization），它的目标是把人类可读的连续字符序列，切割成模型能够处理的离散单元，这些单元被称为“词元”（Token）。这听起来简单，实则充满了权衡和设计哲学。
2.1 为什么需要分词？字符级处理的困境
最朴素的想法是让模型直接处理每一个字符（Character-level）。比如“hello”就处理为[‘h‘, ‘e‘, ‘l‘, ‘l‘, ‘o‘]。这样做词汇表极小（英文就几十个），但效率极低。模型需要从零学习“h”“e”“l”“l”“o”组合成“hello”的含义，这需要海量的数据和计算。更重要的是，它无法有效利用常见的子词或单词的统计信息，学习成本太高。
另一种极端是单词级（Word-level）分词，即按空格切分，每个单词作为一个Token。这对于英语似乎可行，但问题立刻浮现：词汇表爆炸（“run“, “runs“, “running“会被视为三个完全不同的词）、无法处理未登录词（OOV， 如“ChatGPT“）、对形态丰富的语言（如德语、土耳其语）极其不友好。
因此，现代大语言模型普遍采用子词分词（Subword Tokenization）策略。它的核心思想是：将频繁出现的连续字符序列作为一个整体（Token），而将不常见的词拆分成更小的、可重复使用的子词单元。这就像我们背单词时，会识别“un-“（否定）、“-ing“（进行时）这样的前缀后缀一样。
2.2 主流分词算法实战解析
目前，有两大主流的分词算法家族：BPE（Byte-Pair Encoding）和WordPiece/SentencePiece。它们思路相近，但细节和适用场景有差异。
2.2.1 Byte-Pair Encoding (BPE)：从GPT到Llama的基石
BPE算法非常直观，它通过迭代合并最高频的字符对来构建词表。我们通过一个简化例子来看它的训练过程：
假设我们有初始词汇（字符级）：[‘l‘, ‘o‘, ‘w‘, ‘e‘, ‘r‘, ‘l‘, ‘o‘, ‘w‘, ‘e‘, ‘s‘, ‘t‘]（对应单词“lower lowest“）。
- 统计所有相邻字符对频率：
lo出现2次，ow出现2次，we出现1次等。 - 合并最高频对，比如
lo->lo， 词汇变为：[‘lo‘, ‘w‘, ‘e‘, ‘r‘, ‘lo‘, ‘w‘, ‘e‘, ‘s‘, ‘t‘]。 - 重复此过程，直到达到预设的词表大小（例如5万）。接下来可能合并
we，然后是low，等等。
最终，像“lower“这样的常见词可能会被合并成一个Tokenlower，而“lowest“可能被分成low和est两个Token。OpenAI的GPT系列、Meta的Llama系列都使用基于BPE的分词器。它的优点是生成的词元相对规整，容易理解。
注意：BPE有一个关键变体叫字节级BPE（BBPE），这是GPT系列使用的。它的初始单元不是Unicode字符，而是256个字节。这使得BBPE理论上可以编码任何文本（包括任何语言、任何符号，甚至是图片的二进制数据），彻底解决了OOV问题，因为任何未知文本都能被分解回这256个字节。这是工程上一个非常巧妙的设计。
2.2.2 WordPiece与SentencePiece：BERT与T5的选择
WordPiece（用于BERT）和SentencePiece（用于T5， mT5）与BPE类似，但合并策略不同。BPE根据频率合并，而WordPiece根据一个似然函数合并，这个函数倾向于合并能最大程度增加语言模型概率的字符对。SentencePiece则更进一步，它直接在原始字节流上操作，无需预分词（如按空格分），因此对不带空格分隔的语言（如中文、日文）更加友好。
对于中文，分词逻辑有所不同。由于中文没有天然的分隔符，常见的做法是将每个汉字作为一个独立的Token（字级别），或者使用分词工具先切分成词，再进行子词划分。例如，“人工智能”可能被直接当作一个Token，也可能被拆成“人工”和“智能”两个Token，这取决于它在训练语料中的出现频率。
2.3 分词带来的实际挑战与应对技巧
分词不是一个完美的过程，它会直接引入一些模型行为的“怪癖”。
2.3.1 计算效率与上下文长度的博弈
Token是模型计算的基本单位。模型的上下文长度（如4096、128K）限制的是Token的数量，而非字符数。一个复杂的英文单词可能被拆成多个Token，一个中文字符通常就是一个Token。这意味着，用中文提问，你可能比用英文“塞”进更多实质内容。在计算资源（尤其是GPU显存）固定的情况下，Token数直接决定了单次处理文本的成本。这也是为什么长文本生成或处理非常消耗资源的原因——每个新Token的生成都需要模型对整个当前的Token序列进行一遍完整的“思考”（前向传播）。
2.3.2 分词不一致性：提示工程的隐藏变量
同一个概念，不同的分词方式可能导致完全不同的Token序列。例如，“ChatGPT”在有些分词器里是一个Token，在另一些里可能是Chat和GPT两个Token。这会导致模型对同一输入的内部表示产生微妙差异，进而影响输出。在提示工程中，有时微调一下措辞（比如用“AI assistant”代替“ChatGPT”）就能得到更好结果，背后可能就是因为触发了更“优质”的分词模式。
实操心得：当你发现模型对某个关键词反应不佳时，可以尝试用它的同义词、缩写或展开形式替换，这本质上是换了一组分词，可能绕过了模型在训练时因分词而产生的某些薄弱关联。
2.3.3 数字与格式的“陷阱”
数字的分词尤其棘手。“123“可能被分成12和3两个Token，这会让模型难以进行精确的数学运算，因为“123”的数值概念在分词阶段就被破坏了。这也是为什么大语言模型普遍不擅长精确算术的根本原因之一。对于代码、数学公式，特殊的分词器（如CodeLlama使用的）会进行特殊处理，尽量保持数字和运算符的完整性。
3. 从符号到空间：词嵌入（Embedding）的魔法
分词之后，我们得到了一串Token ID（每个Token在词表中的索引号，比如[2301, 3928, 1823, ...]）。但模型是无法直接计算这些整数的。下一步，就是通过词嵌入层，将这些离散的符号映射到连续的、稠密的高维向量空间。这一步，是赋予模型“理解”能力的关键转换。
3.1 词嵌入的核心思想：万物皆可向量
想象一个巨大的高维空间（比如4096维、8192维），这个空间的每一个点都对应一个Token。词嵌入层就是一个巨大的查找表（Look-up Table），其行数等于词表大小（如5万），列数等于嵌入维度（如4096）。当输入Token ID为2301时，模型就从这个表的第2301行，取出那个4096维的向量。
这个向量不是随机的。在模型训练过程中，这些向量的数值会被不断调整优化。优化的目标是：在语义或语法上相似的Token，它们对应的向量在高维空间中的距离（通常用余弦相似度衡量）应该更近。例如，“猫”和“狗”的向量距离，应该比“猫”和“汽车”的近；“奔跑”和“跳跃”的向量距离，应该比“奔跑”和“睡觉”的近。
3.2 静态嵌入 vs. 上下文动态嵌入
早期的Word2Vec、GloVe等技术产生的是静态词嵌入。一个词无论出现在什么句子中，它的向量是固定的。“苹果”在“我吃苹果”和“苹果股价上涨”中拥有同一个向量，这显然无法区分“水果”和“公司”的不同含义。
大语言模型使用的是上下文动态嵌入。注意，在Transformer架构中，词嵌入层产出的初始向量是静态的（即上面提到的查找表输出）。但是，这个初始向量会立刻送入模型的第一层Transformer Block。经过多层自注意力机制（Self-Attention）和全连接层的计算后，每个Token的向量都会融合整个句子中所有其他Token的信息。最终输出的向量，才是这个词在当前特定上下文中的真正表示。因此，同一个Token“苹果”在不同的句子中，经过模型深层处理后的最终向量是不同的，它动态地编码了上下文信息。
3.3 嵌入维度的秘密：为什么是768/1024/4096？
嵌入维度是一个超参数。维度越高，理论上能编码的信息就越丰富、越精细，但同时也带来了更大的计算量和模型参数（嵌入层参数 = 词表大小 × 嵌入维度）。选择多少维，是模型效果、训练成本和推理速度之间的权衡。
- 较低维度（如768）： 在BERT-base中常见，足以捕获丰富的语义信息，计算效率高。
- 较高维度（如4096/8192）： 在GPT-3、Llama 2/3等大型模型中使用。更高的维度允许模型学习更微妙、更复杂的语义和语法特征，为后续的注意力机制提供更丰富的“素材”，是模型能力强大的基础之一。你可以把它理解为给每个词分配了更长的“描述清单”，清单上的每一项（每一维）可能对应某种抽象的语义属性（如“是生物”、“有情感”、“是动词过去式”等，但这些属性是人类难以直接解读的）。
4. 计算的心脏：Transformer架构中的高维向量运算
当每个Token都变成了一个高维向量后，真正的“计算”就开始了。这一切发生在Transformer架构的内部。我们可以把Transformer模型想象成一个极其复杂的“向量加工厂”，输入一串向量，经过层层加工，输出另一串向量（每个位置对应下一个Token的预测概率）。
4.1 自注意力机制：向量间的“社交网络”
这是Transformer最核心的发明。自注意力机制让序列中的每一个Token向量，都能“关注”序列中所有其他的Token向量（包括它自己），并根据相关性动态地聚合信息。
计算过程分三步走：
- 生成Q, K, V： 对于每个输入向量，分别乘以三个不同的权重矩阵，得到查询向量（Query）、键向量（Key）和值向量（Value）。这三个矩阵是模型要学习的参数。
- 计算注意力分数： 用当前Token的Q向量，去点乘序列中所有Token的K向量。点乘的结果（经过缩放）代表了当前Token与其他Token的“相关度”。这个相关度经过Softmax函数归一化，变成一组权重（和为1）。
- 加权求和： 用这组权重，对所有的V向量进行加权求和。得到的结果，就是当前Token经过“注意力”聚合了全局信息后的新向量。
为什么有效？在“The animal didn‘t cross the street because it was too tired”这个句子里，“it”的向量通过注意力机制，会赋予“animal”的V向量很高的权重，从而知道“it”指的是“animal”而不是“street”。这个过程完全是向量计算的结果。
多头注意力： 模型不会只做一次上述计算，而是并行地做多次（例如32个“头”），每个头有不同的Q、K、V权重矩阵。这相当于让模型从多个不同的“表示子空间”或“理解角度”去关注输入信息，最后把多个头的结果拼接起来。这大大增强了模型的表征能力。
4.2 前馈神经网络：每个位置的独立“思考”
经过注意力层后，每个Token的向量已经包含了上下文信息。接下来，这个向量会进入一个前馈神经网络（FFN）。这是一个简单的全连接网络，通常包含一个放大维度（如从4096放大到11008）的激活层（如Swish/GELU），和一个缩小回原维度的线性层。
它的作用是什么？注意力机制负责“收集信息”，而FFN负责“处理信息”。你可以把FFN看作每个Token在获得了全局信息后，进行的独立、深度的“思考”和“转化”。它为模型提供了强大的非线性变换能力，是学习复杂模式的关键。
4.3 残差连接与层归一化：训练深度网络的稳定器
Transformer的每个子层（注意力层、FFN层）都包裹着残差连接和层归一化。
- 残差连接： 将子层的输入向量直接加到其输出向量上。即
输出 = 层归一化(子层(输入) + 输入)。这解决了深度神经网络中的梯度消失问题，使得训练数十层、数百层的模型成为可能。 - 层归一化： 对单个样本的所有特征维度进行归一化，使其均值为0，方差为1。这稳定了每一层的输入分布，加速了模型训练收敛。
这两项技术虽然看似简单，但却是Transformer能够堆叠得如此之深、训练得如此稳定的工程基石。
5. 输出的临门一脚：从向量回退到文字
经过数十层Transformer Block的层层处理，我们最终得到了序列中每个位置的一个高维输出向量（例如，最后一个Token位置的向量，通常用于预测下一个词）。但这个向量还不是文字。最后一步，需要将它“解码”成人类可读的Token。
5.1 语言模型头：向量到词表的映射
模型的最后一层是一个线性层，通常被称为“语言模型头”。它的权重矩阵形状是[隐藏层维度, 词表大小]。我们将最后一个输出向量（假设是4096维）乘以这个矩阵，就会得到一个长度为词表大小（如5万）的向量。
这个向量中的每一个数值，对应了词表中每一个Token作为“下一个词”的未归一化的得分（logits）。数值越高，表示模型认为该Token出现的可能性越大。
5.2 采样策略：决定性的最后一步
得到logits向量后，我们并不是简单地选择分数最高的那个Token（贪婪搜索）。为了生成更有创造性、更自然的文本，通常会采用一些采样策略：
- Softmax： 首先，将logits通过Softmax函数转换为概率分布。这样，每个Token都有一个0到1之间的概率，所有Token概率之和为1。
- 温度参数： 在Softmax之前，将logits除以一个温度系数
T。T = 1： 标准Softmax。T < 1（如0.8）： 概率分布更“尖锐”，高分者更高，低分者更低，输出更确定、更保守。T > 1（如1.2）： 概率分布更“平滑”，输出更多样、更有创造性，但也更可能出错。
- 采样方法：
- 贪婪搜索： 直接选概率最高的。简单但容易导致重复、枯燥的文本。
- 核采样： 只从概率最高的前
k个Token中随机采样。在创造性和可控性之间取得平衡。 - 顶-p采样： 从累积概率超过
p的最小Token集合中随机采样。比核采样更自适应。
选中的Token ID，被追加到输入序列的末尾，然后整个序列（包括这个新Token）再次送入模型，预测下一个Token，如此循环往复，直至生成完整回答或达到长度限制。
6. 实战中的挑战与调优经验
理解了整个流程，我们就能更好地应对实际使用和开发中的问题。
6.1 显存瓶颈：长上下文与高维向量的代价
大语言模型推理时，显存占用主要来自两部分：模型参数和激活值。模型参数（如Llama 3 70B的140GB）在加载后基本固定。而激活值（即每一层计算过程中产生的中间向量）会随着批次大小和序列长度线性增长。
例如，处理一个长度为4096的序列，在每一层Transformer中，都需要为这4096个Token存储其对应的Key和Value向量，用于后续Token生成时的注意力计算。这就是为什么长文本生成如此耗费显存。当出现“CUDA out of memory”错误时，除了换更大显存的GPU，可以尝试：
- 减小批次大小。
- 使用更高效的注意力算法，如FlashAttention-2，它能大幅降低显存占用并提升速度。
- 对于超长文本，考虑使用外推或流式处理技术。
6.2 生成质量与速度的权衡
生成文本时，有几个关键参数影响效果：
- max_new_tokens： 生成的最大Token数。设得太小可能回答不完整，太大则浪费资源。
- temperature： 如上所述，控制随机性。对于代码生成、事实问答，建议较低温度（0.1-0.3）；对于创意写作，可以调高（0.7-1.0）。
- top_p / top_k： 控制采样范围。
top_p=0.9,top_k=50是常见的平衡设置。
实操心得：不要盲目追求“最像人”的随机性。对于需要确定性和准确性的任务（如数据提取、指令跟随），低温度+贪婪或小范围采样往往效果更可靠。观察模型输出的logits分布，如果最高概率的Token优势极其明显（如>0.9），那么采样带来的差异不大；如果前几个Token概率相近，采样就会导致输出波动较大。
6.3 分词不一致导致的诡异行为
这是提示工程中常遇到的坑。例如，让模型“重复单词‘Hello‘五次”，它可能完美执行。但如果你让它“重复单词‘HelloHelloHelloHelloHello‘”，由于这个长串可能被分词成奇怪的片段，模型输出可能会出错。再比如，在系统提示词中，用不同的方式表述同一指令，仅仅因为分词不同，就可能导致模型对其“重视程度”产生差异。
排查技巧：当你对模型的输出感到困惑时，一个有用的诊断步骤是将你的输入提示文本，用该模型对应的分词器进行分词，看看究竟被切成了什么样。许多开源库（如Hugging Face的transformers）都提供了方便的.tokenize()和.decode()方法。这能帮你确认，是不是分词引入的噪声干扰了模型的理解。
6.4 本地部署与计算资源规划
本地部署大模型（如使用Ollama、text-generation-webui）已成为趋势。你需要清楚自己的需求：
- 模型规模： 参数量（7B, 13B, 70B）直接决定了对显存的最低要求。70B模型通常需要2张以上高端消费级显卡（如4090）才能以可接受的速度运行。
- 量化技术： 这是让大模型在消费级硬件上运行的关键。将模型权重从FP16精度量化到INT8甚至INT4，可以大幅减少显存占用和提升推理速度，但会带来轻微的质量损失。选择哪个量化版本（Q4_K_M, Q8_0等）需要在质量和效率间取舍。
- 上下文长度： 长上下文模型（如128K）在处理长文档时优势明显，但同样会显著增加激活值显存。确保你的硬件能支撑你常用的上下文长度。
从你输入一段文字开始，到大语言模型给出回应，这背后是一场精密、复杂且规模浩大的高维向量计算之旅。它始于将文本机械地切分成Token，通过嵌入层将其投射到充满语义关联的高维空间，再经由Transformer的注意力机制进行全局信息交换和深度非线性变换，最后通过一个简单的线性层映射回我们的词汇世界。这个过程里没有魔法，只有数学和工程。理解它，能让你拨开AI神秘的面纱，看到其能力的来源与边界，从而更高效、更精准地利用这项强大的工具。无论是调整一个温度参数，还是设计一段更有效的提示词，你的每一个微调，都是在与这个庞大的向量计算系统进行对话。