大语言模型核心原理：从分词、向量化到Transformer计算全解析

1. 从“词”到“数”：大语言模型如何理解人类语言

我们每天都在和语言打交道，无论是阅读新闻、编写代码，还是与朋友聊天。你有没有想过，当你向ChatGPT提问，或者让Claude帮你写一封邮件时，这台“机器”究竟是如何“理解”你输入的文字，并“思考”出回应的？这背后，是一场从我们熟悉的字符世界，到机器擅长的数字世界的奇妙转换。简单来说，大语言模型（LLM）并不真正“懂”语言，它只是极其擅长在它构建的“数字宇宙”里，找到与我们输入的文字最匹配的“数字模式”。

这个过程的核心，可以概括为三个关键步骤：分词（Tokenization）、向量化（Embedding）和计算（Computation）。想象一下，你要教一个只会说数字的外星人理解《红楼梦》。你不可能直接把整本书扔给它。首先，你得把书拆成一个个有意义的片段，比如“贾宝玉”、“林黛玉”、“潸然泪下”——这就是分词。然后，你需要为每个片段找到一个独一无二的“身份证号码”，但这个号码不是简单的1、2、3，而是一个包含数百甚至数千个维度的“高维向量”，这个向量能编码这个词的语义（悲伤还是快乐）、语法（名词还是动词）、甚至与其他词的关系——这就是向量化。最后，模型通过海量的数学计算（主要是矩阵运算），在这些高维向量之间建立复杂的关联网络，学习到“贾宝玉”和“林黛玉”经常一起出现，且与“爱情”、“悲剧”等向量在空间上接近——这就是计算。

所以，当你输入“今天天气真好”，模型并不是在“感受”阳光，而是在它的高维向量空间里，快速计算出“今天”、“天气”、“真好”这几个向量组合后，最可能跟随的下一个向量序列，比如“我们出去散步吧”。这场从离散符号到连续向量的“计算之旅”，正是大语言模型所有智能表现的基石。无论你是开发者想深入了解模型原理，还是普通用户好奇AI如何工作，理解这段旅程都将让你拨开迷雾，看清AI语言能力的本质。

2. 旅程起点：文本分词（Tokenization）的精细艺术

在模型眼中，一篇文笔优美的散文和一段杂乱无章的字符没有本质区别，它们都是需要被处理的原始字节流。分词，就是将这串字节流切割成模型能够消化和处理的基本单元，这些单元被称为Token。这不是简单的按空格切分，而是一门平衡语义完整性、计算效率与多语言支持的精细艺术。

2.1 为何需要分词？字符级与词级的困境

最直接的分词方法是两种极端：字符级（Character-level）和词级（Word-level）。

字符级把每个字符（包括字母、标点、空格）都当作一个Token。比如“Hello!”会被分成['H', 'e', 'l', 'l', 'o', '!']。它的优点是词表极小（英文也就几十到一百多个），不存在未知词问题。但缺点极其致命：失去了词的语义整体性，且序列长度爆炸。“Hello”这个有明确意义的词被拆成5个无意义的字母，模型需要从海量数据中重新学习“H-e-l-l-o”组合起来表示问候，学习效率极低，计算成本高昂。

词级则相反，它通常以空格和标点为界，将每个单词作为一个Token。例如“I love machine learning.”会被分成['I', 'love', 'machine', 'learning', '.']。这保留了词的语义，序列也较短。但问题同样突出：词表膨胀。语言中的词汇量是开放的，新词、专业术语、拼写错误会不断产生，导致词表可能增长到数十万甚至百万级，使模型参数剧增。更麻烦的是未知词（OOV）问题：遇到词表里没有的单词，如“tokenization”，模型就束手无策。

因此，现代大语言模型普遍采用折中的方案——子词分词（Subword Tokenization）。它的核心思想是：将频繁出现的完整词保留为独立Token，将不常见的长词拆分成更小的、有意义的子词单元。这样既能控制词表大小，又能有效处理未知词。

2.2 主流分词算法剖析：BPE、WordPiece与Unigram

目前，有三种主流的子词分词算法，它们决定了Token的“切割法则”。

1. Byte Pair Encoding (BPE)BPE是GPT系列模型（从GPT-2到GPT-4）的基石。它从一个基础字符词表开始，通过一种“贪心合并”的统计方法，逐步构建分词器。

• 工作原理：首先，将文本按字符拆分（包括空格）。然后，统计所有相邻符号对的出现频率，将频率最高的一对合并成一个新的符号，加入词表。这个过程不断重复，直到达到预设的词表大小。
• 举例：假设“low”出现5次，“lower”出现2次，“newest”出现6次，“widest”出现3次。初始为l o w, l o w e r, n e w e s t, w i d e s t。统计发现e和s共现9次（在“newest”和“widest”中），频率最高，于是合并成es。词表新增es。下次可能合并es和t成est……最终，“low”可能作为一个完整Token，“lower”可能被分成low和er两个Token。
• 优势：能有效平衡词表大小和Token序列长度，对未知词有较好的处理能力（拆分成已知子词）。
• 实操注意：BPE的训练依赖于大规模的语料库。不同的语料库训练出的分词器，其词表和合并规则会有所不同，这直接影响了模型对文本的“第一印象”。例如，代码训练出的分词器，可能会把“function”作为一个Token，而通用语料训练的可能将其拆分为func和tion。

2. WordPieceWordPiece是BERT模型使用的算法，与BPE思路相似但合并标准不同。

• 工作原理：它也从一个基础词表开始，通过合并来增加新词。但它的合并标准不是简单的频率，而是最大化语言模型（LM）的似然概率。具体来说，它每次选择合并后能最大程度提升训练数据概率的那对子词。
• 与BPE的关键区别：BPE是频率驱动，WordPiece是概率驱动。WordPiece更倾向于合并那些能显著提高语言模型整体“流畅度”的片段。在实践中，两者效果相近，但WordPiece在理论上更贴近语言建模的目标。
• 一个细节：BERT分词器在分词前会进行“词干化”预处理，比如将“running”变成“run ##ning”，##表示这是一个后缀。这有助于模型理解词的形态变化。

3. Unigram Language ModelUnigram是SentencePiece工具默认支持的算法之一（另一个是BPE），被T5、ALBERT等模型使用。它的思路与前两者截然不同：自顶向下。

• 工作原理：它首先假设一个非常大的初始词表（例如所有常见子词和字符），然后逐步移除那些对整体语言模型概率贡献最小的子词，直到词表缩小到目标大小。在训练时，它同时优化分词结果和子词概率。
• 优势：更加灵活，可以方便地设置不同的分词概率，从而得到不同的分词结果。它不依赖于合并操作，因此理论上可以找到全局更优的子词集合。
• 选择建议：对于大多数应用，BPE因其简单高效已成为事实标准。如果需要更精细的概率控制或多语言混合场景，Unigram值得尝试。

注意：分词器的选择不是随意的。预训练模型的分词器是其不可分割的一部分。如果你在使用一个预训练的LLM（如LLaMA、ChatGLM），必须使用其原配的分词器，否则模型将无法正确理解输入。因为每个Token的ID对应着模型嵌入层中的一个特定向量，换用分词器会导致ID与向量的映射关系完全错乱。

2.3 分词带来的挑战与应对策略

分词虽然解决了基础问题，但也引入了一些独特的挑战。

1. 空格与标点的处理英文中空格是天然的分隔符，但在分词时，空格本身通常会被赋予特殊含义。例如，在BPE中，空格可能被编码成一个特殊Token（如Ġ），或者通过在单词前添加特定符号（如_或##）来表示单词开头。这确保了模型能区分“blackboard”和“black board”。对于中文等无空格语言，分词器需要能识别词的边界，这本身就是一个难题。大多数中文LLM会使用专门的中文分词工具先进行粗分，再进行子词划分。

2. 数字与罕见词数字如“123,456”，如果直接作为整体Token，会浪费词表空间且泛化能力差。通常会被拆分成“123”、“,”、“456”。对于“鞑靼海峡”这样的罕见专有名词，BPE可能会将其拆分为“鞑靼”和“海峡”两个已知子词，模型通过组合它们的向量来理解这个整体概念。

3. 分词不一致性同一个单词在不同语境下可能有不同的分词方式，这取决于其周围的字符。例如，“deep learning”可能被整体作为一个Token，也可能被拆开。这种不一致性有时会影响模型对固定短语的理解。在实践中，这通常通过大规模数据训练来缓解，模型会学习到不同分词模式下的语义关联。

实操心得：如何与分词器打交道当你调用tokenizer.encode(“Hello, world!”)时，你得到的是一个整数ID列表。我强烈建议你同时使用tokenizer.tokenize()方法查看具体的Token划分。这能帮你诊断很多问题：为什么模型对某个短语反应奇怪？很可能是因为它被分成了意想不到的Token。例如，你的提示词“Step-by-step”可能被分成['Step', '-', 'by', '-', 'step']，其中的连字符作为独立Token可能会干扰模型理解。一个技巧是在设计系统提示（System Prompt）或关键指令时，尽量使用常见的、容易被分成完整Token的单词和短语。

3. 构建数字宇宙：从Token到高维向量（Embedding）

分词之后，我们得到了一串Token ID，比如[2301, 3928, 743, 102]。对于模型来说，这串数字本身毫无意义。嵌入（Embedding）层的任务，就是为词表中的每一个Token（通常有几万到数十万个），分配一个固定长度的、稠密的浮点数向量，这个向量就是该Token在模型“数字宇宙”中的坐标。

3.1 嵌入层的本质：一个巨大的查找表

你可以把嵌入层想象成一个巨大的、可学习的字典或查找表（Look-up Table）。这个表的行数等于词表大小（V），列数等于嵌入维度（D），例如 50,000 x 4096。

• 前向传播过程：当输入Token ID为2301时，模型就是去这个表的第2301行，取出那一个4096维的向量。对于长度为L的输入序列，嵌入层输出就是一个形状为[L, D]的矩阵，其中每一行代表一个Token的向量。
• 可学习性：这个查找表里的每一个数字（即向量中的每一个维度）都是模型的参数，会在预训练过程中通过海量文本数据学习得到。模型的目标是，让语义相近的Token（如“猫”和“狗”）的向量在空间中的距离（通常用余弦相似度衡量）更近；让语义无关的Token（如“猫”和“哲学”）的向量距离更远。

3.2 高维空间中的语义几何

为什么需要这么高的维度（通常是几百到几千维）？低维空间（比如2维或3维）无法容纳语言中复杂、细微的语义关系。在高维空间中，向量可以同时编码多种多样的信息。

• 语义：“国王” - “男人” + “女人” ≈ “女王”。这个经典的词向量类比，展示了向量空间中的线性关系。
• 语法：动词的不同时态（如“run”, “ran”, “running”）其向量可能分布在一个有规律的子空间中。
• 上下文关联：“苹果”作为水果和作为公司，其向量会因为上下文的不同而被模型后续的注意力层动态调整，但它的基础嵌入向量可能位于一个“水果”和“科技”概念的中间区域。

这些向量不是人工设计的，而是模型通过预测下一个词的任务（自监督学习），从数十亿的文本中自动学习到的统计规律。例如，模型发现“猫”经常出现在“宠物”、“毛茸茸”、“喵喵叫”的上下文环境中，而这些上下文词也有自己的向量。通过无数次调整，“猫”的向量逐渐调整到与这些相关概念向量靠近的位置。

3.3 位置编码：为序列注入顺序信息

原始的Token嵌入向量只包含了词汇的语义信息，但完全丢失了词在句子中的顺序信息。“猫追老鼠”和“老鼠追猫”的Token集合一样，但含义截然相反。因此，必须向模型注入位置信息。这是通过位置编码（Positional Encoding, PE）实现的。

目前绝对主流的方法是旋转位置编码（RoPE），它被LLaMA、GPT-NeoX等绝大多数先进模型所采用。

• 核心思想：RoPE不是将位置信息作为一个独立的向量加到词向量上，而是通过一种旋转变换，将位置信息巧妙地融入Token向量本身的每一对维度中。
• 如何工作：假设词向量是d维。RoPE将d维分成d/2组，每组2维，可以看作一个平面。对于位置为m的Token，它的向量在第k个平面上的2维分量(x_k, y_k)，会被旋转m * θ_k角度。这里的θ_k是一个预设的、随维度k变化的基数。不同位置的Token，其向量经历的旋转角度不同。
• 优势：
  1. 相对位置感知：经过RoPE后，两个向量的点积（注意力计算的核心）只与它们的相对位置(m-n)有关，而与绝对位置无关。这使模型能更好地捕捉“距离我3个词远的词”这种模式。
  2. 长度外推性：理论上，即使推理时输入的序列长度超过了训练时的最大长度，旋转操作依然可以定义，这为处理更长文本提供了可能性（尽管实际性能仍会下降）。

实操要点：理解位置编码的局限性虽然RoPE很强大，但它并非完美。模型在预训练时只见过一定长度内（如4096）的位置关系。当你在推理时输入远超此长度的文本，即使RoPE能计算出位置编码，模型也可能因为从未学习过如此远距离的依赖关系而表现不佳。这就是为什么“上下文窗口扩展”是一个重要的研究方向。对于开发者而言，这意味着要严格遵守所用模型的上下文长度限制，否则会产生不可预测的结果。

4. 核心计算引擎：Transformer架构中的矩阵交响曲

当每个Token都被赋予了富含语义和位置信息的向量后，它们便进入了模型的核心——Transformer架构。这里才是真正的“计算”发生地，一场由矩阵乘法、注意力机制和前馈网络构成的交响曲。

4.1 自注意力机制：全局关联的建立

自注意力是Transformer的灵魂，它让序列中的每一个Token都能“看到”序列中的所有其他Token，并根据相关性动态地聚合信息。

计算过程分三步走：

1. 生成Q, K, V：对于输入序列矩阵X（形状[L, D]），我们通过三个不同的可学习权重矩阵W_Q,W_K,W_V，分别将其线性变换为查询（Query）、键（Key）、值（Value）三个矩阵：Q = XW_Q,K = XW_K,V = XW_V。它们的形状通常都是[L, d_k]，d_k是注意力头的维度。
2. 计算注意力分数：注意力分数衡量了当前Token（Query）与其他所有Token（Key）的相关性。计算方式为：Scores = Q * K^T / sqrt(d_k)。这里Q * K^T得到一个[L, L]的矩阵，其中第i行第j列的值，就代表第i个Token对第j个Token的“关注度”。除以sqrt(d_k)是为了防止点积结果过大导致梯度消失。
3. 加权求和：对注意力分数矩阵进行Softmax操作，使其每一行的和变为1，得到注意力权重矩阵。然后用这个权重矩阵对Value矩阵V进行加权求和：Output = Softmax(Scores) * V。最终输出的形状依然是[L, d_k]，但此时每个位置的向量，都包含了整个序列中所有Token的、按相关性加权后的信息。

多头注意力：为了捕捉不同类型的关系（例如，语法关系、指代关系、语义共现关系），模型会并行地进行多组这样的自注意力计算，每一组称为一个“头”。每个头有自己的W_Q, W_K, W_V矩阵，学习关注不同的模式。所有头的输出被拼接起来，再经过一个线性变换，得到最终的多头注意力输出。

4.2 前馈网络：个体特征的深化

自注意力层完成了Token之间的信息交换，而前馈网络（FFN）则作用于序列中的每一个位置，独立地对每个Token的表示进行非线性变换和深化。 一个标准的FFN包含两个线性层和一个激活函数（通常是GeLU或Swish）：FFN(x) = W_2 * GeLU(W_1 * x + b_1) + b_2其中，中间层的维度通常会扩大数倍（例如，从4096扩大到11008，再投影回4096），形成一个“瓶颈”结构。这个结构赋予了模型强大的非线性表征能力，可以学习非常复杂的特征变换。

为什么需要FFN？自注意力层本质上是线性变换的加权和（如果不考虑Softmax的非线性）。FFN的引入提供了至关重要的非线性，极大地增强了模型的表达能力，使其能够拟合更复杂的函数。

4.3 残差连接与层归一化：训练稳定性的保障

Transformer的每一个子层（自注意力层和FFN层）都包裹在残差连接（Residual Connection）和层归一化（Layer Normalization）中。

• 残差连接：将子层的输入x直接加到其输出F(x)上：Output = x + F(x)。这如同一条高速公路，让梯度可以直接回流，有效缓解了深层网络中的梯度消失问题，使得训练数十甚至数百层的超深模型成为可能。
• 层归一化：对每个样本的所有特征维度进行归一化，使其均值为0，方差为1。公式为：LN(x) = γ * (x - μ) / σ + β，其中μ和σ是均值和标准差，γ和β是可学习的缩放和平移参数。层归一化稳定了每一层输入的分布，加速了模型收敛。

实操心得：理解计算图当你调试模型或尝试理解其行为时，在脑海中或在工具里（如PyTorch的torchviz）画出计算图非常有帮助。从输入ID开始，经过嵌入层、位置编码、多个Transformer块（每个块包含注意力、FFN、残差和归一化），最后经过语言模型头输出下一个Token的概率分布。理解数据在这张图中的流动，是进行模型优化、问题诊断和定制化开发的基础。

5. 从概率到文本：语言模型头与生成策略

经过层层Transformer块的计算，我们得到了序列中最后一个Token位置对应的输出向量（对于生成任务，我们通常只关心这个位置）。这个向量包含了基于整个上文的所有信息。接下来，语言模型头（LM Head）负责将这个高维向量“解码”成人类可读的下一个词。

5.1 语言模型头：一个分类器

语言模型头通常就是一个简单的线性层（无偏置项），后接一个Softmax函数。

• 计算过程：将最后一个隐藏状态向量h（维度为D）乘以一个权重矩阵W（形状为[D, V]，V是词表大小）。这得到一个长度为V的向量logits：logits = h * W。logits中的每一个值，对应词表中每一个Token作为下一个词出现的“未归一化分数”。
• Softmax转换：对logits应用Softmax函数，将其转换为概率分布：P_i = exp(logits_i) / Σ_j exp(logits_j)。这个分布P就是模型预测的，在给定上文条件下，下一个Token是词表中第i个词的概率。

这里的权重矩阵W，常常与输入嵌入层的查找表权重共享。这是一个非常巧妙且高效的设计：一方面减少了模型参数量，另一方面也强制了输入和输出空间的一致性，从理论上能提升模型性能。

5.2 文本生成：解码策略的艺术

得到概率分布后，如何选择下一个Token？最简单的方法是贪婪解码：永远选择概率最高的那个Token。但这种方法容易导致生成结果重复、枯燥（如“的的的……”）。

为了让生成文本更自然、多样、有创造性，研究者们设计了一系列解码策略：

1. 随机采样（Sampling）直接从概率分布P中随机抽取下一个Token。这能产生最大的多样性，但结果可能不连贯、不合逻辑。因此，通常会对概率分布进行调整：

• 温度（Temperature）：在Softmax之前，将logits除以一个温度参数T。T=1时是原始分布；T > 1会平滑分布，增加随机性；0 < T < 1会锐化分布，让高概率词更高，低概率词更低，输出更确定。
• Top-k采样：只从概率最高的k个候选Token中随机采样。这排除了那些极不可能的“长尾”词。
• Top-p（核）采样：从概率最高的Token开始累积，直到累积概率超过p（如0.9），然后只从这个集合中采样。这种方法能动态调整候选集的大小。

2. 集束搜索（Beam Search）这是一种确定性更强的搜索算法。它维护一个大小为k（集束宽度）的候选序列列表。在每一步，对列表中的每个候选序列，扩展所有可能的下一个Token，然后从所有扩展结果中选择总概率（或对数概率之和）最高的k个新序列。如此反复，直到生成结束符或达到最大长度。集束搜索能找到整体概率更高的序列，常用于机器翻译等需要准确性的任务，但在开放文本生成中可能导致过于保守和模板化的输出。

3. 对比搜索（Contrastive Search）这是较新的策略，旨在平衡生成质量与多样性。它不仅考虑下一个Token的概率，还考虑其与已生成上下文的“差异性”，以避免重复。具体来说，它在高概率候选词中，选择与上文向量表示差异最大的那个。

实操心得：策略选择与参数调优没有放之四海而皆准的最佳策略。对于创意写作，低温度（如0.7）的Top-p采样（p=0.9）通常效果不错。对于代码生成或事实问答，可能需要更低的温度（如0.2）甚至贪婪解码来保证准确性。集束搜索在需要生成固定格式文本（如摘要）时可能有用，但宽度k不宜过大（通常2-5），否则计算成本高且收益递减。在实际应用中，多进行A/B测试是找到最佳参数组合的唯一途径。

6. 实战：从零理解一次前向传播的完整计算

让我们用一个极度简化的例子，串联起整个计算之旅。假设词表只有4个词：[“我”， “爱”， “AI”， “。”]，嵌入维度D=2，上下文长度L=3。

步骤1：分词与编码输入句子：“我爱AI”。

• 分词器将其转换为Token序列：[“我”， “爱”， “AI”]。
• 在词表中查找ID：假设“我”->0, “爱”->1, “AI”->2。得到输入ID：[0, 1, 2]。

步骤2：嵌入查找假设学习到的嵌入矩阵E（形状[4, 2]）为：E = [[0.1, 0.2], # “我” [0.3, 0.4], # “爱” [0.5, 0.6], # “AI” [0.7, 0.8]] # “。”通过查找，我们得到输入向量矩阵X：X = [[0.1, 0.2], [0.3, 0.4], [0.5, 0.6]]

步骤3：添加位置编码假设使用最简单的正弦位置编码（仅为示意，实际用RoPE）。对于位置pos=0,1,2，我们加上对应的编码向量PE（计算略）。得到X' = X + PE。假设结果为：X' = [[0.11, 0.21], [0.32, 0.41], [0.52, 0.59]]

步骤4：单层Transformer计算（简化版）注意力部分：

1. 假设W_Q = [[1,0],[0,1]],W_K = [[1,0],[0,1]],W_V = [[1,0],[0,1]]（单位矩阵，简化计算）。
2. Q = K = V = X'。
3. 计算注意力分数：Scores = Q * K^T / sqrt(2)。

   Scores = [[0.11,0.21], * [[0.11,0.32,0.52], / sqrt(2) [0.32,0.41], [0.21,0.41,0.59]] [0.52,0.59]] = [[0.11*0.11+0.21*0.21, 0.11*0.32+0.21*0.41, 0.11*0.52+0.21*0.59], ... ] / 1.414 ≈ [[0.052, 0.116, 0.179], [0.116, 0.267, 0.418], [0.179, 0.418, 0.657]]

4. Softmax（按行）：

   Attn_Weights ≈ [[0.33, 0.34, 0.33], [0.30, 0.35, 0.35], [0.28, 0.36, 0.36]]

5. 加权求和输出：Attn_Output = Attn_Weights * V。

   Attn_Output ≈ [[0.33*0.11+0.34*0.32+0.33*0.52, 0.33*0.21+0.34*0.41+0.33*0.59], ... ] ≈ [[0.317, 0.403], [0.322, 0.408], [0.327, 0.413]]

前馈网络与残差： 假设经过一个极简的FFN和残差连接后，输出为H（计算略）。

步骤5：语言模型头预测取最后一个位置的向量h_last = H[2]（假设为[0.8, 0.9]）。 假设LM Head权重W_lm与嵌入矩阵E共享（转置）。 计算logits：logits = h_last * E^T = [0.8, 0.9] * [[0.1,0.3,0.5,0.7], [0.2,0.4,0.6,0.8]] = [0.8*0.1+0.9*0.2, 0.8*0.3+0.9*0.4, 0.8*0.5+0.9*0.6, 0.8*0.7+0.9*0.8] = [0.26, 0.60, 0.94, 1.28]Softmax后得到概率：P ≈ [0.15, 0.20, 0.25, 0.40]模型预测下一个Token是ID为3（“。”）的概率最高（40%）。于是，生成过程可以继续，将“。”作为输入的一部分，预测再下一个词。

这个例子极度简化，实际模型维度高达数千，层数数十，计算涉及数亿甚至数千亿参数。但核心流程正是如此：ID -> 嵌入向量 -> 位置编码 -> 多层Transformer（注意力+FFN）-> 输出向量 -> 语言模型头 -> 下一个Token概率。

7. 避坑指南：训练与推理中的关键考量

理解了原理，在实战中依然会踩坑。以下是一些从实际项目中总结的经验。

训练阶段：

1. 数据质量高于一切：“Garbage in, garbage out.” 分词器和模型都是从数据中学习。确保训练数据干净、多样、格式一致。脏数据（如乱码、重复、低质爬虫内容）会严重污染模型。
2. 分词器与数据匹配：如果你的数据是特定领域（如医学、法律），使用通用分词器可能不理想。考虑在领域语料上重新训练或微调分词器，让高频术语能作为一个完整的Token出现。
3. 批次与序列长度：训练时，长序列会消耗大量GPU内存。通常采用“梯度累积”技术，用多个小批次模拟一个大批次的效果。同时，随机截取或填充序列时，要确保不会破坏句子完整性。
4. 损失函数震荡：训练初期损失剧烈震荡？可能是学习率太高，或批次内序列长度差异过大导致梯度方差大。使用学习率预热（Warmup）和梯度裁剪（Gradient Clipping）是标准操作。

推理阶段：

1. 重复与退化：这是自回归生成最常见的问题。模型陷入循环，不断重复相同短语。对策：除了调整温度、Top-p等解码参数，可以尝试“重复惩罚”（Repetition Penalty），在采样时降低已生成Token的概率。
2. 上下文窗口限制：模型会“遗忘”超出其上下文窗口的早期信息。对于长文档问答或总结，需要设计策略，如“滑动窗口”摘要，或将长文本分段处理后再综合。
3. 计算资源与延迟：生成每个Token都需要完整的模型前向传播，非常耗时。对于实时应用，可以考虑模型量化（将FP32转为INT8/INT4）、知识蒸馏（用小模型模仿大模型）、或使用更高效的注意力算法（如FlashAttention）来加速。
4. 提示工程的影响：输入提示（Prompt）的微小变化可能导致输出天差地别。指令的位置、格式（如使用###指令###分隔）、示例的数量和质量（Few-shot Learning）都至关重要。系统化的提示测试和优化是生产部署的必要环节。

一个具体排查案例：模型输出乱码现象：模型突然开始输出无意义的字符或Token序列。 排查思路：

1. 检查输入：首先确认输入文本是否包含异常字符或编码问题。用tokenizer.tokenize()查看分词是否正常。
2. 检查概率分布：在采样前，输出logits或概率分布。如果分布非常平坦（所有词概率接近），可能是温度参数过高；如果某个异常Token概率异常高，可能是训练数据污染。
3. 检查数值稳定性：在极深模型中，偶尔会出现数值溢出/下溢。检查各层激活值是否在合理范围（如[-10, 10]）。使用混合精度训练时尤其要注意。
4. 回顾训练过程：如果是在微调后出现，检查微调数据是否与预训练数据分布差异过大，或学习率设置过高导致“灾难性遗忘”。

这场从文本分词到高维向量的计算之旅，揭示了大语言模型看似神奇的能力背后，是一套严谨、可解释的数学和工程体系。它本质上是一个基于概率的、在超高维空间中寻找模式的复杂函数。理解这套逻辑，不仅能让你更有效地使用现有模型，更能为诊断问题、优化性能乃至设计新的模型架构打下坚实的基础。在AI技术快速迭代的今天，对底层原理的深刻把握，是穿越技术迷雾、抓住本质创新的不二法门。