【LLM基础教程】语言模型基础
1. 什么是语言模型
语言模型起源于语音识别(speech recognition)领域，输入一段音频数据，语音识别系统通常会生成多个句子作为候选，究竟哪个句子更合理？就需要用到语言模型对候选句子进行排序。如今语言模型的应用范围早已扩展到机器翻译、信息检索、问答系统等众多NLP领域。
那么，什么是语言模型呢？一句话，语言模型是这样一个模型：对于任意的词序列，它能够计算出这个序列是一句话的概率。即语言模型就是“判断一句话是否合理／自然”的概率模型。
(1) 为什么语言模型很重要？
自然语言具有模糊性与歧义性，仅靠规则或声学信息往往难以判断最合理的句子。
在语音识别中，“to recognize speech”和“to wreck a nice beach”发音听起来非常相似，如果仅靠声学模型，可能难以判断哪一个正确。
但语言模型通过统计规律可以判断前者出现的概率更高，从而帮助系统做出正确选择。
举例说明：
- 词序列 A：
CSDN|的|文章|真|水|啊，这明显是一句话，一个训练良好的语言模型会给出较高的概率。 - 词序列 B：
CSDN|的|睡觉|苹果|好快，这明显不是一句合理的话，好的语言模型会给出极低的概率。
语言模型的目的，就是让机器“知道什么样的句子像人说的话”。
- 词序列 A：
2. 语言模型的数学定义
如果我们有一个由TTT个词元构成的序列：
x1,x2,⋯ ,xT x_1, x_2, \cdots, x_Tx1,x2,⋯,xT
语言模型的目标就是估计全序列的联合分布：
P(x1,x2,⋯ ,xT) P(x_1, x_2, \cdots, x_T)P(x1,x2,⋯,xT)
在概率链式法则（Chain Rule）下，我们可以将其分解为：
P(x1,x2,⋯ ,xT)=∏t=1TP(xt∣x1:t−1) P(x_1, x_2, \cdots, x_T) = \prod_{t=1}^TP(x_t|x_{1:t-1})P(x1,x2,⋯,xT)=t=1∏TP(xt∣x1:t−1)
也就是说，语言模型通过建模“下一个词的分布”，实现对整个句子概率的估计。
同时，它也可以用于文本生成：
xt∼P(xt∣xt−1,⋯ ,x1) x_t \sim P(x_t|x_{t-1}, \cdots, x_1)xt∼P(xt∣xt−1,⋯,x1)
因此，一个优秀的语言模型必须同时具备：
- 语法能力（生成结构正确的句子）
- 语义能力（生成含义合理的文本）
- 上下文理解能力（能够基于前文做判断）
现代大型语言模型（LLM，如 GPT 系列、LLaMA 系列）已经在这些方面远超传统统计语言模型。
3. 语言模型的应用
语言模型的核心能力是：**为任意词序列计算概率，并基于条件概率预测下一个词。**因此，几乎所有需要“理解或生成语言”的任务都可以借助语言模型实现。
(1) 文本生成
Text Generation
语言模型最直接的应用，就是按照条件概率P(xt∣x1:t−1)P(x_t|x_{1:t-1})P(xt∣x1:t−1)逐词生成自然语言文本，包括：
- 对话生成（ChatGPT、Siri、Copilot 等）
- 自动写作（改写、续写、写文案、故事生成）
- 社交媒体文本生成
- 自动邮件回复
(2) 机器翻译(MT)
Machine Translation
翻译模型需要判断：
- 源语言句子含义
- 目标语言中哪种表达最自然
语言模型在翻译中主要负责：
- 目标语言句子的流畅性判断
- 选择最合理的翻译候选
- 对多候选翻译进行打分（Language Model Rescoring）
(3) 语音识别（ASR）与语音转文本（STT）
语音识别系统通常会输出一系列可能的文本候选（token 序列），语言模型用于：
对这些候选句子进行排序（LM rescoring）
消除谐音歧义
纠正常识性错误
例如：
“to wreck a nice beach”
“to recognize speech”
声学模型可能认为两者相似，但语言模型可以轻松判断哪一句更合理。
(4) 文本纠错
Spell Check / Grammar Correction
语言模型通过判断一句话的自然程度，能够：
- 检测拼写错误
- 识别语法异常
- 自动给出最合理的替换方案