【LLM理论学习】稀疏特征 vs 稠密 embedding
从 BoW 到 LLM Embedding 的一次“表示革命”
在自然语言处理（NLP）领域，特征表示方式的演进，几乎决定了模型能力的上限。
从最早的Bag of Words（BoW），到Word2Vec / GloVe，再到今天大规模语言模型（LLM）的高维稠密 embedding，我们并不是简单地“换了一种向量”，而是完成了一次从显式统计到隐式分布建模的范式迁移。
一、BoW 与现代 Embedding 的数学差异
从数学视角来看，BoW 与现代 embedding 在空间结构、信息密度、表达能力上存在本质差异。
BoW 特征的核心属性
BoW 本质上是对文本进行离散统计建模：
- 高维（词表大小级别）
- 极度稀疏
- 基于词频的显式统计特征
- 每一维都有清晰语义含义
现代 Embedding 的核心属性
以 Word2Vec / LLM embedding 为代表：
- 低维或中等维度
- 稠密连续向量
- 隐式学习语言分布
- 向量维度不再可直观解释
1.1 特征空间对比
| 表示方式 | 维度范围 | 稀疏性 | 是否可解释 |
|---|---|---|---|
| BoW | 10⁴ – 10⁶ | 极稀疏 | ✅ 强解释性 |
| Word2Vec | 100 – 300 | 稠密 | ❌ 弱 |
| LLM Embedding | 768 – 8192 | 稠密 | ❌ 极弱 |
- BoW 是可解释机器学习（Interpretable ML）的典型代表
- Embedding 更关注表达能力，而非人类可读性
1.2 显式统计 vs 隐式分布建模
从数学形式上看，两者的差异非常直观。
(1) BoW：显式统计特征
BoW: x∈R∣V∣ \text{BoW: } \mathbf{x} \in \mathbb{R}^{|V|}BoW:x∈R∣V∣
其中，∣V∣|V|∣V∣表示词表的大小。
因为BoW 的核心假设是：文本可以被表示为“词表上各词项出现情况的统计结果”。
为此，我们首先固定一个词表：
V={w1,w2,…,w∣V∣} V = \{w_1, w_2, \dots, w_{|V|}\}V={w1,w2,…,w∣V∣}
其中，每一维对应词表中的一个词。随后，对任意一段文本ddd，构造一个向量：
xd=(x1,x2,⋯ ,x∣V∣) \mathbf{x}_d=(x_1,x_2,\cdots,x_{∣V∣})xd=(x1,x2,⋯,x∣V∣)
这里，xix_ixi表示词wiw_iwi在文本ddd中的出现次数（或其加权形式，如 TF / TF-IDF）关键在于：
- 每一个词项wiw_iwi被映射到一个固定且唯一的坐标轴
- 文本中是否出现该词，只影响对应维度的取值
- 不同词项之间没有共享维度，也没有连续结构
因此，文本表示本质上是：在词表张成的坐标系中，对文本做一次计数或加权投影
“这个词是否出现、出现了多少次”是直接可见的。我们能够看到的，就是模型用到的。
(2) Embedding：隐式语言分布建模
Embedding: x∈Rd,d≪∣V∣ \text{Embedding: } \mathbf{x} \in \mathbb{R}^{d}, \quad d \ll |V|Embedding:x∈Rd,d≪∣V∣
Embedding 的出发点与 BoW 完全不同：它并不试图显式记录“每个词出现了多少次”，而是希望用有限维度刻画词或文本在语言分布中的位置。
为什么可以是低维Rd\mathbb{R}^dRd？
Embedding 基于一个核心假设（distributional hypothesis）：词的语义由其上下文分布决定。
在训练过程中，模型并不关心单个词项本身，而是通过预测上下文、最小化语言建模目标，自动学习一组能够最好地刻画共现结构的连续向量坐标系。
结果是：
- 向量维度不再与词表一一对应
- 每一维代表一个不可直接命名的潜在语义因子
- 这些维度是通过优化目标共同塑造出来的
因此，文本或词被映射为：x∈Rd\mathbf{x} \in \mathbb{R}^dx∈Rd
其中，ddd是足以表达语言分布结构的最小有效维度，而非词表大小。
**语义从“统计量”变成了“几何关系” **
在 embedding 空间中，距离刻画语义相似度，方向编码语义偏移（如性别、时态、语域），子空间承载更高阶语义结构。
语义不再以“某个词是否出现”的形式存在，而是隐含在向量之间的相对几何关系中。
语义是被编码进空间结构里的，而不是被显式标注在维度上的。
与 BoW 的本质对照
- BoW：一词一轴，语义是显式的、离散的
- Embedding：多词共轴，语义是隐式的、连续的
这正是 embedding 能在低维空间中承载复杂语义的根本原因。
二、工程实践建议：什么时候仍然应该用 BoW？
尽管 Embedding 在效果上几乎“碾压”传统方法，但在真实工程环境中，BoW 仍然远未过时。
2.1 强烈推荐 BoW 的场景
小数据集（<100k）
低延迟在线系统
可解释性要求高
- 金融风控
- 医疗辅助决策
CPU-only/资源受限环境
baseline/对照 实验
在这些场景中，BoW + 线性模型往往是最稳、最快、最容易落地的方案
2.2 不适合 BoW 的场景
长文本语义理解
多轮对话建模
推理型任务
复杂语义匹配/语义检索
一旦任务开始依赖上下文、隐含语义或推理能力，BoW 的表达瓶颈会迅速暴露。
总结
BoW 和 Embedding 的差异，并不在于“新旧”， 而在于它们对语言本质的不同建模假设。
BoW 将语言视为可枚举的符号统计，Embedding 则试图在连续空间中刻画语言分布结构。
理解这一点，比记住任何模型结构都更重要。