词嵌入技术解析：从Word2Vec到Transformer演进
1. 词嵌入技术概述
在自然语言处理领域，词嵌入(Word Embeddings)已经成为现代语言模型的基础构建模块。简单来说，词嵌入就是将词汇表中的单词映射到低维连续向量空间的技术，使得语义相似的单词在向量空间中距离相近。我第一次接触词嵌入是在2013年Word2Vec论文发表后，当时就被这种简单而强大的表示方法所震撼。
词嵌入与传统one-hot编码的最大区别在于它能够捕捉词汇之间的语义关系。比如"国王"-"男人"+"女人"≈"女王"这样的向量运算，直观展示了词嵌入如何编码语义信息。这种分布式表示方法为后续的语言模型发展奠定了基础。
2. 词嵌入的核心算法原理
2.1 Word2Vec模型架构
Word2Vec是词嵌入技术的里程碑式突破，主要包含两种架构：
CBOW(Continuous Bag-of-Words): 通过上下文预测当前词。例如给定"the cat sits on the"，预测中心词"mat"。这种架构训练速度较快，对高频词效果更好。
Skip-gram: 与CBOW相反，通过当前词预测上下文。例如给定"mat"，预测周围的"the"、"cat"、"sits"等词。Skip-gram在小数据集上表现更好，能更好处理稀有词。
两种模型都使用浅层神经网络(通常只有输入层、投影层和输出层)进行训练，最终我们取输入层到投影层的权重矩阵作为词向量。
2.2 负采样与层次Softmax
原始的Word2Vec实现面临两个主要挑战：
计算效率问题：传统softmax需要对词汇表中所有词计算概率，当词汇量大时计算成本极高。
样本不平衡问题：自然语言中词频分布遵循Zipf定律，高频词主导训练过程。
针对这些问题，研究者提出了两种优化技术：
负采样(Negative Sampling)：将多分类问题转化为二分类问题。对于每个正样本(真实上下文词对)，随机采样k个负样本(非上下文词)，只需计算这些样本的输出概率。
层次Softmax(Hierarchical Softmax)：将词汇表组织成二叉树(通常使用霍夫曼树)，将计算复杂度从O(V)降低到O(logV)。
3. 词嵌入在语言模型中的演进
3.1 从静态到动态词嵌入
早期词嵌入(如Word2Vec、GloVe)是静态的 - 每个词无论上下文如何都对应同一个向量。这种表示方法存在明显的局限性：
- 无法处理一词多义现象
- 无法捕捉词在不同上下文中的语义变化
ELMo(Embeddings from Language Models)首次引入了上下文相关的词表示。它使用双向LSTM语言模型，根据当前上下文动态调整词向量。例如"bank"在"river bank"和"bank account"中会得到不同的向量表示。
3.2 Transformer架构中的词嵌入
Transformer模型(如BERT、GPT)进一步改进了词嵌入技术：
位置编码的引入：传统词嵌入不考虑词序信息，Transformer通过正弦位置编码或学习的位置嵌入来捕捉序列顺序。
多层表示：Transformer通过多层自注意力机制，在不同层级学习不同的语言特征(从词法到句法再到语义)。
子词切分：使用Byte Pair Encoding(BPE)或WordPiece等子词切分方法，有效解决了未登录词(OOV)问题。
4. 词嵌入的实践应用技巧
4.1 预训练词向量的使用
在实践中，我们通常有三种使用词嵌入的方式：
使用预训练词向量：直接加载公开预训练的词向量(如GloVe或Word2Vec)。适用于数据量小的场景。
微调预训练词向量：在特定领域数据上继续训练预训练词向量。需要谨慎设置学习率。
从头开始训练：当领域数据足够大且与通用领域差异显著时，从头训练可能效果更好。
提示：使用预训练词向量时，务必检查词汇表覆盖率和领域适配性。金融或医疗等专业领域可能需要专门的词向量。
4.2 词嵌入的评估方法
评估词嵌入质量主要有两类方法：
内在评估：
- 词相似度任务(如WordSim353)
- 类比任务(如"男人:国王::女人:?")
- 聚类可视化(t-SNE降维)
外在评估：
- 作为下游任务(如文本分类、命名实体识别)的特征输入
- 观察模型在具体应用中的性能提升
5. 词嵌入的局限性与最新进展
5.1 静态词嵌入的局限性
尽管词嵌入技术取得了巨大成功，但仍存在一些根本性限制：
- 词义消歧不足：无法区分多义词的不同含义
- 上下文不敏感：静态表示无法适应不同语境
- 领域适应性差：通用词向量在专业领域表现不佳
- 计算资源需求：大规模词向量占用大量内存
5.2 上下文词表示的突破
近年来，基于Transformer的预训练语言模型(如BERT、GPT-3)已经超越了传统词嵌入，它们的特点包括：
- 动态上下文表示：每个词的表示会根据完整上下文动态调整
- 深层双向建模：能够捕捉更复杂的语言模式
- 迁移学习能力：通过预训练+微调范式适应各种下游任务
不过，传统词嵌入仍然在一些资源受限的场景(如嵌入式设备或实时系统)中有其应用价值，因为它们计算开销小且实现简单。