神经网络语言模型（A neural probabilistic language model）

一、导读

随着大语言模型技术的不断发展，其所引领的人工智能浪潮已然席卷全球。然而，当下最为火热的大语言模型却也并不是一蹴而就，它的发展过程也非常漫长和曲折。《A neural probabilistic language model》是由加拿大计算机科学家约书亚·本吉奥于2003年发表的一篇论文，该论文开创性的提出了使用神经网络和词向量的方式来建模自然语言序列，奠定了当今语言模型的基石。

二、相关方法

在这篇论文之前，研究者对于语言序列的建模大多采用的是统计语言模型。这是一种基于概率的方法，即通过某一个位置的词之前一个或几个词的信息来预测该位置的词，使用条件概率来表达。即：

这在实际建模过程中会遇到维数灾难的问题，当词表非常大的时候，并且序列上下文很长的时候，该方法的计算复杂度就会非常高。为了解决这一问题，研究者又提出了n-gram的方法，即想要预测这个位置的词，只需要根据其上文n个词的信息即可。这样一来，虽然大大化简了计算复杂度，但是丢失了很多的上下文信息，并且使用该方法训练出的模型泛化能力会比较差，例如它无法认识到“猫在客厅里面跑”和“狗在卧室里面走”这两句话在自然语义上面是有一致性的。

三、论文方法

约书亚团队提出了使用神经网络和词向量的方式来建模语言序列。具体而言，把每个词w映射为m维度的向量，如果两个词在自然语义上面是相近的，那么其对应词向量在空间中所处的位置应该也是同样接近的。

首先给定长度为n的上下文窗口，将每个词的词向量拼接成矩阵作为神经网络的输入，即：

对输入做单隐藏层神经网络计算，最终使用tanh激活函数激活：

再经过一个全连接层后，最终输出有softmax归一化为预测下一个词概率：

此外，由于论文的实验使用了32个CPU集群，所以在具体计算方面实施了分布式并行计算。首先将输出层矩阵U按行分块，每个CPU计算V/32个词的概率（∣V∣=17,964 ⇒ 每个节点约561个词）；然后各节点计算本地梯度，通过AllReduce操作全局聚合。还有一些稳定数值的具体操作，如平移等。

四、实验结果

在Brown Corpus和AP News数据集上面对比3-gram和5-gram方法，模型困惑度显著降低。具体而言：

（1）Brown Corpus：NLP单独困惑度89.7，相比n-gram的118显著降低（24%）

（2）AP News：NLP+trigram插值困惑度148，纯trigram为161（8%提升）

五、总结

约书亚的这篇论文首次使用多层感知机（MLP）构建语言模型，通过学习词的分布式表示（即词嵌入）来预测词序列的概率；首次提出“词嵌入”的概念，该模型将每个词映射为低维稠密向量，使语义相似的词在向量空间中距离接近，从而显著提升模型对未见词组合的泛化能力。这篇文章是现代NLP技术的奠基之作，是理解当前大语言模型（LLM）技术演进的关键。