1.1 从语言模型到LLM：万字详解大模型演进史

从语言模型到LLM：万字详解大模型演进史

自监督学习如何改变AI？从n-gram到Transformer，读懂大模型的前世今生。本节内容基于《AI工程》第1章「AI工程的兴起」1.1节，对应书中「From Language Models to Large Language Models」「From Large Language Models to Foundation Models」「From Foundation Models to AI Engineering」三个核心小节。

一、开篇：为什么必须理解演进史？

Chip Huyen 在《AI工程》开篇即指出：如果用一词形容2020年后的AI，那便是「规模」（Scale）。ChatGPT、Gemini、Midjourney 背后的模型规模已大到消耗全球可观比例电力，我们甚至面临公开互联网训练数据耗尽的风险。这一观察贯穿全书，提醒我们：AI 工程的前提是理解「规模」带来的机遇与约束。

这种规模扩张带来两个重要后果：其一，AI 模型能力跃升，催生更多应用；其二，训练大语言模型所需的数据、算力与人才，仅有少数组织能负担，由此催生了**模型即服务（Model as a Service）**范式——大厂将模型作为服务对外提供，任何人都能以更低的门槛构建 AI 应用。书中强调，这使「AI 工程」成为增长最快的工程领域之一：对 AI 应用的需求在增长，而入门的门槛在降低。

然而，很多开发者一上来就调 API、写 Prompt，却说不清语言模型和 LLM 的本质区别。这种理解缺失会导致：选型盲目、参数乱调、遇到幻觉不知根源。本节基于《AI工程》第一章「1.1 AI工程的兴起」的完整脉络，对应书中「From Language Models to Large Language Models」「From Large Language Models to Foundation Models」「From Foundation Models to AI Engineering」三个核心小节，带你从源头梳理语言模型→大语言模型→基础模型→AI工程的完整演进，建立系统认知。

二、语言模型的诞生：从统计到神经网络

2.1 统计语言模型时代

最早的「语言模型」本质是概率预测：给定前文，预测下一个词。其数学形式可表示为P(wt∣w1:t−1)P(w_t | w_{1:t-1})P(wt​∣w1:t−1​)，即根据历史词序列预测当前词的概率分布。

# n-gram 统计语言模型示意（简化版，可直接运行）fromcollectionsimportCounter,defaultdictdefbuild_ngram_model(corpus,n=3):"""构建 n-gram 统计模型：基于(n-1)个词的上下文预测第n个词"""ngrams=defaultdict(Counter)forsentenceincorpus:words=sentence.split()foriinrange(len(words)-n+1):context=tuple(words[i:i+n-1])next_word=words[i+n-1]ngrams[context][next_word]+=1returnngramsdefpredict_next(model,context):"""预测下一个词：取上下文中最常出现的后继词"""context=tuple(context.split()[-2:])# 取最后2个词作为上下文ifcontextinmodel:returnmodel[context].most_common(1)[0][0]returnNone# 示例corpus=["我 喜欢 编程","我 喜欢 学习","你 喜欢 什么"]model=build_ngram_model(corpus,n=3)print