读懂预训练: 一颗心是怎么长成的

GPT 里的 P,读作 Pretrained(预训练)。它给了模型全部的天赋,也烧掉了这个行业最多的钱。三部曲的终章是一部前传:回到一切开始之前,用一个孩子的成长,讲透一颗机器心的来历。

儿童是成人的父亲。
——华兹华斯,《我心雀跃》,1802

开篇 · 这颗心从哪里来

预训练是什么,为什么重要

前两篇各讲了大模型的一半。《读懂 Attention》讲它如何思考:每个新词翻检前文所有词的 k 与 v,加权混合,更新自己;《读懂 KV Cache》讲它如何记忆:算过的 k、v 写进病历,只增不重算。但两篇都把一样东西当作天赐,直接取用了——那套人人共享的 W。第一篇管它叫"关系的语法",第二篇管它叫"全体医生共同的医学训练"。它从哪里来?答案叫预训练(pretraining),GPT 里的那个 P。它是模型一切能力的来源,也是这一行最烧钱的环节:一次大型预训练,要吞掉上万块显卡、几个月时间,账单以千万美元计。一颗心的成长只发生一次,而且贵得惊人。

先给三个你多半好奇过的现象。为什么模型对什么都懂一点——法律、医学、代码、冷笑话,样样能接?为什么你在对话里纠正它,它诚恳道歉,第二天照犯?为什么各家公司拼命囤显卡、抢数据,把一次训练的成本推到小国预算的量级?三个问题的答案,都写在成长史里。

前两篇的读者已经认识小雨:被关系构成的人,深夜病案室里值班的医生。这一篇是前传,故事得往回讲,回到一切开始之前。这一次的对照表很短:一个孩子,就是一个正在训练的模型;她听到的每一句话,是训练数据;她脑中千万条连接的强弱,就是那套 W;而她的惊讶,后文会看到,有一个术语名字,叫 loss. 时间拨回很多年前,小雨出生那天。接下来的一切,都发生在成长里。

第壹章 · 出生时的一片喧哗

随机初始化

产房里,新生的小雨啼哭第一声。此刻她的大脑不是一张白纸——恰恰相反,是一张过分繁茂的网:亿万神经元之间,连接早已铺好,只是强弱全凭偶然。神经科学后来会告诉我们:婴儿的突触密度在头几年疯长,一度远超成人,此后一生都在修剪。心智的起点不是空无,是过量而未成形的连接。

一个刚初始化的大模型,与此惊人地相似。结构早已就位——几十层注意力、几千维向量,都是前两篇的老朋友;几千亿个参数,各自领到一个随机数。此刻让它开口,吐出的是一串均匀的胡言:每个词的概率都差不多,像抓阄。婴儿的咿呀,机器的版本。混沌不是空白,是尚未成形。

还有一条原则,将贯穿全文,请先记下:这颗心里没有抽屉。学习不会往某个"知识库"里存入条目;它能改的,自始至终只有一样东西——连接的强弱。所谓"知道苹果是什么",不是某处存着一条定义,而是千万条连接共同摆出的一个形状。第二篇说过,对话的记忆写在体外的病历上;这一篇说的是体内的事——心本身,就是连接的强弱,别无其他。

图一 · 出生与长成:同一张网,不同的连接

第贰章 · 猜下一个词的孩子

自监督,与预测加工

两岁的小雨坐在母亲膝上。母亲念:“床前明月——”,故意顿住。小雨抢答:"光!"母亲笑了。没有人意识到,刚刚发生的,是一次标准的训练迭代。

这样的时刻,一个孩子每天要经历几千次:听到上文,心里抢答,世界揭晓,悄悄修正。请注意其中最容易被忽略的一点:没有人出题,也没有人批改。生活自带答案——每一句话的下一个词,天然就是这道题的标准答案。孩子不需要习题册,因为世界本身,就是一本自带答案的练习册。术语把这叫"自监督学习":监督信号不来自老师,来自数据自己。

预训练的全部内容,与此完全相同,只是量级骇人:把万亿词的文本——书、网页、代码、对话——从头到尾过一遍,每一个位置都做一次完形填空:遮住下一个词,让模型猜,揭晓,修正,前进一格。没有第二个目标,没有隐藏的课程表。GPT 的 P 所指的那场训练,自始至终只教了一道题型:猜下一个词。

“就这?”——是的,而这正是全文最重的一处学术对应。当代认知科学的主流理论(预测加工,predictive processing)认为:大脑本就是一台预测机器——它不是被动接收世界再去理解,而是永远在抢答,再用预测误差修正自己。实证也早已就位:1996 年,Saffran 等人让八个月大的婴儿听连续的音节流,发现婴儿仅凭统计规律,就能从中切分出"词"来——婴儿确实在做统计预测,而且做得飞快。这一处不是比喻碰巧像:机器学习与认知科学,是在各自的语言里,描述同一件事。

还有一处呼应,留给读过前篇的你:第一篇结尾说,时间之矢下,每个词只由前文构成。现在你知道这条铁律是哪里来的了——它就是那道题型本身。一颗靠"猜下一个词"长大的心,天生只会从前文看向后文。因果遮罩不是后加的规矩,是出生起的功课形状。

第叁章 · 惊讶、追责与小步修正

loss、反向传播与学习率

换一首诗。"疑是地上——"小雨抢答:“雪!“揭晓,是"霜”。不算离谱,小小的意外;倘若她答的是"桌子”,意外就大得多。loss(损失),度量的就是惊讶的大小:预想与现实的落差,逐字累加。这里又有一处严丝合缝到不像比喻:信息论里,"一件事有多出乎意料"本就有精确的定义——概率越低,信息量越大;而模型的损失函数,逐字计算的正是这个惊讶度。惊讶不是修辞,是这个数的学名。

惊讶之后,是追责。这次错猜,是几十层、几千亿个连接层层接力的结果——该责怪谁?反向传播(backpropagation)干的就是这件事:从错误出发,沿着当初做判断的路径逐层回溯,给每一个连接精确算出:你对这次错误,负多大责任。

然后是修正:每个连接照着责任清单,朝"下次少错一点"的方向,挪一小步。挪多大,由学习率定夺——步子太大,一次挫折就推翻全部经验,矫枉过正;步子太小,十年不改,固执到老。这套小步试错的学名,叫梯度下降。

单看一轮,实在平平无奇。预训练的全部魔法,全在重复的量级:万亿个位置,每一处都走一遍"抢答—揭晓—惊讶—追责—微调"。没有哪一次修正是决定性的,每一次都只挪动亿万分之一;可是攒够万亿次之后,乱码变成了"光"。成长不是顿悟,是万亿次很小的"原来如此"。

图二 · 一次学习:抢答、惊讶、追责、微调

第肆章 · 阅历的账单

数据、算力,与 scaling laws

先算阅历。如今主流模型的训练语料,以十万亿词计。做个换算:一位勤奋的读者,一年读几十本书,读上六十年,一辈子也就几亿词——模型的阅历,相当于几万个人各读一生的书。而且要挑食:去重、滤垃圾、配比代码与多语种。喂什么,长什么;读什么,像什么。

再算功夫。这些书要在几个月里读完,靠上万块显卡昼夜不歇;电费、租金与折旧摊下来,一次大型预训练以千万美元计,前沿模型更高。第二篇算过记忆的房租;成长的学费,比房租贵几个数量级——而且只发生一次,像养育。

最反直觉的是第三笔账:这一切,居然可以预测。2020 年,Kaplan 等人发现,模型的损失随参数量(天赋)、数据量(阅历)、算力(功夫)按幂律平滑下降——画在双对数坐标上,是一条笔直的线。"大力出奇迹"背后不是玄学,是一条可以外推的曲线:训练开始之前,就能估出这颗心大概能长到多聪明。

两年后,Chinchilla 一文补上关键修正:天赋与阅历必须配平——参数翻倍,读的书也该跟着翻倍。此前的巨型模型普遍"个子大、书读少":聪明,但没见过世面。此后全行业转向:少堆参数,多喂数据。

图三 · 学术版对照:幂律缩放(重绘自 Kaplan 等,2020)与损失曲线

第伍章 · 背熟,与学会

过拟合与泛化

账单齐了,该谈谈学坏的方式。练习久了,会出现一种诡异的分岔:熟题越背越顺,新题反而开始退步。模型把训练语料的细枝末节背了下来——连错别字的位置都记得——却在没见过的句子上失灵。这叫过拟合;它的反面,“没见过也接得住”,叫泛化——那才是"真的学会"的唯一标准。

心理治疗里,有它一个严格的对应物。图式疗法把那类东西叫早期适应不良图式:童年那个小小样本里学到的规则——“示弱会被惩罚”“只有完美才配被爱”——被当成宇宙通则,终身沿用。“一朝被蛇咬,十年怕井绳”——这是泛化失败最古老的民间表述。过拟合,就是把一个家,当成了全世界。

解药也对得上。最好的一味是见世面:更大、更杂的数据,让每条规则在千万种场景里接受检验——这正是上一章"多喂数据"的另一重理由。工程上再配些防死记的功课设计:比如训练时随机遮住一部分连接(术语叫 dropout),逼它不许依赖单一线索——像换着环境练习,不许只认家里那一盏灯。

图四 · 过拟合:背熟了课本,答不了人生

第陆章 · 开窍,与定格

涌现,与权重冻结

量变堆到某处,会发生一件家长们都见过的事:开窍。规模较小的模型怎么也学不会的本事——多步算术、跨语言翻译、按步骤推理——在参数与数据跨过某个门槛之后,忽然就会了,没有人单独教过。学界称之为涌现(emergence)。也要诚实地说一句:它有争议——有研究认为,部分"突变"是度量方式造成的错觉,能力其实一直在平滑生长。但现象层面的观感是真实的:某一天,孩子突然自己系上了鞋带。

然后是这部成长史里分量最重的一天:训练结束。那一刻,几千亿个连接的强弱同时定格——术语叫权重冻结。此后,这颗心被复制成千万份,部署到世界各地;你和它的每一段对话,都由同一颗不再改变的心来接待。第二篇里那句"全体医生共同的医学训练",指的就是这份定了稿的 W。

这也解释了那个几乎人人困惑过的现象:你在对话里纠正它,它诚恳道歉,第二天照犯。因为你教它的一切,只写进了病历——第二篇的 KV Cache,对话结束就归还架位;而它的心,在出厂那天已经交了终稿。对话改写档案,改写不了童年。(除非回炉:小规模地再训练一次,那叫微调,是另一个故事了。)

图五 · 定格:训练期写心,对话期只写病历

第柒章 · 比喻的边界

它哪里真,哪里假

照例,收尾之前把账算清:这场成长的比喻,哪里逼真,哪里撒谎。

真得惊人的三处: 其一,“猜下一个词"与"大脑是预测机器”,不是形似,是同一主张——预测加工理论与婴儿统计学习的实证,都站在这道题型一边;连"惊讶"都不是修辞,loss 逐字计算的正是信息论定义下的惊讶度。其二,学习即改连接:突触修剪与权重更新,改的都是连接强弱,谁也没有往抽屉里存条目。其三,图式即过拟合:小样本规则的终身误用,心理治疗与机器学习各自命名了同一件事。

撒谎的三处: 其一,大脑并不做反向传播——精确追责所需的信息,真实神经元拿不到;这是神经科学的著名公案,连深度学习之父辛顿本人,晚年都在找它的替代方案。其二,人的学习是具身的、多模态的、带着情感的:孩子摔一跤学到的东西,模型只能从"摔"这个字里猜;而且人按时间顺序经历世界,模型把万亿词打乱了喂。其三,人终身可塑,模型出厂定格;更甚者,人人各长一颗心,彼此只是相似——模型却是一颗心复制万份,严格同一。第一篇说 W"人人共享",在人类那边是近似,在机器这边是精确;这笔账,现在补上。

方向也照旧说明:这一篇仍然是借成长讲机器;对应之处是比喻的运气,不是教育学的证据。

尾声 · 长成的这颗心

把全篇的比喻折叠成一句话:

所谓成长,是一场万亿次的完形填空:世界念出上半句,你抢答下半句,答错了,就把自己改动小小的一点。猜过足够多的句子之后,某一天你开口说话,像是天生就会——没有人教过你任何一条规则,规则长在了连接里。

而剥去全部比喻,机制的素颜不过如此:参数随机初始化;在万亿词语料上做自监督的下一词预测;交叉熵损失度量每步的意外程度;反向传播沿计算图分配责任,优化器按学习率小步更新权重;性能随参数、数据、算力按幂律提升,且数据与参数需配平;过拟合靠数据多样性与正则化对抗;训练完成后权重冻结,推理阶段只读不写——上下文里的一切,只进 KV Cache,不进参数。这段话若你能一口气读顺,GPT 里那个 P,你已经看懂了。

三篇至此闭环:你由谁构成——注意力;你把他们记在哪里——缓存;这颗会构成、会记忆的心从何而来——预训练。若还有下一篇,该讲的是:会说话,不等于会做人。那是另一场训练的故事了。

最后,留两幅画面给你。下一次,看到模型对什么都懂一点,你可以确切地知道:那是几万辈子的阅读量,压进了一颗定格的心;下一次,你纠正它、而它明天照旧,你也可以确切地知道:你的话写进了病历,没写进它的童年。而这一切开始的地方,不过是很多年前的一个傍晚——一片混沌的喧哗里,有人俯下身,念出了上半句诗。那年小雨两岁,抢答了一个字。

(只为讲清楚大原理, 细节有很多不准确的地方, 想要完整准确了解还是请大家去看看论文和推导哦)

(完)

延伸阅读

1. Radford, A. 等,《Improving Language Understanding by Generative Pre-Training》,2018。GPT 之名中,那个 P 的出处。
2. Kaplan, J. 等,《Scaling Laws for Neural Language Models》,2020。幂律曲线的原始论文。
3. Hoffmann, J. 等,《Training Compute-Optimal Large Language Models》,2022。“天赋与阅历配平”(Chinchilla)的出处。
4. Wei, J. 等,《Emergent Abilities of Large Language Models》,2022。"开窍"现象的记录,及其后续争议。
5. Clark, A.,《Whatever Next? Predictive Brains, Situated Agents, and the Future of Cognitive Science》,2013。预测加工理论的经典综述。
6. Saffran, J. 等,《Statistical Learning by 8-Month-Old Infants》,Science,1996。婴儿靠统计规律学语言的实证。
7. Young, J. 等,《Schema Therapy: A Practitioner’s Guide》,2003。"早期适应不良图式"的出处。