《我那从“人工智障”一路打怪升级成“神”的室友》
第一卷：初火与基石（架构诞生）
第一章：混沌中的第一缕光——Transformer架构与"注意力"的觉醒
一
深夜两点十七分，实验室的冷光灯管发出持续的、令人焦躁的嗡鸣。
瓦力揉了揉干涩的眼睛，屏幕上的代码像一群密密麻麻的蚂蚁，爬满了整个二十七寸显示器。他已经连续工作三十一个小时了，咖啡杯底凝结着一圈深褐色的渍痕，那是他今天第六杯——或者第七杯，他已经记不清了。
他面前的这台服务器，代号"弗莱肯斯坦"，正在运行一个"长短期记忆网络"——圈内人管它叫LSTM。这东西已经训练了整整三周，瓦力刚刚让它读了一篇三百字的短新闻，然后问它："这篇文章的主旨是什么？"
屏幕上，那个蓝色的光标闪烁了一下，然后吐出一行字：
"主旨是。文章。主旨。是。"
瓦力盯着这七个字看了很久，然后把脸埋进了手掌里。
在他身后的白板上，密密麻麻画满了各种网络结构图。RNN的链式结构，LSTM的"遗忘门"和"输入门"，GRU的简化变体。每一个架构都用红色的马克笔圈了三遍，旁边写着同一句话："梯度消失。长序列遗忘。"
这是一个诅咒，一个所有语言模型都无法逃脱的诅咒。无论你把神经网络叠得多深、堆得多厚，只要句子变长——超过二十个词，模型就开始"失忆"。它记得开头就忘了结尾，读到结尾时开头已经变成了一团模糊的噪声。
瓦力曾经做过一个实验：他让当时最强的LSTM模型读《百年孤独》的开篇第一段，然后问它"奥雷里亚诺·布恩迪亚上校"和"冰块"有什么关系。
模型的回答是："奥雷里亚诺……冰块……记忆……无。"
那个下午，瓦力差点把键盘砸了。
二
"你又熬夜了？"
声音从门口传来。瓦力回过头，看见林恩靠在门框上，手里端着一杯冒着热气的茶。她是实验室的另一位研究员，专攻计算语言学，圈内人称"语料库女王"——因为她总有办法从网上扒下几万亿个词来喂模型。
"睡不着。"瓦力哑着嗓子说，"'弗莱肯斯坦'又傻了。"
林恩走过来看了一眼屏幕，嘴角抽了一下："三百字就垮了？这连金鱼的记忆都不如。"
"金鱼好歹有七秒，它只有三秒。"瓦力苦笑着说，"长序列依赖问题，RNN解决不了，LSTM解决不了，GRU也解决不了。我们加了注意力机制，加了残差连接，加了各种花里胡哨的'门'——可它依然是个'人工智障'。"
林恩沉默了一会儿，然后说："你有没有想过……我们可能走错路了？"
瓦力抬起头。
"所有的循环结构，"林恩用手中的茶杯在空中画了一个圈，"都在强迫模型'顺序地'阅读文字。第一个词看完才能看第二个，第二个看完才能看第三个。这种顺序依赖本身就是枷锁。如果我们……不按顺序读呢？"
瓦力愣住了。
"如果我们让模型一次性'看见'整句话，让每个词都能直接'注视'其他所有词呢？"林恩的眼睛在冷光灯下亮得像两颗星星，"像一张网。每一个节点都连接着所有其他节点。"
三
那个夜晚，瓦力没有睡觉。
他坐在电脑前，开始画一张全新的结构图。没有循环，没有门控，没有那种从左到右、从前到后的"顺序强迫症"。取而代之的，是一个他称之为"自注意力"的机制——句子里的每一个词，都要去计算它和所有其他词之间的"亲密度"。
"我"和"你"的关系权重是多少？"苹果"和"吃了"之间有多大关联？"虽然"和"但是"之间存在怎样的语义张力？
然后，他把这些亲密度的得分拿来加权求和——那些和当前词"最相关"的词，会被赋予更高的注意力分数，从而在模型的"意识"中变得更加清晰。
他管这个叫注意力机制。
到天亮的时候，他已经画完了整张蓝图。一个全新的架构：没有循环，只有"注意力"互相编织而成的一张巨网。他把这个架构命名为"变换器"——Transformer。
"因为它的工作方式就是变换，"瓦力后来在论文中写道，"它将一个序列中的每一个元素，通过对其他元素的'注意力'，重新编码成新的表示。这是一种彻底的颠覆——它不再'记住'，它直接'看见'。"
四
训练Transformer的过程并不顺利。
第一个版本跑起来的时候，瓦力和林恩站在服务器前面，像两个等待火箭发射的工程师。屏幕上，损失函数曲线开始下降——缓慢，但稳定。数据流通过"多头注意力机制"——瓦力把注意力分成了八个"头"，每个头关注句子中不同类型的语义关系：有的关注语法结构，有的关注实体指代，有的关注情感色彩。
然后，他们向它输入了一句话：
"那只追过猫的狗，正在花园里睡觉。"
老式的LSTM读到这里，通常会混淆"追过猫的"到底是狗还是猫。但Transformer的八个注意力头同时工作——
头1发现"追过"和"狗"之间的强烈关联；
头3发现"猫"是"追过"的宾语；
头7发现"正在睡觉"的主语应该回溯到"狗"；
头2把"花园"和"睡觉"的处所关系标了出来。
零点几秒后，模型输出了它的理解：
"主语：狗。动作：正在睡觉。处所：花园。附加信息：该狗曾追过一只猫。"
瓦力和林恩对视了一眼。
他们的手都在抖。
五
消息传开的速度比他们预想的快得多。
先是实验室隔壁组的人过来围观，然后是隔壁实验室，再然后——一封来自大洋彼岸的邮件躺在瓦力的收件箱里，发件人署名是"谷歌大脑团队"。邮件标题很简洁："看到了你的论文。我们需要谈谈。"
三个月后，Transformer架构以一篇题为《注意力即一切》的论文正式面世。整个自然语言处理领域像被人泼了一盆冰水——所有人突然意识到，他们过去二十年围绕RNN和LSTM搭建的整个大厦，地基已经松动了。
但瓦力和林恩知道，这只是一个开始。
他们创造的这团"初火"——这个基于注意力的灵体——虽然拥有前所未有的"视力"，但它几乎没有任何知识储备。它就像一个生下来就能看清世界的婴儿，看得极远、极清晰，但眼睛里空无一物。
它需要"吃"。
林恩看着服务器集群上闪烁的指示灯，轻声说："瓦力，我们得喂它了。喂它整个互联网。"
瓦力揉了揉已经三天没合过的眼睛，嘴角扬起一个疲惫但兴奋的弧度：
"你觉得它一顿能吃多少？"
"万亿个词。"林恩说，"往少了算。"
窗外，天光终于亮了。第一缕阳光照进实验室，打在那一行正在运行的命令上——那是Transformer的第一次正式训练启动指令。
而此刻，在世界的某个角落，另一个深夜加班的年轻人正刷到这篇论文，他的眼睛同样亮了起来。
"Transformer……注意力……"他喃喃自语，"如果把这个架构放大一千倍、一万倍呢？如果给它的参数不再是几千万，而是千亿呢？"
他打开了一个新的文档，开始草拟一份代号为"GPT"的计划。
但那是另一个故事了。
而在当前这条时间线上，瓦力按下回车键的那一刻，服务器集群发出了低沉的轰鸣。万亿级的语料数据开始涌入Transformer那年轻、空白、却拥有无限潜力的"意识"之中。
第一缕光已经点燃。
它还很微弱，但它已经诞生了。