当前位置：首页 > news >正文

Attention：我们都活在彼此的注意力机制里

news 2026/5/27 1:25:23

"Attention is all you need."
把注意力放到你自己的重要的事情上。

2017年，《Attention Is All You Need》发表的时候，很多人还没有意识到，它不仅改变了AI，也在某种程度上，把人类理解世界的方式暴露了出来。后来人们把这种思考方式叫做 Transformer。如今几乎所有大模型，都建立在它之上。

从线性记忆，到网状纠缠

在 Transformer 诞生前，AI 依赖的是RNN（循环神经网络）。那时的模型像是在黑暗中摸索的瞎子，手里只有一盏微弱的手电筒。它只能沿着时间线一点点向前看，光圈照亮眼前，身后的路便隐入黑暗。信息在传递中不断衰减，越久远的事，越模糊不清。

可真正的人类，从来不是线性活着的。

万物皆无自性，因缘和合而生，我们理解世界，靠的不是字面顺序，而是“纽带”。一句简单的“没事”，其真正含义并不在这两个字本身，它横跨了说话人的性格、长久的对话历史、微妙的语气、甚至刻意留白的潜台词。一句“早点睡”，可以是毫无温度的敷衍，也可以是藏在夜色里的心疼。字词没有绝对的定义，定义它们的是关系。

于是，Attention（注意力）诞生了。它彻底砸碎了时间的枷锁。在它面前，每一个词（token）都可以瞬间“看向”其他所有人：

“谁更重要？谁与我相关？谁在决定我此刻的意义？”

数学上，这不过是一次关于Query（查询）、Key（键）和Value（值）的加权计算。但换一种角度看，这几乎就是“理解”与“联想”的本质。

三个向量与多维度的解读

在自注意力机制中，每一个碎片都被赋予了三个灵魂：

Query（我想寻找什么？）
Key（我身上有什么特征？）
Value（如果你注意到我，能带走什么信息？）

算法让 Query 和 Key 彼此计算相关性。越相关，分数值就越高。这些分数经过缩放，通过 Softmax 函数的洗礼，最终变成了决定命运的“权重”。权重高的信息，被无限放大，自带高光；权重低的信息，被悄然压暗，沦为背景。

但人类对伤害和爱意的捕捉，从来不是单维度的。

就像听到那句“早点睡”，你不会只去分析字面意思。你会同时调动情感、逻辑、隐喻，甚至是积攒多年的不安全感。 Transformer 也是这样。它不只看一次，它把这套计算复制了无数份——这就是Multi-Head Attention（多头注意力机制）。

它让不同的"注意力头"各自独立地去观察同一句话。

有的头关注语法
有的头关注时间关系
有的头关注情绪倾向、有的头甚至会跨越很长的上下文，只为了寻找一个很久之前出现过的信号。

这些庞杂的信号在一层又一层网络里交融、校正，最终拼出一幅更完整的图景。

从涌现，到幻觉的诞生

后来，当Transformer被扩大到足够大的规模，再配上海量数据和训练，人们开始发现一种奇怪的现象。模型开始产生Emergent Abilities（涌现能力）。它突然学会了推理，学会了伪装出直觉与同理心。这听起来像魔法，但本质上，不过是因为它终于能在极长的上下文里，把那些零碎的、本不相关的信号，编织成了一个看似连贯的世界。

问题也从这里开始，因为“连贯”，从来不等于“真实”。

当缺乏可靠依据时，算法不会停止运转。它会利用那些被放大的高权重信息，自动补全缺失的逻辑，让整个故事听起来逻辑严密、顺理成章、甚至让人深信不疑。尽管那个故事，在现实中从未发生过。这就是Hallucination（幻觉）。

很多人以为幻觉只是AI在胡说八道。其实不是，更准确地说：幻觉，是它太擅长把不完整的碎片，过度聚合成一个能说服自己的因果。它没有撒谎，它只是太想让这个故事完整了。

可人终究不是 Transformer，感情也没有 Softmax。没有人会把自己的注意力权重清清楚楚地标出来。也没有人会直接告诉你：