别再死记硬背Transformer了！用大白话和代码图解，5分钟搞懂Self-Attention核心

用图书馆借书的故事讲透Transformer自注意力机制

想象你走进一个巨大的图书馆，书架上摆满了各种书籍。你需要找到一本关于"深度学习"的书，但你不确定具体是哪一本。这时候，图书管理员会怎么做？她会根据你的需求（Query），在图书馆的所有书籍（Keys）中寻找最相关的那几本，然后把它们（Values）递给你。这个过程，就是Transformer中自注意力机制（Self-Attention）的核心思想。

1. 自注意力机制的三步拆解

1.1 查询-键-值：图书馆的完美类比

让我们用图书馆的例子来理解这三个核心概念：

• 查询（Query）：就像你对图书管理员说"我想找一本讲解深度学习原理的书"
• 键（Key）：每本书的书名和目录，是书籍内容的"特征描述"
• 值（Value）：书籍的实际内容，也就是你最终想获取的信息

在代码中，这三个要素都是通过对输入进行线性变换得到的：

import numpy as np # 假设我们有一个包含4个单词的句子，每个单词用512维向量表示 input_sequence = np.random.rand(4, 512) # 4个token，每个512维 # 定义权重矩阵 W_Q = np.random.rand(512, 64) # 查询权重 W_K = np.random.rand(512, 64) # 键权重 W_V = np.random.rand(512, 64) # 值权重 # 计算查询、键、值 Q = np.dot(input_sequence, W_Q) # 形状：(4,64) K = np.dot(input_sequence, W_K) # 形状：(4,64) V = np.dot(input_sequence, W_V) # 形状：(4,64)

1.2 注意力分数：书籍匹配度计算

图书管理员如何决定哪些书最符合你的需求？她会比较你的查询与每本书的特征（键）的匹配程度。在Transformer中，这个过程通过点积计算实现：

# 计算注意力分数 attention_scores = np.dot(Q, K.T) # 形状：(4,4) # 缩放分数（防止梯度消失/爆炸） scaled_scores = attention_scores / np.sqrt(64) # 应用softmax得到注意力权重 attention_weights = np.exp(scaled_scores) / np.sum(np.exp(scaled_scores), axis=1, keepdims=True)

这个权重矩阵告诉我们：对于每个单词（行），它应该"关注"其他单词（列）的程度。

1.3 加权求和：获取最终表示

现在，图书管理员会根据匹配程度，把相关书籍的内容按比例组合起来给你：

# 计算加权和 output = np.dot(attention_weights, V) # 形状：(4,64)

这个输出就是自注意力机制的最终结果——每个单词的新表示，都包含了它与其他单词的关系信息。

2. 为什么需要多头注意力？

2.1 单一注意力的局限性

回到图书馆的例子，如果你只问"深度学习"，可能得到的是不同方面的书籍：

• 深度学习数学基础
• 深度学习框架使用
• 深度学习应用案例

单一注意力机制就像只有一个图书管理员，她可能只擅长某一个方面的书籍推荐。

2.2 多头并行的优势

Transformer使用多头注意力，相当于有多个不同专业的图书管理员同时工作：

num_heads = 8 head_dim = 64 // num_heads # 每个头的维度 # 分割为多个头 Q = Q.reshape(4, num_heads, head_dim) # 形状：(4,8,8) K = K.reshape(4, num_heads, head_dim) V = V.reshape(4, num_heads, head_dim) # 每个头独立计算注意力 attention_outputs = [] for h in range(num_heads): head_scores = np.dot(Q[:,h,:], K[:,h,:].T) / np.sqrt(head_dim) head_weights = np.exp(head_scores) / np.sum(np.exp(head_scores), axis=1, keepdims=True) head_output = np.dot(head_weights, V[:,h,:]) attention_outputs.append(head_output) # 拼接所有头的输出 multi_head_output = np.concatenate(attention_outputs, axis=1) # 形状：(4,64)

每个"头"可以关注不同的关系模式：

• 语法关系
• 语义关系
• 指代关系
• 上下文关系

3. 位置编码：为什么顺序很重要

3.1 自注意力的顺序盲区

自注意力机制有一个特点：它对输入的顺序不敏感。"猫抓老鼠"和"老鼠抓猫"在没有位置信息的情况下，计算出的注意力权重可能完全相同。

3.2 正弦波编码的智慧

Transformer使用正弦和余弦函数来编码位置信息：

def positional_encoding(max_len, d_model): position = np.arange(max_len)[:, np.newaxis] div_term = np.exp(np.arange(0, d_model, 2) * -(np.log(10000.0) / d_model)) pe = np.zeros((max_len, d_model)) pe[:, 0::2] = np.sin(position * div_term) # 偶数位置用sin pe[:, 1::2] = np.cos(position * div_term) # 奇数位置用cos return pe # 为我们的4个token添加位置编码 pos_enc = positional_encoding(4, 512) encoded_input = input_sequence + pos_enc

这种编码方式有两大优势：

1. 可以处理比训练时更长的序列
2. 相对位置关系可以通过线性变换表示

4. 自注意力在实际应用中的变体

4.1 编码器与解码器的不同注意力

在Transformer中，编码器和解码器使用不同类型的注意力：

4.2 高效注意力变体

随着序列变长，标准注意力的O(n²)复杂度成为瓶颈。以下是几种改进方案：

# 局部注意力 - 只关注邻近的token def local_attention(Q, K, V, window_size=2): output = np.zeros_like(Q) for i in range(len(Q)): start = max(0, i-window_size) end = min(len(Q), i+window_size+1) local_K = K[start:end] local_V = V[start:end] scores = np.dot(Q[i], local_K.T) / np.sqrt(Q.shape[1]) weights = np.exp(scores) / np.sum(np.exp(scores)) output[i] = np.dot(weights, local_V) return output # 稀疏注意力 - 只计算特定位置的分数 sparse_indices = [(0,1), (1,0), (1,2), (2,1), (2,3), (3,2)] def sparse_attention(Q, K, V, indices): output = np.zeros_like(Q) for i,j in indices: score = np.dot(Q[i], K[j]) / np.sqrt(Q.shape[1]) output[i] += score * V[j] return output

在实际项目中，我发现理解自注意力最有效的方式就是亲手实现一个简化版本。当你看到那些权重如何动态调整，才能真正体会Transformer的巧妙设计。