注意力机制的演化
一、注意力机制的起源：为什么需要它？
问题背景：Seq2Seq的瓶颈2014年之前，序列到序列任务（如机器翻译）用的是编码器-解码器架构：
输入: "我 爱 北京" ↓ [Encoder RNN] ↓ 固定长度向量 c（上下文向量） ↓ [Decoder RNN] ↓ 输出: "I love Beijing"致命问题：无论输入多长，都要压缩成一个固定长度的支撑。这就像让你用百年整本《红楼梦》——信息必然大量损失。
解决思路：动态关注
人类翻译时不会先把整词“压缩记忆”，而是边看边译，翻译词每个时候都会真相看来源句子的相关部分。 注意力机制就是模拟这个过程：让模型在生成每个输出的时候，动态决定应该关注输入的哪些部分。二、第一代：加性注意力（Bahdanau Attention，2014）
核心思想
生成每个输出词时，将其与所有输入词的“相关性分数”进行计算，然后加权求和。
输入序列: h1, h2, h3, h4 (encoder隐藏状态) 当前decoder状态: s_t 对于每个输入位置i: score_i = 打分函数(s_t, h_i) ← 计算相关性 attention权重 = softmax(scores) ← 归一化 context = Σ(attention_i × h_i) ← 加权求和 输出 = 基于(s_t, context)生成可视化理解
翻译 “I love Beijing” 时的注意力分布：
生成 "I" 时: 我[0.8] 爱[0.1] 北京[0.1] ← 主要看"我" 生成 "love" 时: 我[0.1] 爱[0.8] 北京[0.1] ← 主要看"爱" 生成 "Beijing" 时: 我[0.05] 爱[0.05] 北京[0.9] ← 主要看"北京"三、第二代：点积注意力 (Luong Attention, 2015)
改进：更简单的打分函数
Bahdanau用的加性打分需要额外参数，Luong提出直接用积分：
def luong_attention(query, keys, values): # 点积打分: score = q · k scores = torch.bmm(query.unsqueeze(1), keys.transpose(1, 2)) # [B, 1, L] scores = scores.squeeze(1) # [B, L] attention_weights = F.softmax(scores, dim=-1) context = torch.bmm(attention_weights.unsqueeze(1), values) return context四、革命性突破：Self-Attention (Transformer, 2017)
核心创新
之前的注意力是Encoder→Decoder的跨序列注意力。
Transformer提出：序列内部也可以互相注意——这就是自注意力。
传统RNN: 每个词只能看到前面的词（顺序处理） "我" → "爱" → "北京" Self-Attention: 每个词可以直接看到所有词（并行处理） "我" ←→ "爱" ←→ "北京"Query-Key-Value 框架
这是理解现代注意力的关键：
Query (Q): 我想查询什么信息？ Key (K): 每个位置提供什么索引？ Value (V): 每个位置包含什么内容？ 注意力 = softmax(Q × K^T) × V缩放点积注意力
Pythondef scaled_dot_product_attention(Q, K, V, mask=None): Q: [B, L_q, D] 查询 K: [B, L_k, D] 键 V: [B, L_k, D] 值 d_k = K.size(-1) # 1. 计算注意力分数 scores = torch.matmul(Q, K.transpose(-2, -1)) # [B, L_q, L_k] # 2. 缩放（防止点积值过大导致softmax梯度消失） scores = scores / math.sqrt(d_k) # 3. 可选：应用mask（用于因果注意力等） if mask is not None: scores = scores.masked_fill(mask == 0, -1e9) # 4. Softmax归一化 attention_weights = F.softmax(scores, dim=-1) # [B, L_q, L_k] # 5. 加权求和 output = torch.matmul(attention_weights, V) # [B, L_q, D] return output, attention_weights为什么要缩放？
当维度d很大时，点积q⋅k的支撑力很大，导致softmax输出接近one-hot（某个值接近1，其他值接近0），中间几乎为0。
五、Multi-Head Attention：多角度看问题
动机
单一注意力只能学习一种相关性模式。但语言中的关系是多种多样的：关系语法、语义关系、指关系代…
多头注意力让模型同时学习多种注意力模式。
多头的作用可视化
原始输入: "The cat sat on the mat because it was tired" Head 1 (语法关系): "cat" ← 强关注 → "sat" (主谓) "sat" ← 强关注 → "mat" (动宾) Head 2 (指代关系): "it" ← 强关注 → "cat" (代词指代) Head 3 (位置关系): 每个词关注相邻词 Head 4 (语义关系): "cat" ← 关注 → "tired" (猫累了)