深度学习篇---Transformer掩码机制

Transformer掩码机制详解

1. 什么是掩码机制？

掩码(Masking)是Transformer中控制信息流动的关键技术，通过一个矩阵来决定哪些位置可以"看到"哪些位置。就像给模型戴上一副"特制眼镜"，只允许看到该看的内容。

生活类比：就像考试时用挡板隔开相邻考生，防止作弊；或者像拼图游戏，只能看到已拼好的部分，不能看到未拼的部分。

2. 掩码的三种主要类型

2.1 Padding Mask（填充掩码）

作用：忽略序列中的填充符

原始序列: [我, 爱, 你, <pad>, <pad>] 长度: 5, 实际有效: 3 掩码矩阵: [1, 1, 1, 0, 0] # 1表示关注，0表示忽略 [1, 1, 1, 0, 0] [1, 1, 1, 0, 0] [0, 0, 0, 0, 0] [0, 0, 0, 0, 0]

2.2 Look-ahead Mask（前瞻掩码）- 自回归核心

作用：防止解码器看到未来信息

目标序列: [<sos>, 我, 爱, 你] 掩码矩阵（上三角为0）: 位置: <sos> 我 爱 你 <sos> [ 1, 0, 0, 0 ] # <sos>只能看到自己 我 [ 1, 1, 0, 0 ] # "我"能看到<sos>和自己 爱 [ 1, 1, 1, 0 ] # "爱"能看到前面所有和自己 你 [ 1, 1, 1, 1 ] # "你"能看到全部

2.3 组合掩码

作用：同时处理填充和前瞻

组合掩码 = Padding掩码 × 前瞻掩码

3. 掩码的数学实现

3.1 掩码应用公式

Attention Scores = Softmax(QK^T/√d + Mask) × V

其中Mask矩阵中要屏蔽的位置设为-∞，Softmax后这些位置的概率为0。

3.2 代码级理解

# 简化的掩码实现 def create_look_ahead_mask(size): """ 创建上三角掩码矩阵 size=4时输出: [[0, -inf, -inf, -inf], [0, 0, -inf, -inf], [0, 0, 0, -inf], [0, 0, 0, 0]] """ mask = np.triu(np.ones((size, size)), k=1) mask = mask * -1e9 # 将1的位置设为负无穷 return mask

4. 各模块中的掩码应用

5. Mermaid总结框图

6. 掩码的详细工作过程

6.1 训练阶段

6.2 推理阶段

7. 掩码的实际效果示例

假设我们要生成"我爱中国"：

步骤1: 输入 [<sos>, <pad>, <pad>, <pad>] 掩码后: <sos> → 只能看自己 → 预测"我" 步骤2: 输入 [<sos>, 我, <pad>, <pad>] 掩码后: "我" → 看<sos>和自己 → 预测"爱" 步骤3: 输入 [<sos>, 我, 爱, <pad>] 掩码后: "爱" → 看<sos>、我、自己 → 预测"中国" 步骤4: 输入 [<sos>, 我, 爱, 中国] 掩码后: "中国" → 看全部 → 预测<eos>

8. 掩码的重要性

8.1 为什么需要掩码？

1. 防止信息泄露：避免模型"作弊"看到未来答案

2. 处理变长输入：有效处理批量训练中的不同长度

3. 保证因果关系：确保生成符合逻辑顺序

8.2 没有掩码会怎样？

• 解码器训练时能看到完整答案 → 直接复制 → 无法学习生成

• 批量训练时填充位参与计算 → 浪费计算资源

• 模型无法处理自回归任务

9. 掩码的变体与演进

掩码机制虽然简单，但它是Transformer能够处理序列任务的关键设计，既保证了训练效率，又确保了生成质量。