Bart模型

一、整体架构

标准完整 Transformer = Encoder + Decoder

1.Encoder（和 BERT 几乎一样）

• 双向注意力（Bi-directional Attention）
• 可以看到全部上下文（左边 + 右边）
• 作用：理解输入句子语义

2.Decoder（和 GPT 一样）

• 因果掩码（Causal Mask）
• 只能看到当前词及左边的词，看不到右边
• 自回归生成（Autoregressive Generation）：逐个词生成

一句话总结：BERT 只有 Encoder，GPT 只有 Decoder，BART 是 Encoder+Decoder 全都有。

二、核心思想：去噪自编码器

1. 给原始句子加噪声（破坏）
2. 让模型重建出原始干净句子
3. 以重建误差作为损失训练

三、BART 五种预训练噪声（必考！）

1. 单词掩码（Token Masking）：随机把一些词变成 [MASK]
2. 单词删除（Token Deletion）：随机删掉一些词，模型要判断位置并补全
3. 文本填充（Text Infilling）：用单个掩码[MASK]随机替换某个文本片段，要求文本有预测缺失文本长度的能力
4. 句子排列变换（Sentence Permutation）：把句子顺序随机打乱，让模型恢复原顺序
5. 文本旋转变换（Document Rotation）随机选一个词作为开头，把文档循环移位