当前位置：首页 > news >正文

Causal LM 和 Prefix LM 的区别

news 2026/5/12 4:40:10

Causal LM 和 Prefix LM 的区别

刚开始，本人没分清 Causal LM 和 Prefix LM 的区别，不都是那样子续写么
其实真不是！虽然俩都能做续写，但核心差在「怎么理解要续写的上下文」，用大白话给你唠明白：

一、核心区别：上下文是“单向看”还是“回头看”

1. Causal LM（比如GPT、LLaMA）：纯“直男式”单向看

就像你看书只能从第一页翻到最后一页，翻到第3页时，绝对回不去看第5页，甚至连第4页都看不着。

比如要续写“今天天气真好，我们去____”：
- 看到“今天”时，看不到后面的“天气真好，我们去”；
- 看到“天气”时，只能看到“今天”，看不到“真好，我们去”；
- 整个上下文都是“从左到右硬读”，没法回头核对语义，全靠记前面的内容。

掩码矩阵（以“今天/天气/真好/我们/去”5个词为例）：

[1,0,0,0,0] # 今天：只能看自己 [1,1,0,0,0] # 天气：只能看“今天+自己” [1,1,1,0,0] # 真好：只能看“今天+天气+自己” [1,1,1,1,0] # 我们：只能看前4个里的前3个+自己 [1,1,1,1,1] # 去：能看前面所有+自己

2. Prefix LM（比如T5、UniLM）：上下文“能回头看”，续写“单向写”

相当于你先把“今天天气真好，我们去”这段上下文完整读一遍（前后都能看），理解透了再开始续写，续写时才不能看后面的内容。

还是续写“今天天气真好，我们去____”：
- 看到“今天”时，能看到后面的“天气真好，我们去”；
- 看到“天气”时，能看到“今天”也能看到“真好，我们去”；
- 上下文部分是“双向理解”（像做阅读理解），续写部分才是“单向写”（像写作文）。

掩码矩阵（同样5个词，前缀就是前5个上下文）：

[1,1,1,1,1] # 今天：能看所有上下文 [1,1,1,1,1] # 天气：能看所有上下文 [1,1,1,1,1] # 真好：能看所有上下文 [1,1,1,1,1] # 我们：能看所有上下文 [1,1,1,1,1] # 去：能看所有上下文 # 要是加续写的词（比如“公园”），就变成： [1,1,1,1,1,0] # 今天：看不到“公园” [1,1,1,1,1,0] # 天气：看不到“公园” [1,1,1,1,1,0] # 真好：看不到“公园” [1,1,1,1,1,0] # 我们：看不到“公园” [1,1,1,1,1,0] # 去：看不到“公园” [1,1,1,1,1,1] # 公园：能看所有上下文+自己

完整掩码：

[1,1,1,1,1,0] [1,1,1,1,1,0] [1,1,1,1,1,0] [1,1,1,1,1,0] [1,1,1,1,1,0] --- [1,1,1,1,1,0] [1,1,1,1,1,0] [1,1,1,1,1,0] [1,1,1,1,1,0] [1,1,1,1,1,1]

二、举个更接地气的例子

场景	Causal LM 操作	Prefix LM 操作
续写“小明吃了____，然后去玩了”	看到“小明”时，不知道后面是“吃了____，然后去玩了”；看到“吃了”时，只知道前面有“小明”，不知道后面要“去玩”	先把“小明吃了____，然后去玩了”全看一遍，知道“吃了”之后要接东西，接完还要“去玩”，再开始填空
翻译“我吃饭了”成英文	从“我”开始，逐字翻译，翻到“饭”时，忘了“我”是主语，容易翻错	先把“我吃饭了”整句话理解透（谁做了啥），再逐词生成英文“I ate rice”