[智能体-290]：BERT 详解：一词多坐标，上下文动态变化
一、概念总览
静态词向量 (Word2Vec/GloVe)：一词一个固定向量坐标，单词无论放在任何句子，向量永远不变，解决不了一词多义。BERT 动态词向量：一词 N 个坐标，同一个词语，上下文一变，词向量（空间坐标）立刻改变，依靠全局上下文实时生成专属语义表征，这是 BERT 最核心革新。
举例：苹果
① 苹果很甜 → 向量坐标：水果域
② 苹果出新机型 → 向量坐标：科技公司域
二、为什么 BERT 能实现动态坐标？三大底层支撑
1. 基础输入：三类嵌入融合，锁定位置 + 语义 + 分句
输入总嵌入公式：
- Token 嵌入：字词基础语义编码；
- 位置编码 Pos Emb：给每个 token 绑定序列坐标，Transformer 无序弊端被弥补，区分语序；
- 分段 Seg Emb：区分句子 A、句子 B，服务 NSP 预训练任务。
2. 双向 Transformer 自注意力：动态变换坐标的核心引擎
BERT 采用全双向自注意力（区别 GPT 单向从左往右），每个单词会和整句所有字词计算注意力分数：
- 词语根据周边词汇权重，动态聚合上下文信息；
- 上下文词汇变化→注意力权重改变→单词最终向量在高维空间坐标偏移。 一句话换个别词语，整句注意力分布重构，目标词坐标随之变动。
3. 两大预训练任务，强制模型学习多义、动态表征
（1）MLM 掩码语言模型（核心，实现一词多义）
随机遮蔽输入中 15% 的 Token（[MASK]替换），利用左右双向全部上下文预测被遮挡单词。
例：我爱吃 [MASK]，汁水饱满。→ 结合后文汁水，模型学习「苹果 = 水果」 例：[MASK] 发布新款平板。→ 结合发布、平板，模型学习「苹果 = 品牌」 同一单词在不同上下文被预测，迫使模型储存多种语义，生成多套向量坐标。
（2）NSP 下一句预测（辅助，学习句间语境）
输入两个句子，[CLS]句A[SEP]句B[SEP]，二分类：B 是否是 A 原文下一句。 让词语跨句子捕捉远距离语义，长文本下依旧动态修正词坐标。
三、BERT 向量取用规则
- 输入序列每个 token，经过 12 层 (BASE)/24 层 (LARGE) Transformer，每层都输出一组隐层向量；
- 单词表征：取该单词对应位置最后一层隐向量，作为当前语境下的专属坐标；
- 整句表征：取首位特殊符号
[CLS]向量，聚合全句语义； - 关键：同词、不同上下文 → 向量数值不同、高维坐标不同。
四、词表征技术演进（坐标发展史）
- One-hot：离散独热坐标，维度爆炸无语义；
- Word2Vec/GloVe：全局统计训练，一词一固定坐标（静态）；
- ELMo：双向 LSTM，按前后时序微调向量，局部弱动态；
- BERT：全句双向注意力，全局上下文实时重算坐标（全动态）。
五、实操验证逻辑（极简原理）
用 bert-base-uncased 分别编码两句话： s1 = "I eat an apple." s2 = "Apple releases new phone." 提取apple位置向量，计算欧式距离：向量不重合，证明同一单词空间坐标发生改变。
六、优缺点
优点
- 天然解决一词多义，语义贴合上下文；
- 预训练通用语义，下游分类、NER、问答微调效果优异。
局限
- MLM 训练和推理不一致（推理无
[MASK]）； - 上下文动态虽灵活，但无法提前缓存单词固定向量，推理速度比 Word2Vec 慢。