下班1小时Day7 | Attention 学习

Transformer 的注意力机制，本质是在为每个 Token 生成“上下文化表示”：先把输入投影成 Query、Key、Value，再用 Query 与 Key 计算相关性，通过 softmax 得到权重，最后按权重汇聚 Value。
Scaled Dot-Product Attention 解决“如何计算关系”；
Multi-Head Attention 让模型从多个子空间并行观察不同依赖；
Masked Self-Attention 保证自回归模型不能偷看未来；
Cross-Attention 则让 Decoder 能读取 Encoder 的源序列信息。
理解这条主线，就能把 Transformer 中最核心的结构串起来：不是简单记忆词序，而是学习 Token 之间可计算、可组合的关系。