Transformer学习笔记(位置编码)

一. 关于位置编码：

pos表示token位置，2i和2i+1表示维度下标（奇偶）

可以看出，随着i越来越接近d/2（维度越来越往下），位置编码的值随着位置pos变换的幅度越大(正余弦周期越大)，不同维度的位置编码就是不同周期的正余弦函数。这样可以让模型更容易感知两个词之间的间距k。

重点：

对于一对正余弦函数，根据三角函数的加法公式：

sin⁡(pos+k)=sin⁡(pos)cos⁡(k)+cos⁡(pos)sin⁡(k)

cos⁡(pos+k)=cos⁡(pos)cos⁡(k)−sin⁡(pos)sin⁡(k)

这意味着，存在一个只与 k有关、与pos无关的线性变换矩阵Mk​，使得：

PE(pos+k)=Mk⋅PE(pos)

深层次解释：

如果我们把 PE向量中的每一对 (sin,cos)看作二维平面上的一个点，你会发现：随着 pos的增加，这个点实际上是在这个二维子空间里做旋转运动。上面说到的矩阵MK其实是一个旋转矩阵。两个位置 pos和pos+k之间的点积，本质上取决于它们之间的夹角.
这种编码将位置信息编码成了相位（Phase）。在 Self-Attention 计算点积时，模型实际上是在衡量不同词在各个频率子空间里的相位差

这意味着模型在计算注意力时（即计算Q⋅KT时），两个词之间的点积会包含由于相对距离 k 产生的衰减或增强信号。模型不需要记住每个词的绝对坐标，它只需要通过线性投影就能感知出“这两个词相距 k 个单位”。这种平移不变性(Translation Invariance)对处理变长序列至关重要。