当前位置：首页 > news >正文

RoPE 数学本质

news 2026/6/17 19:13:55

RoPE 核心直觉纠正与数学本质

一、RoPE 最终正确本质

RoPE 的本质：把 embedding 的每两维组成复数，施加与位置相关的相位旋转，使得 attention 内积仅依赖相对相位差，即相对位置信息。

二、原三点判断逐条校正

1. 关于「embedding 是实部」

原表述：embedding 是实部
精确表述：并非只有实部，而是将相邻两维分别作为复数的实部与虚部，把实向量解释为复数向量。

对向量：
x=(x0,x1,x2,x3,… ) \boldsymbol{x}=(x_0,x_1,x_2,x_3,\dots)x=(x0,x1,x2,x3,…)
构造复数：
zi=x2i+i x2i+1 z_i = x_{2i} + i\,x_{2i+1}zi=x2i+ix2i+1

(x0,x1)(x_0,x_1)(x0,x1)构成一个复数
(x2,x3)(x_2,x_3)(x2,x3)构成一个复数
……

结论：embedding 被整体解释为复数向量，而非仅有实部。

2. 关于「θ 是复角」

该表述正确。

RoPE 复数形式：
zi′=zi⋅eiθpos,i z_i' = z_i \cdot e^{i\theta_{\text{pos},i}}zi′=zi⋅eiθpos,i

θ\thetaθ：相位（phase）
位置信息 → 编码为相位

3. 关于「旋转中心点是向量位置中点」

关键错误，严格纠正

错误直觉：整个向量在空间中绕某一中心点旋转
正确理解：每一对维度在自身独立的二维子空间中绕原点旋转

三、数学上的旋转空间

对每一组维度(x2i,x2i+1)(x_{2i},x_{2i+1})(x2i,x2i+1)，旋转变换为：
[x2i′x2i+1′]=[cos⁡θ−sin⁡θsin⁡θcos⁡θ][x2ix2i+1] \begin{bmatrix} x'_{2i} \\ x'_{2i+1} \end{bmatrix}= \begin{bmatrix} \cos\theta & -\sin\theta \\ \sin\theta & \cos\theta \end{bmatrix} \begin{bmatrix} x_{2i} \\ x_{2i+1} \end{bmatrix}[x2i′x2i+1′]=[cosθsinθ−sinθcosθ][x2ix2i+1]

这是标准的绕原点(0,0)(0,0)(0,0)旋转变换。

四、正确几何直觉

错误图像：整个 embedding 向量在高维空间绕某中心点旋转
正确图像：高维空间可拆分为d2\frac{d}{2}2d个相互独立的二维平面
- (x0,x1)(x_0,x_1)(x0,x1)在自身平面内旋转
- (x2,x3)(x_2,x_3)(x2,x3)在自身平面内旋转
- (x4,x5)(x_4,x_5)(x4,x5)在自身平面内旋转
- ……

可理解为：ddd维空间 =d2\frac{d}{2}2d个独立小转盘

五、Attention 内积的本质

施加 RoPE 后，attention 内积：
qi′⋅kj′ q_i' \cdot k_j'qi′⋅kj′

对应复数运算：
zizj‾⋅ei(θi−θj) z_i \overline{z_j} \cdot e^{i(\theta_i-\theta_j)}zizj⋅ei(θi−θj)

核心：

绝对位置信息消失
仅保留相位差
相位差等价于位置差posi−posj\text{pos}_i-\text{pos}_jposi−posj

六、为何不是「绕中心点旋转」？

若绕任意中心点旋转：

不保持线性结构
不保持内积不变性
无法推导出相对位置编码特性

RoPE 的核心前提：严格保持内积结构。

七、高阶数学理解：分块对角旋转矩阵

RoPE 等价于分块对角旋转矩阵作用于原向量。

对x∈Rd\boldsymbol{x}\in\mathbb{R}^dx∈Rd，旋转矩阵：
Rθ=[R(θ0)000R(θ1)000R(θ2)] R_{\theta}= \begin{bmatrix} R(\theta_0) & 0 & 0 \\ 0 & R(\theta_1) & 0 \\ 0 & 0 & R(\theta_2) \\ \end{bmatrix}Rθ=R(θ0)000R(θ1)000R(θ2)

其中每个二维旋转块：
R(θi)=[cos⁡θi−sin⁡θisin⁡θicos⁡θi] R(\theta_i)= \begin{bmatrix} \cos\theta_i & -\sin\theta_i \\ \sin\theta_i & \cos\theta_i \end{bmatrix}R(θi)=[cosθisinθi−sinθicosθi]