---
tags: [AI, LLM, 位置编码, RoPE]
阶段: 05-Transformer与LLM原理
难度: ★★★
created: 2026-10-18
related: "[[注意力机制与QKV]], [[因果注意力与多头注意力]], [[Transformer架构详解]]"
---

# 位置编码-正弦与RoPE

## 定义

**位置编码**（positional encoding）是只依赖位置索引或位置间位移的函数，其输出被加到 token 表示上，或作用于注意力打分，使模型能够区分同一组 token 的不同排列。若记位置 $p$ 的编码为 $\mathrm{PE}(p)\in\mathbb{R}^{d}$，则它满足两条性质：与 token 内容无关；对每个位置有确定输出，或对每个位移有确定作用。

本篇符号约定如下。

| 符号 | 含义 |
|---|---|
| $T$ | 序列长度，位置索引取 $0,\dots,T-1$ |
| $d$ | 模型维度 $d_{\text{model}}$，也是位置编码向量的维度 |
| $p,q,m,n$ | 位置索引，均为整数 |
| $k$ | 相对位移，$k=n-m$ 或 $k=q-p$ |
| $i$ | 频率分组序号，$i=0,\dots,d/2-1$ |
| $\omega_i$ | 正弦编码第 $i$ 组的角频率，$\omega_i=10000^{-2i/d}$ |
| $\theta_i$ | RoPE 第 $i$ 个二维子空间的角频率，$\theta_i=10000^{-2i/d}$ |
| $\mathrm{PE}(p)\in\mathbb{R}^{d}$ | 位置 $p$ 的正弦编码向量 |
| $\mathbf{E}_{pos}\in\mathbb{R}^{T_{\max}\times d}$ | 可学习位置嵌入矩阵，$T_{\max}$ 为支持的最大长度 |
| $\mathbf{R}_{m,i}\in\mathbb{R}^{2\times2}$ | 位置 $m$、第 $i$ 组的二维旋转矩阵 |
| $\mathbf{R}_{\Theta,m}\in\mathbb{R}^{d\times d}$ | 由 $d/2$ 个二维旋转构成的块对角矩阵 |
| $\mathbf{q}_m,\mathbf{k}_n\in\mathbb{R}^{d}$ | 位置 $m,n$ 的查询向量与键向量 |
| $\langle\mathbf{u},\mathbf{v}\rangle$ | 欧氏内积 $\mathbf{u}^{\top}\mathbf{v}$ |
| $\mathrm{Re}(z)$、$\overline{z}$ | 复数 $z$ 的实部、复共轭 |
| $s_{mn}$ | 位置 $m$ 对位置 $n$ 的注意力分数 |

其余术语在正文首次出现处定义。**绝对位置编码**（absolute positional encoding）为每个位置分配一个向量，并把该向量加到该位置的 token 表示上；**相对位置编码**（relative positional encoding）使注意力分数只通过位移 $m-n$ 依赖位置，将两个位置同时平移相同的量不改变分数；**旋转位置编码**（rotary position embedding，RoPE）用与位置成正比的二维旋转作用于查询与键，使内积只依赖相对位移；**长度外推**（length extrapolation）指在短序列上训练、在更长序列上推理；**位置插值**（position interpolation）把推理位置线性压缩到训练范围。

## 为什么重要

自注意力对输入顺序不敏感。把同一组 token 按不同顺序输入，输出只是按相同顺序重排，任何依赖顺序的任务都无法被表示。语言中主语与宾语、运算数顺序、代码缩进层级都依赖顺序，因此位置信息必须在注意力之外显式注入。没有位置编码时，模型对顺序只能做等变重排，无法利用顺序所承载的信息。

因果掩码只部分缓解这一点。掩码使位置 $p$ 只能看到 $0,\dots,p$，位置索引通过可见前缀长度隐式进入计算，模型因此可以区分不同位置。但掩码不提供平移不变的相对距离：在位置 3 学到的"前一个 token"模式，不能直接迁移到位置 100；掩码边界与内容耦合，模型无法用一个统一参数表示"相距 $k$ 个位置"。需要"相邻""跨句""远距离指代"这类特征的场合，仍必须显式编码位置。

位置编码同时决定两个工程指标。其一是长度外推：训练长度 4096 的模型能否处理 8192 的输入，取决于位置编码在训练范围外的行为。正弦编码可以计算任意位置，但训练分布外的相位仍会导致分数分布偏移；可学习位置嵌入在表外没有定义；RoPE 在数学上对任意位置有定义，但需要插值或调频才能维持质量。其二是推理兼容性：RoPE 只旋转查询与键，已缓存的键无需因新 token 到来而重算，这与 KV Cache 的解码方式一致；加性相对偏置则需在每次打分时按位置差重新计算。

在本库中的位置：本篇承接 [[注意力机制与QKV]] 与 [[因果注意力与多头注意力]]，补上注意力缺失的顺序信息；[[Transformer架构详解]] 把位置编码作为输入嵌入之后的固定步骤，[[Llama-2架构复盘]] 使用 RoPE 与分组查询注意力，[[超长上下文-无限注意力]] 讨论上下文扩展的另一条路线。对应学习目标中的"懂原理"与"能复现"：能独立证明置换等变、推导 RoPE 的相对位置性质，并用 NumPy 与 PyTorch 验证。

## 原理与推导

### 1 自注意力的置换等变性

设输入序列的表示为 $\mathbf{X}\in\mathbb{R}^{T\times d}$，第 $p$ 行为位置 $p$ 的向量。单头自注意力先做三次线性投影：

$$
\mathbf{Q}=\mathbf{X}\mathbf{W}_{Q},\qquad
\mathbf{K}=\mathbf{X}\mathbf{W}_{K},\qquad
\mathbf{V}=\mathbf{X}\mathbf{W}_{V},
$$

其中 $\mathbf{W}_{Q},\mathbf{W}_{K}\in\mathbb{R}^{d\times d_k}$，$\mathbf{W}_{V}\in\mathbb{R}^{d\times d_v}$。缩放点积打分为

$$
\mathbf{S}=\frac{1}{\sqrt{d_k}}\mathbf{Q}\mathbf{K}^{\top}\in\mathbb{R}^{T\times T},
\qquad
S_{pq}=\frac{1}{\sqrt{d_k}}\mathbf{q}_{p}^{\top}\mathbf{k}_{q}.
$$

取置换矩阵 $\mathbf{P}\in\{0,1\}^{T\times T}$，其每一行恰有一个 1、每一列恰有一个 1，满足 $\mathbf{P}^{\top}\mathbf{P}=\mathbf{I}$。设该置换把原位置 $\pi(p)$ 的向量移动到新位置 $p$，即 $(\mathbf{P}\mathbf{X})_{p,:}=\mathbf{X}_{\pi(p),:}$。把 $\mathbf{P}\mathbf{X}$ 代入打分公式：

$$
\mathbf{S}'=\frac{1}{\sqrt{d_k}}\mathbf{P}\mathbf{X}\mathbf{W}_{Q}\mathbf{W}_{K}^{\top}\mathbf{X}^{\top}\mathbf{P}^{\top}
=\mathbf{P}\mathbf{S}\mathbf{P}^{\top}.
$$

逐元素写开为

$$
S'_{pq}=S_{\pi(p)\pi(q)}.
$$

softmax 按行归一化。$\mathbf{S}'$ 第 $p$ 行的第 $q$ 个元素是 $S_{\pi(p)\pi(q)}$，分母为

$$
\sum_{r=1}^{T}\exp\left(S_{\pi(p)\pi(r)}\right)
=\sum_{r=1}^{T}\exp\left(S_{\pi(p)r}\right),
$$

最后一步用到 $\pi$ 是双射，$\{\pi(r):r=1,\dots,T\}=\{1,\dots,T\}$。因此

$$
\mathrm{softmax}(\mathbf{S}')_{pq}
=\frac{\exp(S_{\pi(p)\pi(q)})}{\sum_{r}\exp(S_{\pi(p)r})}
=\mathrm{softmax}(\mathbf{S})_{\pi(p)\pi(q)},
$$

即

$$
\mathrm{softmax}(\mathbf{S}')=\mathbf{P}\,\mathrm{softmax}(\mathbf{S})\,\mathbf{P}^{\top}.
$$

注意力输出为 $\mathbf{O}=\mathrm{softmax}(\mathbf{S})\mathbf{V}$，于是

$$
\mathbf{O}'=\mathrm{softmax}(\mathbf{S}')\mathbf{P}\mathbf{V}
=\mathbf{P}\,\mathrm{softmax}(\mathbf{S})\,\mathbf{P}^{\top}\mathbf{P}\mathbf{V}
=\mathbf{P}\,\mathrm{softmax}(\mathbf{S})\mathbf{V}
=\mathbf{P}\mathbf{O}.
$$

前馈网络与 LayerNorm 都逐位置作用。对任意逐行映射 $g$，有 $g(\mathbf{P}\mathbf{Z})=\mathbf{P}g(\mathbf{Z})$，因为第 $p$ 行的计算只用到第 $p$ 行。残差连接 $\mathbf{Z}+\mathrm{Sublayer}(\mathbf{Z})$ 在此变换下同样保持该等式。把上述步骤逐层重复，得到整堆叠的**置换等变**（permutation equivariance）：

$$
\mathrm{Transformer}(\mathbf{P}\mathbf{X})=\mathbf{P}\,\mathrm{Transformer}(\mathbf{X}).
$$

若最后对序列做均值池化，$\frac{1}{T}\mathbf{1}^{\top}\mathbf{O}'=\frac{1}{T}\mathbf{1}^{\top}\mathbf{P}\mathbf{O}=\frac{1}{T}\mathbf{1}^{\top}\mathbf{O}$，输出完全不变，称为置换不变。$T=2$ 时可手算：交换两个 token 后，打分矩阵从 $\begin{pmatrix}S_{11}&S_{12}\\S_{21}&S_{22}\end{pmatrix}$ 变为 $\begin{pmatrix}S_{22}&S_{21}\\S_{12}&S_{11}\end{pmatrix}$，softmax 后两行互换，输出两行也互换。

因此，无位置编码的 Transformer 只能实现与顺序无关的函数。位置信息必须以某种方式进入：加到输入表示上，或改变注意力打分的定义。因果掩码使 $\mathrm{softmax}$ 的可见集合随位置变化，严格意义上破坏了置换等变，但它提供的是"前缀长度"这一隐式索引，不提供平移不变的相对位移，不能替代位置编码。

### 2 绝对位置编码与相对位置编码

绝对位置编码为每个位置 $p$ 计算向量 $f(p)$，并把它加到该位置的输入上：

$$
\mathbf{x}_{p}^{\text{in}}=\mathbf{e}_{t_{p}}+f(p),
$$

其中 $\mathbf{e}_{t_p}$ 是 token 嵌入。加性位置编码不改变输入维度，后续所有线性层仍作用于 $\mathbb{R}^{d}$。此时注意力分数通过内容与绝对位置共同决定：

$$
S_{pq}=f_{\text{score}}\left(\mathbf{x}_{p}^{\text{in}},\mathbf{x}_{q}^{\text{in}}\right),
$$

$p$ 与 $q$ 分别进入，交换 $p,q$ 与整体平移 $p+c,q+c$ 一般给出不同结果。

相对位置编码直接定义分数对位移的依赖：

$$
S_{pq}=f_{\text{rel}}\left(\mathbf{q}_{p},\mathbf{k}_{q},p-q\right).
$$

它要求平移不变性：对所有 $c$，$S_{p+c,q+c}=S_{pq}$。这一条比"把位置向量加到输入上"更强，因为它约束的是分数的函数形式，而不是输入的构造方式。RoPE 通过在查询与键上施加与位置成正比的旋转实现该性质，ALiBi 通过在分数上加位移的线性函数实现该性质。

| 方案 | 参数量 | 注入位置 | 位置依赖形式 | 训练长度之外 |
|---|---|---|---|---|
| 正弦编码 | 0 | 输入相加 | 绝对形式，但含相对结构 | 可计算，分布外质量下降 |
| 可学习位置嵌入 | $T_{\max}d$ | 输入相加 | 绝对 | 表外无定义 |
| RoPE | 0 | 查询与键旋转 | 内积只依赖 $m-n$ | 可计算，需插值或调频 |
| ALiBi | 每头 1 个斜率 | 分数加性偏置 | 相对，线性惩罚 | 结构上可处理任意长度 |

需要区分形式与信息。正弦编码按位置逐一构造，形式上属于绝对编码；但它的内积具有只依赖位移的结构，见第 5 节。RoPE 在每个位置上旋转查询与键，形式上依赖绝对位置 $m$；但旋转矩阵的乘积使内积只依赖 $m-n$，因此功能上属于相对编码。判断一个方案属于哪一类，应看注意力分数的函数依赖，而不是看向量在何处被使用。

### 3 正弦编码的构造

原论文的正弦位置编码定义为

$$
\mathrm{PE}(p,2i)=\sin\left(p\,\omega_i\right),\qquad
\mathrm{PE}(p,2i+1)=\cos\left(p\,\omega_i\right),
$$

$$
\omega_i=10000^{-\frac{2i}{d}},\qquad i=0,1,\dots,\frac{d}{2}-1.
$$

每个维度对 $(2i,2i+1)$ 对应一个角频率 $\omega_i$。把这一对看成平面上的点 $(\sin(p\omega_i),\cos(p\omega_i))$，它落在单位圆上，相位为 $p\omega_i$。位置 $p$ 的完整编码由 $d/2$ 个不同频率的单位圆点组成。

$d=8$ 时四个频率与波长如下。波长定义为相位增加 $2\pi$ 所需的位置增量，$\lambda_i=2\pi/\omega_i$。

| $i$ | $\omega_i=10000^{-2i/8}$ | 波长 $\lambda_i$ |
|---|---|---|
| 0 | 1 | $2\pi\approx6.283$ |
| 1 | 0.1 | $20\pi\approx62.83$ |
| 2 | 0.01 | $200\pi\approx628.3$ |
| 3 | 0.001 | $2000\pi\approx6283$ |

该构造满足四条性质。第一，有界：每个分量在 $[-1,1]$ 内，编码向量的范数恒为

$$
\lVert\mathrm{PE}(p)\rVert_{2}^{2}
=\sum_{i=0}^{d/2-1}\left(\sin^{2}(p\omega_i)+\cos^{2}(p\omega_i)\right)
=\frac{d}{2},
$$

与 $p$ 无关。$d=512$ 时范数为 $\sqrt{256}=16$，与缩放后的 token 嵌入 $\sqrt{d}\,\mathbf{e}$ 量级相当，相加后位置项不会随 $p$ 增大而主导内容项。

第二，无参数：任意位置都可直接计算，不需要存储表。第三，位置 0 的编码为每对 $(0,1)$，是确定且无偏的起点。第四，不同位置的编码互不相同。若 $\mathrm{PE}(p)=\mathrm{PE}(q)$，则对每个 $i$ 同时有 $\sin(p\omega_i)=\sin(q\omega_i)$ 与 $\cos(p\omega_i)=\cos(q\omega_i)$，故

$$
(p-q)\omega_i\in2\pi\mathbb{Z},\qquad i=0,\dots,\frac{d}{2}-1.
$$

取 $i=0$ 得 $(p-q)\in2\pi\mathbb{Z}$。$p-q$ 是整数，$2\pi$ 是无理数，故只有 $p-q=0$，即 $p=q$。因此整数位置上的编码两两不同，这一结论只用到 $i=0$ 这一对频率；其余频率不参与唯一性，它们的作用是提供多尺度的相对位移读出，见第 4、5 节。数值上，位置很大时浮点数的间距增大，$\sin(p)$ 与 $\sin(q)$ 可能因舍入而接近，这是精度问题，不是编码在整数位置上周期性重合。

为什么同时需要 sin 与 cos，而不是只用一个？单个 $\sin(p\omega)$ 无法让位移写成与 $p$ 无关的线性变换：$\sin((p+k)\omega)$ 需要同时用到 $\sin(p\omega)$ 与 $\cos(p\omega)$ 才能展开。一对正交分量使"平移 $k$"对应一个 $2\times2$ 旋转，这是第 5 节相对性质的基础。若只保留一个分量，任意位移只能靠非线性函数拟合，线性可读性丧失。

### 4 频率按几何级数排列的理由

频率序列 $\omega_i=10000^{-2i/d}$ 是等比数列，相邻比值为

$$
\frac{\omega_{i+1}}{\omega_i}=10000^{-\frac{2}{d}}.
$$

$d=512$ 时该比值为 $10000^{-1/256}\approx0.982$，相邻波长相差约 1.8%。波长从 $2\pi$ 增长到 $2\pi\cdot10000^{1-2/d}$，$d$ 较大时约 $2\pi\cdot10000\approx6.28\times10^{4}$。以十进制计，全部维度覆盖 $\log_{10}10000=4$ 个数量级，$d/2$ 个维度对把这 4 个数量级等分，每对约覆盖 $8/d$ 个数量级。$d=512$ 时每对覆盖 $0.0156$ 个数量级。

等比排列的理由有三条。

第一，多尺度覆盖。相邻位置之间的差异主要落在高频率维度：$p$ 增加 1，第 $i$ 对的相位增加 $\omega_i$，$\omega_0=1$ 时相位变化 1 弧度，足以区分相邻位置。远距离位置之间的差异落在低频率维度：$\omega_i$ 很小时，相位在很长范围内缓慢变化，不会在短距离内反复回绕。若频率只取高频，不同位置在相位上会反复接近，远处位置的分辨率下降；若只取低频，相邻位置几乎相同，局部顺序不可分辨。

第二，对数间隔使各尺度分辨率均匀。若在 $[10^{-4},1]$ 上线性取 $d/2$ 个频率，绝大多数维度落在高频段，低频段只有极少数维度负责长程信息，长程分辨率不足。等比数列使每个数量级获得相同数量的维度对，任意尺度的位移都有相应频率的维度对其敏感。

第三，基频与位移读出。对固定位移 $k$，第 $i$ 对的相位差为 $k\omega_i$。$k$ 较小时，只有高频率维度的相位差明显；$k$ 较大时，高频率维度已经多次回绕，但低频率维度仍给出单调的相位差。把全部维度合起来，位移 $k$ 对应一个 $d/2$ 维的相位向量 $(k\omega_0,\dots,k\omega_{d/2-1})$，其各分量变化速度不同，因而在很大范围内保持可区分。基值 10000 决定最长波长，也决定低频维度在训练长度内是否已经充分变化：$2\pi\cdot10000$ 远超常见上下文长度，以 $d=512$ 为例，最低频维度在 4096 内只转动约 0.41 弧度，这也是长度外推时需要调整频率的原因。

### 5 相对位移的线性表示

正弦编码的关键性质是：对任意固定位移 $k$，存在一个与 $p$ 无关的矩阵 $\mathbf{R}(k)$，使

$$
\mathrm{PE}(p+k)=\mathbf{R}(k)\,\mathrm{PE}(p).
$$

先在单个二维子空间上证明。记 $a=p\omega_i$，$b=k\omega_i$，需要找到 $\mathbf{R}_i(k)$ 使

$$
\mathbf{R}_i(k)
\begin{pmatrix}\sin a\\ \cos a\end{pmatrix}
=
\begin{pmatrix}\sin(a+b)\\ \cos(a+b)\end{pmatrix}.
$$

由正弦与余弦的和角公式，

$$
\sin(a+b)=\sin a\cos b+\cos a\sin b,
$$

$$
\cos(a+b)=\cos a\cos b-\sin a\sin b.
$$

写成矩阵形式：

$$
\mathbf{R}_i(k)=
\begin{pmatrix}
\cos b & \sin b\\
-\sin b & \cos b
\end{pmatrix}
=
\begin{pmatrix}
\cos(k\omega_i) & \sin(k\omega_i)\\
-\sin(k\omega_i) & \cos(k\omega_i)
\end{pmatrix}.
$$

逐分量验证：第一行给出 $\cos(k\omega_i)\sin(p\omega_i)+\sin(k\omega_i)\cos(p\omega_i)=\sin((p+k)\omega_i)$；第二行给出 $-\sin(k\omega_i)\sin(p\omega_i)+\cos(k\omega_i)\cos(p\omega_i)=\cos((p+k)\omega_i)$。两式分别等于目标分量，故等式成立。$\mathbf{R}_i(k)$ 是正交矩阵，$\mathbf{R}_i(k)^{\top}\mathbf{R}_i(k)=\mathbf{I}$，且

$$
\mathbf{R}_i(k_1)\mathbf{R}_i(k_2)=\mathbf{R}_i(k_1+k_2).
$$

把 $d/2$ 个二维旋转按维度对排列成块对角矩阵：

$$
\mathbf{R}(k)=
\begin{pmatrix}
\mathbf{R}_0(k) & & \\
& \ddots & \\
& & \mathbf{R}_{d/2-1}(k)
\end{pmatrix}
\in\mathbb{R}^{d\times d}.
$$

块对角矩阵的乘法逐块进行，因此同样满足 $\mathbf{R}(k_1)\mathbf{R}(k_2)=\mathbf{R}(k_1+k_2)$ 与正交性。对完整编码向量，$\mathrm{PE}(p+k)=\mathbf{R}(k)\mathrm{PE}(p)$ 成立。

由此可计算两个位置编码的内积。设两位置为 $p$ 与 $p+k$，按维度对分组：

$$
\mathrm{PE}(p)^{\top}\mathrm{PE}(p+k)
=\sum_{i=0}^{d/2-1}\left[
\sin(p\omega_i)\sin((p+k)\omega_i)+\cos(p\omega_i)\cos((p+k)\omega_i)
\right].
$$

对每个 $i$ 使用 $\cos(A-B)=\cos A\cos B+\sin A\sin B$，取 $A=(p+k)\omega_i$、$B=p\omega_i$，得

$$
\sin(p\omega_i)\sin((p+k)\omega_i)+\cos(p\omega_i)\cos((p+k)\omega_i)
=\cos\left((p+k)\omega_i-p\omega_i\right)
=\cos(k\omega_i).
$$

因此

$$
\mathrm{PE}(p)^{\top}\mathrm{PE}(p+k)=\sum_{i=0}^{d/2-1}\cos(k\omega_i).
$$

右端只含 $k$，不含 $p$。这就是"正弦编码能表示相对位移"的严格含义：任意固定位移对应一个与绝对位置无关的线性变换，编码的内积是位移的函数。$\cos$ 是偶函数，故内积对 $k$ 与 $-k$ 相同，编码本身不区分左右方向，方向信息由查询与键的内容以及掩码提供。

该性质有三条边界，必须说明。第一，它只描述位置编码向量本身的内积；实际注意力分数是 $\mathbf{q}_m^{\top}\mathbf{k}_n$，其中 $\mathbf{q},\mathbf{k}$ 由 token 内容经线性投影得到，位置向量只是输入的一部分，因此训练后的分数不严格等于 $\sum_i\cos((m-n)\omega_i)$。第二，右端是 $d/2$ 个不同频率余弦之和，随 $k$ 增大整体下降但不单调；它不构成距离核，不能据此断言"距离越远注意力越小"。第三，线性变换的存在说明模型有 capacity 表示相对位移，不说明优化一定会找到该表示。

### 6 可学习位置嵌入

可学习位置嵌入把位置编码写成参数矩阵：

$$
\mathbf{E}_{pos}\in\mathbb{R}^{T_{\max}\times d},\qquad
\mathbf{x}_{p}^{\text{in}}=\mathbf{e}_{t_{p}}+\mathbf{E}_{pos,p},\qquad p=0,\dots,T_{\max}-1.
$$

$\mathbf{E}_{pos}$ 与其余参数一起用梯度下降训练，初始化通常取 $\mathcal{N}(0,0.02)$。它没有函数形式约束，模型可以为每个位置学习任意向量，因而能表达训练数据中出现的特殊位置模式。参数量为 $T_{\max}d$，与词表无关。GPT-2 取 $T_{\max}=1024$、$d=768$，位置嵌入参数为 $786{,}432$，占 1.24 亿总参数的 0.6%；BERT 取 $T_{\max}=512$、$d=768$，参数为 $393{,}216$。

它的局限直接来自表的有限性。位置 $p\ge T_{\max}$ 没有对应行，前向无法定义；对表内位置做插值也没有训练信号，因为训练时每个位置只访问自己的行。序列长度变化时，同一段文本的绝对位置整体移动，模型必须为每个偏移分别学习，样本效率低于相对方案。正弦编码不存在表外无定义的问题，但缺少可学习的特殊位置模式。RoPE 在不引入位置参数的前提下实现了相对位移，兼具无参数与相对性。

### 7 RoPE 的构造

RoPE 的目标是构造位置相关的变换 $f(\mathbf{x},m)$，使任意查询、键的内积只依赖相对位移：

$$
\left\langle f(\mathbf{q},m),f(\mathbf{k},n)\right\rangle
=g\left(\mathbf{q},\mathbf{k},n-m\right).
$$

在二维情形，取 $f(\mathbf{x},m)=\mathbf{R}_m\mathbf{x}$，其中

$$
\mathbf{R}_m=
\begin{pmatrix}
\cos(m\theta) & -\sin(m\theta)\\
\sin(m\theta) & \cos(m\theta)
\end{pmatrix}
$$

是旋转角为 $m\theta$ 的旋转矩阵。它满足 $\mathbf{R}_m^{\top}\mathbf{R}_m=\mathbf{I}$，且 $\mathbf{R}_m^{\top}\mathbf{R}_n=\mathbf{R}_{n-m}$。直接验证：

$$
\mathbf{R}_m^{\top}\mathbf{R}_n
=
\begin{pmatrix}
\cos(m\theta) & \sin(m\theta)\\
-\sin(m\theta) & \cos(m\theta)
\end{pmatrix}
\begin{pmatrix}
\cos(n\theta) & -\sin(n\theta)\\
\sin(n\theta) & \cos(n\theta)
\end{pmatrix}.
$$

逐元素计算四个位置：

$$
(\mathbf{R}_m^{\top}\mathbf{R}_n)_{11}
=\cos(m\theta)\cos(n\theta)+\sin(m\theta)\sin(n\theta)
=\cos((n-m)\theta),
$$

$$
(\mathbf{R}_m^{\top}\mathbf{R}_n)_{12}
=-\cos(m\theta)\sin(n\theta)+\sin(m\theta)\cos(n\theta)
=-\sin((n-m)\theta),
$$

$$
(\mathbf{R}_m^{\top}\mathbf{R}_n)_{21}
=-\sin(m\theta)\cos(n\theta)+\cos(m\theta)\sin(n\theta)
=\sin((n-m)\theta),
$$

$$
(\mathbf{R}_m^{\top}\mathbf{R}_n)_{22}
=\sin(m\theta)\sin(n\theta)+\cos(m\theta)\cos(n\theta)
=\cos((n-m)\theta).
$$

右端正是 $\mathbf{R}_{n-m}$。于是

$$
\left\langle\mathbf{R}_m\mathbf{q},\mathbf{R}_n\mathbf{k}\right\rangle
=\mathbf{q}^{\top}\mathbf{R}_m^{\top}\mathbf{R}_n\mathbf{k}
=\mathbf{q}^{\top}\mathbf{R}_{n-m}\mathbf{k}
=\left\langle\mathbf{q},\mathbf{R}_{n-m}\mathbf{k}\right\rangle,
$$

只依赖 $n-m$。当 $m=n$ 时 $\mathbf{R}_{n-m}=\mathbf{I}$，内积退化为原始内容内积 $\mathbf{q}^{\top}\mathbf{k}$，位置不改变同一位置上的内容相似度。旋转保持范数，$\lVert\mathbf{R}_m\mathbf{q}\rVert=\lVert\mathbf{q}\rVert$，因此注意力 logits 的尺度不随位置增长。

$d$ 维时，把维度分成 $d/2$ 个二维子空间，每个子空间使用自己的角频率 $\theta_i$，并施加相同形式的旋转：

$$
\mathbf{R}_{\Theta,m}=\mathrm{diag}\left(\mathbf{R}_{m,0},\mathbf{R}_{m,1},\dots,\mathbf{R}_{m,d/2-1}\right),
\qquad
\mathbf{R}_{m,i}=
\begin{pmatrix}
\cos(m\theta_i) & -\sin(m\theta_i)\\
\sin(m\theta_i) & \cos(m\theta_i)
\end{pmatrix}.
$$

查询与键变为

$$
\mathbf{q}_m=\mathbf{R}_{\Theta,m}\mathbf{W}_{Q}\mathbf{x}_m,\qquad
\mathbf{k}_n=\mathbf{R}_{\Theta,n}\mathbf{W}_{K}\mathbf{x}_n,
$$

其中 $\mathbf{x}_m$ 是位置 $m$ 的隐藏状态。代入打分：

$$
\mathbf{q}_m^{\top}\mathbf{k}_n
=\mathbf{x}_m^{\top}\mathbf{W}_{Q}^{\top}\mathbf{R}_{\Theta,m}^{\top}
\mathbf{R}_{\Theta,n}\mathbf{W}_{K}\mathbf{x}_n
=\mathbf{x}_m^{\top}\mathbf{W}_{Q}^{\top}\mathbf{R}_{\Theta,n-m}\mathbf{W}_{K}\mathbf{x}_n.
$$

块对角矩阵的转置仍是块对角，乘积逐块应用二维结论，故 $\mathbf{R}_{\Theta,m}^{\top}\mathbf{R}_{\Theta,n}=\mathbf{R}_{\Theta,n-m}$。右端只通过 $\mathbf{R}_{\Theta,n-m}$ 依赖 $n-m$，RoPE 的相对性质得证。

对固定内容，内积可按复数形式展开为

$$
\mathbf{q}_m^{\top}\mathbf{k}_n
=\sum_{i=0}^{d/2-1}\left|q_i\right|\left|k_i\right|
\cos\left((m-n)\theta_i+\phi_i\right),
$$

其中 $\phi_i=\arg q_i-\arg k_i$ 由内容决定。相对距离增大时，各频率项的相位 $(m-n)\theta_i$ 逐渐分散，求和的上界受频率和约束而整体呈下降趋势；Su et al. 据此给出长程衰减的上界。该结论是上界，不表示每条注意力权重随距离单调下降：具体 $q_i,k_i$ 的相位组合会使内积振荡，softmax 还会按行重新归一化。

为什么用旋转而不是加法？若取 $f(\mathbf{x},m)=\mathbf{x}+\mathbf{p}_m$，内积展开为 $\mathbf{q}^{\top}\mathbf{k}+\mathbf{q}^{\top}\mathbf{p}_n+\mathbf{p}_m^{\top}\mathbf{k}+\mathbf{p}_m^{\top}\mathbf{p}_n$，中间两项分别只依赖 $n$ 与 $m$，末项依赖两者的组合，整个表达式无法化为 $n-m$ 的单一函数；且 $\lVert\mathbf{x}+\mathbf{p}_m\rVert$ 随位置变化。旋转是正交变换，范数不变，且角度可加，恰好把两个绝对位置合成为相对位移。这也解释了 RoPE 必须作用在投影之后的 $\mathbf{q},\mathbf{k}$ 上：旋转按固定的维度对进行，若先旋转输入再乘 $\mathbf{W}_{Q}$，线性层会把各维度混合，旋转结构被破坏。

### 8 复数表示

把第 $i$ 对分量写成复数：

$$
z_{i}=x_{2i}+\mathrm{i}\,x_{2i+1},\qquad \mathrm{i}^{2}=-1.
$$

乘以 $e^{\mathrm{i}\varphi}$ 给出

$$
(x_{2i}+\mathrm{i}x_{2i+1})(\cos\varphi+\mathrm{i}\sin\varphi)
=(x_{2i}\cos\varphi-x_{2i+1}\sin\varphi)
+\mathrm{i}(x_{2i}\sin\varphi+x_{2i+1}\cos\varphi),
$$

实部与虚部正是二维旋转的两个分量。因此"对第 $i$ 对施加角度 $m\theta_i$ 的旋转"等价于乘以 $e^{\mathrm{i}m\theta_i}$。记未旋转的查询、键在第 $i$ 对的复数为 $q_i,k_i$，旋转后为

$$
q_{m,i}=q_i e^{\mathrm{i}m\theta_i},\qquad
k_{n,i}=k_i e^{\mathrm{i}n\theta_i}.
$$

二维实内积与复数运算的关系为

$$
\left\langle\mathbf{u},\mathbf{v}\right\rangle
=u_{1}v_{1}+u_{2}v_{2}
=\mathrm{Re}\left((u_1+\mathrm{i}u_2)\overline{(v_1+\mathrm{i}v_2)}\right).
$$

代入旋转后的复数：

$$
\left\langle\mathbf{q}_{m,i},\mathbf{k}_{n,i}\right\rangle
=\mathrm{Re}\left(q_i e^{\mathrm{i}m\theta_i}\overline{k_i e^{\mathrm{i}n\theta_i}}\right).
$$

利用 $\overline{ab}=\overline{a}\,\overline{b}$ 与 $\overline{e^{\mathrm{i}n\theta_i}}=e^{-\mathrm{i}n\theta_i}$，得

$$
\overline{k_i e^{\mathrm{i}n\theta_i}}
=\overline{k_i}\,e^{-\mathrm{i}n\theta_i}.
$$

于是

$$
\mathrm{Re}\left(q_i e^{\mathrm{i}m\theta_i}\overline{k_i e^{\mathrm{i}n\theta_i}}\right)
=\mathrm{Re}\left(q_i\overline{k_i}\,e^{\mathrm{i}(m-n)\theta_i}\right).
$$

右端只含 $m-n$。对全部 $d/2$ 个子空间求和，得到完整内积：

$$
\mathbf{q}_m^{\top}\mathbf{k}_n
=\sum_{i=0}^{d/2-1}\mathrm{Re}\left(q_i\overline{k_i}\,e^{\mathrm{i}(m-n)\theta_i}\right).
$$

这一形式把 RoPE 的相对性压缩为一行：旋转在复数域是相位加法，内积中的相位差自动变成 $m-n$。它还给出范数保持的另一种读法，$|e^{\mathrm{i}m\theta_i}|=1$，乘以单位复数不改变模长。实现时不使用复数，而用预计算的 $\cos$ 与 $\sin$ 表，因为实数运算在 GPU 上更直接，且便于与半精度张量配合。

### 9 频率分配与实现

RoPE 的角频率沿用正弦编码的等比序列：

$$
\theta_i=10000^{-\frac{2i}{d_k}},\qquad i=0,1,\dots,\frac{d_k}{2}-1,
$$

其中 $d_k$ 是每个注意力头的维度，不是 $d_{\text{model}}$。多头注意力在每个头上独立旋转，若误用 $d_{\text{model}}$ 计算频率，各头的旋转角度会与维度不匹配。$d_k=8$ 时四个频率为 $1,0.1,0.01,0.001$，对应波长 $2\pi,20\pi,200\pi,2000\pi$。

实现分三步。第一步，预计算位置 $0,\dots,T-1$ 的余弦与正弦表：

$$
\mathbf{C}\in\mathbb{R}^{T\times d_k/2},\quad C_{m,i}=\cos(m\theta_i);
\qquad
\mathbf{S}\in\mathbb{R}^{T\times d_k/2},\quad S_{m,i}=\sin(m\theta_i).
$$

第二步，把每对分量按相邻方式排列时，对 $\mathbf{q}\in\mathbb{R}^{d_k}$ 计算

$$
q'_{2i}=q_{2i}C_{m,i}-q_{2i+1}S_{m,i},\qquad
q'_{2i+1}=q_{2i}S_{m,i}+q_{2i+1}C_{m,i}.
$$

第三步，把 $\mathbf{C},\mathbf{S}$ 沿最后一维逐元素重复两次（`repeat_interleave`），得到与 $\mathbf{q}$ 同形状的张量，再用

$$
\mathbf{q}'=\mathbf{q}\odot\mathbf{C}_{m}+\mathrm{rotate\_half}(\mathbf{q})\odot\mathbf{S}_{m}
$$

一次完成。相邻配对下，$\mathrm{rotate\_half}$ 把每对 $(q_{2i},q_{2i+1})$ 映射为 $(-q_{2i+1},q_{2i})$，逐分量展开即上面的两式。

主流实现（Llama 系列）采用前后半配对：维度 $j$ 与 $j+d_k/2$ 组成一对，$\mathbf{C},\mathbf{S}$ 由 $d_k/2$ 个频率复制成前后两半，$\mathrm{rotate\_half}$ 取

$$
\mathrm{rotate\_half}(\mathbf{x})
=\mathrm{concat}\left(-\mathbf{x}_{d_k/2:},\ \mathbf{x}_{:d_k/2}\right).
$$

这与相邻配对在数学上等价，差别只是维度排列顺序：把前后半配对的坐标按 $(j,j+d_k/2)$ 重新排序，就得到相邻配对。两种约定不能混用：若用前后半的 $\mathrm{rotate\_half}$ 搭配相邻配对的 $\cos$ 表，每一维乘到的角度与它实际配对的角度不一致，旋转性质被破坏。这是实现 RoPE 时的常见错误，且不会报形状错误，只会让模型效果下降。

计算量与显存可忽略。每个 token 的旋转需要 $O(d_k)$ 次乘加，整个序列 $O(Td_k)$，而注意力本身是 $O(T^2d_k)$，旋转开销在长序列上占比很低。$\cos$ 与 $\sin$ 表可在训练前一次生成，推理时按最大长度缓存。KV Cache 场景下，已缓存的键在写入时已经按其绝对位置旋转，解码新 token 时只需用当前位置 $t=\text{past\_length}$ 旋转新的查询与键，不能把位置重新从 0 计数。半精度下大位置角的相位精度有限，位置超过训练长度数个量级时，$\cos(m\theta_i)$ 的舍入误差会积累，这是长上下文实现需要关注数值精度的原因之一。

### 10 外推、插值、NTK/YaRN 与 ALiBi

设训练长度为 $L_{\text{train}}$，推理长度为 $L_{\text{test}}>L_{\text{train}}$。RoPE 对任意整数 $m$ 都有定义，因此"能否计算"不是问题，"分数分布是否仍在训练分布内"才是问题。训练时模型只见过 $m<L_{\text{train}}$ 的旋转角；推理到 $m\ge L_{\text{train}}$ 时，低频率维度的相位进入未训练区域，查询与键的相对角度组合发生变化，注意力熵与分数尺度随之漂移，困惑度上升。高频率维度在训练长度内已经多次回绕，其相位分布对更长位置并不陌生；问题主要出在低频维度。

位置插值（position interpolation）把推理位置线性压缩：

$$
m'=m\cdot\frac{L_{\text{train}}}{L_{\text{test}}},
$$

再用 $\mathrm{PE}(m')$ 或旋转角 $m'\theta_i$。所有频率被同比例缩小，序列重新落入训练范围，代价是相邻位置的角度差也变小，局部分辨率下降。压缩比越大，近距离区分能力损失越多。

NTK-aware 缩放不压缩位置，而改变基值：

$$
\theta_i=b^{-\frac{2i}{d_k}},\qquad b>10000.
$$

增大 $b$ 使所有波长变长，低频率维度（$i$ 大）的波长增长最多，高频率维度变化较小。这样远距离相位不会迅速越出训练范围，同时近距离仍由高频维度保持分辨。它只改变频率分配，不改变旋转形式与相对性质。YaRN 在此基础上按维度区分处理：波长短于训练长度的维度保持外推，波长长的维度做插值，并对注意力 logits 施加与长度相关的温度缩放，以补偿长度增加导致的熵变化。两类方法都属于频率或尺度调整，具体公式与超参数需按模型与数据验证，不能假定任意基值都无损。

ALiBi 采用另一条路线：不使用位置嵌入，直接在 softmax 前的分数上加与距离成正比的惩罚：

$$
s_{mn}=\frac{\mathbf{q}_m^{\top}\mathbf{k}_n}{\sqrt{d_k}}-\lambda_h\,(m-n),
\qquad n\le m,
$$

其中 $\lambda_h>0$ 是第 $h$ 个注意力头的斜率，各头取不同斜率，通常按几何级数设定，使不同头具有不同的距离衰减尺度。距离越远惩罚越大，模型因此偏向近邻。由于惩罚对任意距离都有定义，ALiBi 在结构上可以处理超过训练长度的序列，不需要插值；代价是它施加了固定的单调距离先验，无法表示"远处位置更重要"的相对模式，且斜率是人工设定而非从数据学习。对需要精确长程检索的任务，这一先验可能成为限制。

| 方法 | 对位置的处理 | 是否改变旋转形式 | 主要代价 |
|---|---|---|---|
| 位置插值 | $m\mapsto m L_{\text{train}}/L_{\text{test}}$ | 否，仅缩放角度 | 局部分辨率下降 |
| NTK-aware | 增大基值 $b$ | 否，仅改频率 | 需调 $b$，高频仍受限 |
| YaRN | 分维度插值/外推 + 温度缩放 | 否，仅改频率与尺度 | 超参数多，需验证 |
| ALiBi | 分数加线性距离惩罚 | 不使用旋转 | 单调距离先验 |

## 关键直觉

> [!tip] RoPE 把位置信息从"加到表示上"改为"在注意力内积中引入只依赖位移的旋转"：位置 $m$ 的查询被旋转 $m\theta_i$，位置 $n$ 的键被旋转 $n\theta_i$，内积中的旋转差自然等于 $(n-m)\theta_i$。因此 $\mathbf{q}_m^{\top}\mathbf{k}_n$ 只通过 $n-m$ 依赖位置，且旋转正交使范数不变。该表述与第 7 节的 $\mathbf{R}_m^{\top}\mathbf{R}_n=\mathbf{R}_{n-m}$、第 8 节的 $\mathrm{Re}(q_i\overline{k_i}e^{\mathrm{i}(m-n)\theta_i})$ 严格对应；正弦编码则是同一相位思想在输入端的加性实现，其内积 $\sum_i\cos(k\omega_i)$ 只依赖位移，但不进入注意力打分的乘法结构。

## 例子与代码

以下 NumPy 代码在 Python 3.13、NumPy 2.3.5 下运行，输出为实际打印结果。

### 例 1：正弦编码与相对位移点积

构造 $d=64$、最大长度 1024 的正弦编码，计算不同起始位置下、不同位移的点积，并与第 5 节的闭式 $\sum_i\cos(k\omega_i)$ 对照。

```python
import numpy as np

def sinusoidal_pe(max_len, d):
    pos = np.arange(max_len)[:, None]                  # (T, 1)
    idx = np.arange(0, d, 2)[None, :]                  # (1, d/2)
    omega = 10000.0 ** (-idx / d)                      # (1, d/2)
    pe = np.zeros((max_len, d))
    pe[:, 0::2] = np.sin(pos * omega)                  # 偶数维：sin
    pe[:, 1::2] = np.cos(pos * omega)                  # 奇数维：cos
    return pe, omega[0]

pe, omega = sinusoidal_pe(1024, 64)
print("PE shape:", pe.shape, "omega[:3]:", np.round(omega[:3], 4),
      "omega[-1]:", f"{omega[-1]:.2e}")
print(np.round(pe[:3, :6], 4))

ks = np.array([0, 1, 2, 5, 10, 20, 50, 100, 200, 500])
def rel_dot(p):
    return np.array([pe[p] @ pe[p + k] for k in ks])

s0, s10 = rel_dot(0), rel_dot(10)
print("p=0 :", np.round(s0, 4))
print("p=10:", np.round(s10, 4))
print("max |diff|:", f"{np.abs(s0 - s10).max():.2e}")
print("theory  :", np.round(np.cos(ks[:, None] * omega[None, :]).sum(1), 4))
print("norm    :", np.round(s0 / s0[0], 4))
```

```text
PE shape: (1024, 64) omega[:3]: [1.     0.7499 0.5623] omega[-1]: 1.33e-04
[[ 0.      1.      0.      1.      0.      1.    ]
 [ 0.8415  0.5403  0.6816  0.7318  0.5332  0.846 ]
 [ 0.9093 -0.4161  0.9975  0.0709  0.9021  0.4315]]
p=0 : [32.     30.9168 28.3039 23.504  21.0516 18.8791 15.6738 17.8747 11.435
  6.4182]
p=10: [32.     30.9168 28.3039 23.504  21.0516 18.8791 15.6738 17.8747 11.435
  6.4182]
max |diff|: 3.64e-14
theory  : [32.     30.9168 28.3039 23.504  21.0516 18.8791 15.6738 17.8747 11.435
  6.4182]
norm    : [1.     0.9662 0.8845 0.7345 0.6579 0.59   0.4898 0.5586 0.3573 0.2006]
```

代码做三件事：按公式构造编码；对两个相差 10 的起始位置分别计算同一组位移的内积；用闭式公式复核。输出中 `p=0` 与 `p=10` 的十个数完全相同，最大差为 $3.64\times10^{-14}$，等于浮点舍入误差，验证了内积只依赖位移。`theory` 行与实测行逐项相等，验证了 $\sum_i\cos(k\omega_i)$ 的推导。`norm` 行是除以零位移内积后的归一化值，随位移从 1 降到 0.20，但并非单调：位移 50 时为 0.4898，位移 100 时反而升到 0.5586，原因是不同频率的余弦项相位不同，和式会振荡。因此不能把该点积当作单调距离核使用。

`omega[:3]` 为 $[1,0.7499,0.5623]$，对应波长 $2\pi$、$8.38$、$11.17$；最后一项 $\omega_{31}=1.33\times10^{-4}$ 对应波长约 $4.7\times10^{4}$，说明低频维度在 1024 长度内几乎不变化。`pe[:3,:6]` 的前两列是 $\sin(p)$ 与 $\cos(p)$，位置 0 恒为 $(0,1)$；后四列对应略低的频率，随位置变化稍慢。

### 例 2：位移旋转矩阵的数值验证

对第 5 节的 $\mathbf{R}_i(k)$ 取 $k=3$，在两个频率上验证任意起始位置的平移都等于同一个旋转，并给出 $p=7$ 的具体数值。

```python
import numpy as np

d, k = 64, 3
omega = 10000.0 ** (-np.arange(0, d, 2) / d)

def shift_matrix(k, w):
    return np.array([[np.cos(k * w), np.sin(k * w)],
                     [-np.sin(k * w), np.cos(k * w)]])

for i in (0, 5):
    w = omega[i]
    R = shift_matrix(k, w)
    v = np.array([np.sin(7 * w), np.cos(7 * w)])
    print(f"i={i} w={w:.4f}")
    print(" R @ v      =", np.round(R @ v, 6))
    print(" [sin(10w), cos(10w)] =", np.round([np.sin(10 * w), np.cos(10 * w)], 6))

err = 0.0
for i in (0, 5):
    w = omega[i]
    R = shift_matrix(k, w)
    for p in range(100):
        v = np.array([np.sin(p * w), np.cos(p * w)])
        target = np.array([np.sin((p + k) * w), np.cos((p + k) * w)])
        err = max(err, np.abs(R @ v - target).max())
print("max error over p=0..99:", f"{err:.2e}")
```

```text
i=0 w=1.0000
 R @ v      = [-0.544021 -0.839072]
 [sin(10w), cos(10w)] = [-0.544021 -0.839072]
i=5 w=0.2371
 R @ v      = [ 0.696292 -0.717758]
 [sin(10w), cos(10w)] = [ 0.696292 -0.717758]
max error over p=0..99: 3.22e-15
```

矩阵 $\mathbf{R}_i(k)$ 只由位移 $k$ 与频率 $\omega_i$ 决定，不含 $p$。代码对 $p=0,\dots,99$ 逐一验证 $\mathbf{R}_i(3)\mathrm{PE}_i(p)=\mathrm{PE}_i(p+3)$，最大误差 $3.22\times10^{-15}$，说明该线性关系在数值上精确成立。若把 $\mathbf{R}$ 换成任意正交矩阵，例如交换两维的矩阵，和角公式不再成立，误差会立刻增大到量级 1；若去掉 $\cos$ 分量只保留 $\sin$，则无法用二维线性变换表示平移。这两个对照说明 sin/cos 成对出现与旋转矩阵的构造是必要条件，而不是实现细节。

### 例 3：PyTorch 实现 RoPE 并验证相对位置不变性

以下代码在 PyTorch 2.0 及以上运行。本机未安装 PyTorch，数值已用同式 NumPy 实现在 float64 下核对；PyTorch 默认 float32 下末位可能存在 $10^{-6}$ 量级差异。

```python
import torch

def rope_cache(seq_len, dim, base=10000.0):
    idx = torch.arange(0, dim, 2).float()          # (d/2,)
    theta = base ** (-idx / dim)                   # (d/2,)
    pos = torch.arange(seq_len).float()            # (T,)
    angles = torch.outer(pos, theta)               # (T, d/2)
    return angles.cos(), angles.sin(), theta       # 各 (T, d/2)

def rotate_half(x):
    # 相邻配对 (x[2i], x[2i+1]) -> (-x[2i+1], x[2i])
    x1, x2 = x[..., 0::2], x[..., 1::2]
    return torch.stack((-x2, x1), dim=-1).flatten(-2)

def apply_rope(x, cos, sin):
    # x: (..., T, d)；cos/sin: (T, d/2)，沿最后一维复制成 (T, d)
    cos = cos.repeat_interleave(2, dim=-1)
    sin = sin.repeat_interleave(2, dim=-1)
    return x * cos + rotate_half(x) * sin

d = 8
q = torch.arange(1.0, d + 1)                       # 确定性输入，便于核对
k = torch.arange(0.5, d + 0.5)
cos, sin, theta = rope_cache(16, d)
print("theta:", theta)

def score(m, n):
    qm = apply_rope(q, cos[m], sin[m])
    kn = apply_rope(k, cos[n], sin[n])
    return torch.dot(qm, kn)

s53, s20 = score(5, 3), score(2, 0)
print(f"score(5,3) = {s53:.4f}")
print(f"score(2,0) = {s20:.4f}")
print(f"allclose   = {torch.allclose(s53, s20, atol=1e-5)}")
print(f"score(5,1) = {score(5, 1):.4f}")
print(f"score(5,4) = {score(5, 4):.4f}")

# 与显式块对角旋转矩阵对照
R = torch.zeros(d, d)
c, s = (5 * theta).cos(), (5 * theta).sin()
R[0::2, 0::2] = torch.diag(c)
R[0::2, 1::2] = torch.diag(-s)
R[1::2, 0::2] = torch.diag(s)
R[1::2, 1::2] = torch.diag(c)
print("matrix match =", torch.allclose(R @ q, apply_rope(q, cos[5], sin[5])))

# 批量形状：(B, h, T, d_k) 与 (T, d_k/2) 广播
Q = torch.randn(2, 4, 6, d)
print("batched:", apply_rope(Q, cos[:6], sin[:6]).shape)
```

```text
theta: tensor([1.0000, 0.1000, 0.0100, 0.0010])
score(5,3) = 181.1686
score(2,0) = 181.1686
allclose   = True
score(5,1) = 178.3081
score(5,4) = 184.7570
matrix match = True
batched: torch.Size([2, 4, 6, 8])
```

前三行验证目标性质：位置 5 与位置 3 的分数等于位置 2 与位置 0 的分数，因为两组相对位移都是 2；`allclose` 为真。紧接着两行说明分数并非与位置无关：相对位移 4 与 $-1$ 给出不同分数，位置信息确实进入了内积。`matrix match` 用显式构造的块对角矩阵复核 `apply_rope` 的逐元素旋转，二者一致。批量行说明 $\cos,\sin$ 表形状为 $(T,d/2)$，对 $(B,h,T,d_k)$ 的查询张量按最后两维广播，无需为每个头复制表。

去掉 `rotate_half` 直接写成 `x * cos`，旋转退化为逐维缩放，$\mathbf{R}_m^{\top}\mathbf{R}_n$ 不再等于 $\mathbf{R}_{n-m}$，位置 5 与 3 的分数不再等于位置 2 与 0。把 `repeat_interleave` 换成 `repeat`（前后半复制），角度与维度错配，同样破坏相对性质。把位置 5 的 `cos[5]` 误写成 `cos[4]`，分数会改变，说明位置索引必须与 token 的真实位置一致。

## 易错点

> [!warning] 以下六条均可在代码或推导中直接检验。
> 1. 把位置编码与 token 嵌入拼接而不是相加：输入维度变为 $2d$，后续 $\mathbf{W}_{Q}$ 等的形状不匹配；原论文与主流实现均为逐元素相加，位置编码维度等于 $d_{\text{model}}$。
> 2. 认为正弦编码的注意力分数严格只依赖相对位置：$\sum_i\cos(k\omega_i)$ 只对位置编码向量本身成立，实际分数还含 token 内容与投影矩阵，不能把该式直接当作训练后模型的注意力规律。
> 3. RoPE 的 $\cos/\sin$ 布局与 `rotate_half` 配对方式混用：相邻配对需要 `repeat_interleave` 与交替取半，前后半配对需要 `repeat` 与前后切分；混用不报形状错误，但每一维乘到的角度错误，相对性质失效。
> 4. KV Cache 解码时位置从 0 重新计数：已缓存的键在写入时已按绝对位置旋转，新 token 必须使用 `past_length` 作为位置，否则每个新 token 都按位置 0 旋转，注意力退化为内容匹配。
> 5. 把 RoPE 当作可无损外推的方案：旋转对任意位置有定义，不代表分数分布在训练范围外不变；不调频或不插值时，低频维度相位越界，困惑度随长度上升。
> 6. 在 ALiBi 中把偏置加在 softmax 之后或乘到权重上：偏置必须在 softmax 之前加到 logits，且是位移的加性线性函数；softmax 后置零会破坏行归一化，乘性缩放则改变分布形状而非引入距离先验。

## 关联笔记

- 前置 [[注意力机制与QKV]]：第 1 节的置换等变证明以缩放点积注意力的打分为起点，该篇给出 $\mathbf{Q},\mathbf{K},\mathbf{V}$ 与 $\sqrt{d_k}$ 的完整推导。
- 前置 [[因果注意力与多头注意力]]：因果掩码只提供前缀可见性，不提供相对位移；多头结构决定 RoPE 的 $\theta_i$ 按每个头的 $d_k$ 计算。
- 后续 [[Transformer架构详解]]：位置编码是输入嵌入之后的固定步骤，该篇给出正弦编码与 token 嵌入相加的形状与缩放细节。
- 后续 [[Llama-2架构复盘]]：Llama 2 使用 RoPE 与分组查询注意力，该篇复盘频率、头维度与上下文长度的配置。
- 延伸 [[超长上下文-无限注意力]]：上下文扩展的另一条路线是压缩记忆与线性注意力，与 RoPE 的频率调整形成对照。

## 达标检测

- [ ] 写出置换矩阵 $\mathbf{P}$ 下 $\mathbf{S}'=\mathbf{P}\mathbf{S}\mathbf{P}^{\top}$ 的推导，说明 softmax 的按行归一化为何保持该等式，并证明均值池化后的输出完全不变。
- [ ] 写出正弦编码公式，说明 $\omega_i$ 的等比性质与波长范围，并解释为什么同时需要 sin 与 cos。
- [ ] 推导 $\mathbf{R}_i(k)$ 的四个元素，证明 $\mathrm{PE}(p)^{\top}\mathrm{PE}(p+k)=\sum_i\cos(k\omega_i)$ 不依赖 $p$。
- [ ] 用复数形式推导 $\mathrm{Re}(q_i e^{\mathrm{i}m\theta_i}\overline{k_i e^{\mathrm{i}n\theta_i}})=\mathrm{Re}(q_i\overline{k_i}e^{\mathrm{i}(m-n)\theta_i})$，并说明实部出现的原因。
- [ ] 运行例 3 的 PyTorch 代码，报告位置 $(5,3)$ 与 $(2,0)$ 的分数差，并解释相对位移 4 的分数为何不同。
- [ ] 指出 RoPE 实现中配对方式混用与 KV Cache 位置重置各自导致的数值后果，并给出修正方法。
- [ ] 对比位置插值、NTK-aware 缩放与 ALiBi 的外推机制，说明各自改变了哪个量。

## 参考来源

- Vaswani et al., "Attention Is All You Need", arXiv:1706.03762 —— 对应本篇第 3 节正弦编码公式、第 5 节相对位移的三角恒等式与第 2 节绝对/相对编码的区分。
- Su et al., "RoFormer: Enhanced Transformer with Rotary Position Embedding", arXiv:2104.09864 —— 对应本篇第 7 至 9 节 RoPE 的旋转构造、相对位置性质、复数形式与长程衰减讨论。
- Touvron et al., "Llama 2: Open Foundation and Fine-Tuned Chat Models", arXiv:2307.09288 —— 对应第 9 节 RoPE 在 Llama 系列中的使用与第 10 节 4096 训练长度、长上下文外推的工程背景。
- d2l.ai《动手学深度学习》"注意力机制与 Transformer" 一章 —— 对应第 3 节正弦编码的 NumPy 实现与第 10 节位置编码的对比。
- Stanford CS224n 关于 Transformer 与位置表示的讲义 —— 对应第 1 节置换等变性与第 2 节绝对/相对编码的概念区分。
