w wyl123ly 的博客
MD

位置编码-正弦与RoPE

44 KB 2026.10.18 原文件

位置编码-正弦与RoPE

定义

位置编码(positional encoding)是只依赖位置索引或位置间位移的函数,其输出被加到 token 表示上,或作用于注意力打分,使模型能够区分同一组 token 的不同排列。若记位置 的编码为 ,则它满足两条性质:与 token 内容无关;对每个位置有确定输出,或对每个位移有确定作用。

本篇符号约定如下。

符号含义
序列长度,位置索引取
模型维度 ,也是位置编码向量的维度
位置索引,均为整数
相对位移, 或
频率分组序号,
正弦编码第 组的角频率,
RoPE 第 个二维子空间的角频率,
位置 的正弦编码向量
可学习位置嵌入矩阵, 为支持的最大长度
位置 、第 组的二维旋转矩阵
由 个二维旋转构成的块对角矩阵
位置 的查询向量与键向量
欧氏内积
、复数 的实部、复共轭
位置 对位置 的注意力分数

其余术语在正文首次出现处定义。绝对位置编码(absolute positional encoding)为每个位置分配一个向量,并把该向量加到该位置的 token 表示上;相对位置编码(relative positional encoding)使注意力分数只通过位移 依赖位置,将两个位置同时平移相同的量不改变分数;旋转位置编码(rotary position embedding,RoPE)用与位置成正比的二维旋转作用于查询与键,使内积只依赖相对位移;长度外推(length extrapolation)指在短序列上训练、在更长序列上推理;位置插值(position interpolation)把推理位置线性压缩到训练范围。

为什么重要

自注意力对输入顺序不敏感。把同一组 token 按不同顺序输入,输出只是按相同顺序重排,任何依赖顺序的任务都无法被表示。语言中主语与宾语、运算数顺序、代码缩进层级都依赖顺序,因此位置信息必须在注意力之外显式注入。没有位置编码时,模型对顺序只能做等变重排,无法利用顺序所承载的信息。

因果掩码只部分缓解这一点。掩码使位置 只能看到 ,位置索引通过可见前缀长度隐式进入计算,模型因此可以区分不同位置。但掩码不提供平移不变的相对距离:在位置 3 学到的"前一个 token"模式,不能直接迁移到位置 100;掩码边界与内容耦合,模型无法用一个统一参数表示"相距 个位置"。需要"相邻""跨句""远距离指代"这类特征的场合,仍必须显式编码位置。

位置编码同时决定两个工程指标。其一是长度外推:训练长度 4096 的模型能否处理 8192 的输入,取决于位置编码在训练范围外的行为。正弦编码可以计算任意位置,但训练分布外的相位仍会导致分数分布偏移;可学习位置嵌入在表外没有定义;RoPE 在数学上对任意位置有定义,但需要插值或调频才能维持质量。其二是推理兼容性:RoPE 只旋转查询与键,已缓存的键无需因新 token 到来而重算,这与 KV Cache 的解码方式一致;加性相对偏置则需在每次打分时按位置差重新计算。

在本库中的位置:本篇承接 注意力机制与QKV 与 因果注意力与多头注意力,补上注意力缺失的顺序信息;Transformer架构详解 把位置编码作为输入嵌入之后的固定步骤,Llama-2架构复盘 使用 RoPE 与分组查询注意力,超长上下文-无限注意力 讨论上下文扩展的另一条路线。对应学习目标中的"懂原理"与"能复现":能独立证明置换等变、推导 RoPE 的相对位置性质,并用 NumPy 与 PyTorch 验证。

原理与推导

1 自注意力的置换等变性

设输入序列的表示为 ,第 行为位置 的向量。单头自注意力先做三次线性投影:

其中 ,。缩放点积打分为

取置换矩阵 ,其每一行恰有一个 1、每一列恰有一个 1,满足 。设该置换把原位置 的向量移动到新位置 ,即 。把 代入打分公式:

逐元素写开为

softmax 按行归一化。 第 行的第 个元素是 ,分母为

最后一步用到 是双射,。因此

即

注意力输出为 ,于是

前馈网络与 LayerNorm 都逐位置作用。对任意逐行映射 ,有 ,因为第 行的计算只用到第 行。残差连接 在此变换下同样保持该等式。把上述步骤逐层重复,得到整堆叠的置换等变(permutation equivariance):

若最后对序列做均值池化,,输出完全不变,称为置换不变。 时可手算:交换两个 token 后,打分矩阵从 变为 ,softmax 后两行互换,输出两行也互换。

因此,无位置编码的 Transformer 只能实现与顺序无关的函数。位置信息必须以某种方式进入:加到输入表示上,或改变注意力打分的定义。因果掩码使 的可见集合随位置变化,严格意义上破坏了置换等变,但它提供的是"前缀长度"这一隐式索引,不提供平移不变的相对位移,不能替代位置编码。

2 绝对位置编码与相对位置编码

绝对位置编码为每个位置 计算向量 ,并把它加到该位置的输入上:

其中 是 token 嵌入。加性位置编码不改变输入维度,后续所有线性层仍作用于 。此时注意力分数通过内容与绝对位置共同决定:

与 分别进入,交换 与整体平移 一般给出不同结果。

相对位置编码直接定义分数对位移的依赖:

它要求平移不变性:对所有 ,。这一条比"把位置向量加到输入上"更强,因为它约束的是分数的函数形式,而不是输入的构造方式。RoPE 通过在查询与键上施加与位置成正比的旋转实现该性质,ALiBi 通过在分数上加位移的线性函数实现该性质。

方案参数量注入位置位置依赖形式训练长度之外
正弦编码0输入相加绝对形式,但含相对结构可计算,分布外质量下降
可学习位置嵌入输入相加绝对表外无定义
RoPE0查询与键旋转内积只依赖 可计算,需插值或调频
ALiBi每头 1 个斜率分数加性偏置相对,线性惩罚结构上可处理任意长度

需要区分形式与信息。正弦编码按位置逐一构造,形式上属于绝对编码;但它的内积具有只依赖位移的结构,见第 5 节。RoPE 在每个位置上旋转查询与键,形式上依赖绝对位置 ;但旋转矩阵的乘积使内积只依赖 ,因此功能上属于相对编码。判断一个方案属于哪一类,应看注意力分数的函数依赖,而不是看向量在何处被使用。

3 正弦编码的构造

原论文的正弦位置编码定义为

每个维度对 对应一个角频率 。把这一对看成平面上的点 ,它落在单位圆上,相位为 。位置 的完整编码由 个不同频率的单位圆点组成。

时四个频率与波长如下。波长定义为相位增加 所需的位置增量,。

波长
01
10.1
20.01
30.001

该构造满足四条性质。第一,有界:每个分量在 内,编码向量的范数恒为

与 无关。 时范数为 ,与缩放后的 token 嵌入 量级相当,相加后位置项不会随 增大而主导内容项。

第二,无参数:任意位置都可直接计算,不需要存储表。第三,位置 0 的编码为每对 ,是确定且无偏的起点。第四,不同位置的编码互不相同。若 ,则对每个 同时有 与 ,故

取 得 。 是整数, 是无理数,故只有 ,即 。因此整数位置上的编码两两不同,这一结论只用到 这一对频率;其余频率不参与唯一性,它们的作用是提供多尺度的相对位移读出,见第 4、5 节。数值上,位置很大时浮点数的间距增大, 与 可能因舍入而接近,这是精度问题,不是编码在整数位置上周期性重合。

为什么同时需要 sin 与 cos,而不是只用一个?单个 无法让位移写成与 无关的线性变换: 需要同时用到 与 才能展开。一对正交分量使"平移 "对应一个 旋转,这是第 5 节相对性质的基础。若只保留一个分量,任意位移只能靠非线性函数拟合,线性可读性丧失。

4 频率按几何级数排列的理由

频率序列 是等比数列,相邻比值为

时该比值为 ,相邻波长相差约 1.8%。波长从 增长到 , 较大时约 。以十进制计,全部维度覆盖 个数量级, 个维度对把这 4 个数量级等分,每对约覆盖 个数量级。 时每对覆盖 个数量级。

等比排列的理由有三条。

第一,多尺度覆盖。相邻位置之间的差异主要落在高频率维度: 增加 1,第 对的相位增加 , 时相位变化 1 弧度,足以区分相邻位置。远距离位置之间的差异落在低频率维度: 很小时,相位在很长范围内缓慢变化,不会在短距离内反复回绕。若频率只取高频,不同位置在相位上会反复接近,远处位置的分辨率下降;若只取低频,相邻位置几乎相同,局部顺序不可分辨。

第二,对数间隔使各尺度分辨率均匀。若在 上线性取 个频率,绝大多数维度落在高频段,低频段只有极少数维度负责长程信息,长程分辨率不足。等比数列使每个数量级获得相同数量的维度对,任意尺度的位移都有相应频率的维度对其敏感。

第三,基频与位移读出。对固定位移 ,第 对的相位差为 。 较小时,只有高频率维度的相位差明显; 较大时,高频率维度已经多次回绕,但低频率维度仍给出单调的相位差。把全部维度合起来,位移 对应一个 维的相位向量 ,其各分量变化速度不同,因而在很大范围内保持可区分。基值 10000 决定最长波长,也决定低频维度在训练长度内是否已经充分变化: 远超常见上下文长度,以 为例,最低频维度在 4096 内只转动约 0.41 弧度,这也是长度外推时需要调整频率的原因。

5 相对位移的线性表示

正弦编码的关键性质是:对任意固定位移 ,存在一个与 无关的矩阵 ,使

先在单个二维子空间上证明。记 ,,需要找到 使

由正弦与余弦的和角公式,

写成矩阵形式:

逐分量验证:第一行给出 ;第二行给出 。两式分别等于目标分量,故等式成立。 是正交矩阵,,且

把 个二维旋转按维度对排列成块对角矩阵:

块对角矩阵的乘法逐块进行,因此同样满足 与正交性。对完整编码向量, 成立。

由此可计算两个位置编码的内积。设两位置为 与 ,按维度对分组:

对每个 使用 ,取 、,得

因此

右端只含 ,不含 。这就是"正弦编码能表示相对位移"的严格含义:任意固定位移对应一个与绝对位置无关的线性变换,编码的内积是位移的函数。 是偶函数,故内积对 与 相同,编码本身不区分左右方向,方向信息由查询与键的内容以及掩码提供。

该性质有三条边界,必须说明。第一,它只描述位置编码向量本身的内积;实际注意力分数是 ,其中 由 token 内容经线性投影得到,位置向量只是输入的一部分,因此训练后的分数不严格等于 。第二,右端是 个不同频率余弦之和,随 增大整体下降但不单调;它不构成距离核,不能据此断言"距离越远注意力越小"。第三,线性变换的存在说明模型有 capacity 表示相对位移,不说明优化一定会找到该表示。

6 可学习位置嵌入

可学习位置嵌入把位置编码写成参数矩阵:

与其余参数一起用梯度下降训练,初始化通常取 。它没有函数形式约束,模型可以为每个位置学习任意向量,因而能表达训练数据中出现的特殊位置模式。参数量为 ,与词表无关。GPT-2 取 、,位置嵌入参数为 ,占 1.24 亿总参数的 0.6%;BERT 取 、,参数为 。

它的局限直接来自表的有限性。位置 没有对应行,前向无法定义;对表内位置做插值也没有训练信号,因为训练时每个位置只访问自己的行。序列长度变化时,同一段文本的绝对位置整体移动,模型必须为每个偏移分别学习,样本效率低于相对方案。正弦编码不存在表外无定义的问题,但缺少可学习的特殊位置模式。RoPE 在不引入位置参数的前提下实现了相对位移,兼具无参数与相对性。

7 RoPE 的构造

RoPE 的目标是构造位置相关的变换 ,使任意查询、键的内积只依赖相对位移:

在二维情形,取 ,其中

是旋转角为 的旋转矩阵。它满足 ,且 。直接验证:

逐元素计算四个位置:

右端正是 。于是

只依赖 。当 时 ,内积退化为原始内容内积 ,位置不改变同一位置上的内容相似度。旋转保持范数,,因此注意力 logits 的尺度不随位置增长。

维时,把维度分成 个二维子空间,每个子空间使用自己的角频率 ,并施加相同形式的旋转:

查询与键变为

其中 是位置 的隐藏状态。代入打分:

块对角矩阵的转置仍是块对角,乘积逐块应用二维结论,故 。右端只通过 依赖 ,RoPE 的相对性质得证。

对固定内容,内积可按复数形式展开为

其中 由内容决定。相对距离增大时,各频率项的相位 逐渐分散,求和的上界受频率和约束而整体呈下降趋势;Su et al. 据此给出长程衰减的上界。该结论是上界,不表示每条注意力权重随距离单调下降:具体 的相位组合会使内积振荡,softmax 还会按行重新归一化。

为什么用旋转而不是加法?若取 ,内积展开为 ,中间两项分别只依赖 与 ,末项依赖两者的组合,整个表达式无法化为 的单一函数;且 随位置变化。旋转是正交变换,范数不变,且角度可加,恰好把两个绝对位置合成为相对位移。这也解释了 RoPE 必须作用在投影之后的 上:旋转按固定的维度对进行,若先旋转输入再乘 ,线性层会把各维度混合,旋转结构被破坏。

8 复数表示

把第 对分量写成复数:

乘以 给出

实部与虚部正是二维旋转的两个分量。因此"对第 对施加角度 的旋转"等价于乘以 。记未旋转的查询、键在第 对的复数为 ,旋转后为

二维实内积与复数运算的关系为

代入旋转后的复数:

利用 与 ,得

于是

右端只含 。对全部 个子空间求和,得到完整内积:

这一形式把 RoPE 的相对性压缩为一行:旋转在复数域是相位加法,内积中的相位差自动变成 。它还给出范数保持的另一种读法,,乘以单位复数不改变模长。实现时不使用复数,而用预计算的 与 表,因为实数运算在 GPU 上更直接,且便于与半精度张量配合。

9 频率分配与实现

RoPE 的角频率沿用正弦编码的等比序列:

其中 是每个注意力头的维度,不是 。多头注意力在每个头上独立旋转,若误用 计算频率,各头的旋转角度会与维度不匹配。 时四个频率为 ,对应波长 。

实现分三步。第一步,预计算位置 的余弦与正弦表:

第二步,把每对分量按相邻方式排列时,对 计算

第三步,把 沿最后一维逐元素重复两次(repeat_interleave),得到与 同形状的张量,再用

一次完成。相邻配对下, 把每对 映射为 ,逐分量展开即上面的两式。

主流实现(Llama 系列)采用前后半配对:维度 与 组成一对, 由 个频率复制成前后两半, 取

这与相邻配对在数学上等价,差别只是维度排列顺序:把前后半配对的坐标按 重新排序,就得到相邻配对。两种约定不能混用:若用前后半的 搭配相邻配对的 表,每一维乘到的角度与它实际配对的角度不一致,旋转性质被破坏。这是实现 RoPE 时的常见错误,且不会报形状错误,只会让模型效果下降。

计算量与显存可忽略。每个 token 的旋转需要 次乘加,整个序列 ,而注意力本身是 ,旋转开销在长序列上占比很低。 与 表可在训练前一次生成,推理时按最大长度缓存。KV Cache 场景下,已缓存的键在写入时已经按其绝对位置旋转,解码新 token 时只需用当前位置 旋转新的查询与键,不能把位置重新从 0 计数。半精度下大位置角的相位精度有限,位置超过训练长度数个量级时, 的舍入误差会积累,这是长上下文实现需要关注数值精度的原因之一。

10 外推、插值、NTK/YaRN 与 ALiBi

设训练长度为 ,推理长度为 。RoPE 对任意整数 都有定义,因此"能否计算"不是问题,"分数分布是否仍在训练分布内"才是问题。训练时模型只见过 的旋转角;推理到 时,低频率维度的相位进入未训练区域,查询与键的相对角度组合发生变化,注意力熵与分数尺度随之漂移,困惑度上升。高频率维度在训练长度内已经多次回绕,其相位分布对更长位置并不陌生;问题主要出在低频维度。

位置插值(position interpolation)把推理位置线性压缩:

再用 或旋转角 。所有频率被同比例缩小,序列重新落入训练范围,代价是相邻位置的角度差也变小,局部分辨率下降。压缩比越大,近距离区分能力损失越多。

NTK-aware 缩放不压缩位置,而改变基值:

增大 使所有波长变长,低频率维度( 大)的波长增长最多,高频率维度变化较小。这样远距离相位不会迅速越出训练范围,同时近距离仍由高频维度保持分辨。它只改变频率分配,不改变旋转形式与相对性质。YaRN 在此基础上按维度区分处理:波长短于训练长度的维度保持外推,波长长的维度做插值,并对注意力 logits 施加与长度相关的温度缩放,以补偿长度增加导致的熵变化。两类方法都属于频率或尺度调整,具体公式与超参数需按模型与数据验证,不能假定任意基值都无损。

ALiBi 采用另一条路线:不使用位置嵌入,直接在 softmax 前的分数上加与距离成正比的惩罚:

其中 是第 个注意力头的斜率,各头取不同斜率,通常按几何级数设定,使不同头具有不同的距离衰减尺度。距离越远惩罚越大,模型因此偏向近邻。由于惩罚对任意距离都有定义,ALiBi 在结构上可以处理超过训练长度的序列,不需要插值;代价是它施加了固定的单调距离先验,无法表示"远处位置更重要"的相对模式,且斜率是人工设定而非从数据学习。对需要精确长程检索的任务,这一先验可能成为限制。

方法对位置的处理是否改变旋转形式主要代价
位置插值否,仅缩放角度局部分辨率下降
NTK-aware增大基值 否,仅改频率需调 ,高频仍受限
YaRN分维度插值/外推 + 温度缩放否,仅改频率与尺度超参数多,需验证
ALiBi分数加线性距离惩罚不使用旋转单调距离先验

关键直觉

RoPE 把位置信息从"加到表示上"改为"在注意力内积中引入只依赖位移的旋转":位置 的查询被旋转 ,位置 的键被旋转 ,内积中的旋转差自然等于 。因此 只通过 依赖位置,且旋转正交使范数不变。该表述与第 7 节的 、第 8 节的 严格对应;正弦编码则是同一相位思想在输入端的加性实现,其内积 只依赖位移,但不进入注意力打分的乘法结构。

例子与代码

以下 NumPy 代码在 Python 3.13、NumPy 2.3.5 下运行,输出为实际打印结果。

例 1:正弦编码与相对位移点积

构造 、最大长度 1024 的正弦编码,计算不同起始位置下、不同位移的点积,并与第 5 节的闭式 对照。

import numpy as np

def sinusoidal_pe(max_len, d):
    pos = np.arange(max_len)[:, None]                  # (T, 1)
    idx = np.arange(0, d, 2)[None, :]                  # (1, d/2)
    omega = 10000.0 ** (-idx / d)                      # (1, d/2)
    pe = np.zeros((max_len, d))
    pe[:, 0::2] = np.sin(pos * omega)                  # 偶数维:sin
    pe[:, 1::2] = np.cos(pos * omega)                  # 奇数维:cos
    return pe, omega[0]

pe, omega = sinusoidal_pe(1024, 64)
print("PE shape:", pe.shape, "omega[:3]:", np.round(omega[:3], 4),
      "omega[-1]:", f"{omega[-1]:.2e}")
print(np.round(pe[:3, :6], 4))

ks = np.array([0, 1, 2, 5, 10, 20, 50, 100, 200, 500])
def rel_dot(p):
    return np.array([pe[p] @ pe[p + k] for k in ks])

s0, s10 = rel_dot(0), rel_dot(10)
print("p=0 :", np.round(s0, 4))
print("p=10:", np.round(s10, 4))
print("max |diff|:", f"{np.abs(s0 - s10).max():.2e}")
print("theory  :", np.round(np.cos(ks[:, None] * omega[None, :]).sum(1), 4))
print("norm    :", np.round(s0 / s0[0], 4))
PE shape: (1024, 64) omega[:3]: [1.     0.7499 0.5623] omega[-1]: 1.33e-04
[[ 0.      1.      0.      1.      0.      1.    ]
 [ 0.8415  0.5403  0.6816  0.7318  0.5332  0.846 ]
 [ 0.9093 -0.4161  0.9975  0.0709  0.9021  0.4315]]
p=0 : [32.     30.9168 28.3039 23.504  21.0516 18.8791 15.6738 17.8747 11.435
  6.4182]
p=10: [32.     30.9168 28.3039 23.504  21.0516 18.8791 15.6738 17.8747 11.435
  6.4182]
max |diff|: 3.64e-14
theory  : [32.     30.9168 28.3039 23.504  21.0516 18.8791 15.6738 17.8747 11.435
  6.4182]
norm    : [1.     0.9662 0.8845 0.7345 0.6579 0.59   0.4898 0.5586 0.3573 0.2006]

代码做三件事:按公式构造编码;对两个相差 10 的起始位置分别计算同一组位移的内积;用闭式公式复核。输出中 p=0 与 p=10 的十个数完全相同,最大差为 ,等于浮点舍入误差,验证了内积只依赖位移。theory 行与实测行逐项相等,验证了 的推导。norm 行是除以零位移内积后的归一化值,随位移从 1 降到 0.20,但并非单调:位移 50 时为 0.4898,位移 100 时反而升到 0.5586,原因是不同频率的余弦项相位不同,和式会振荡。因此不能把该点积当作单调距离核使用。

omega[:3] 为 ,对应波长 、、;最后一项 对应波长约 ,说明低频维度在 1024 长度内几乎不变化。pe[:3,:6] 的前两列是 与 ,位置 0 恒为 ;后四列对应略低的频率,随位置变化稍慢。

例 2:位移旋转矩阵的数值验证

对第 5 节的 取 ,在两个频率上验证任意起始位置的平移都等于同一个旋转,并给出 的具体数值。

import numpy as np

d, k = 64, 3
omega = 10000.0 ** (-np.arange(0, d, 2) / d)

def shift_matrix(k, w):
    return np.array([[np.cos(k * w), np.sin(k * w)],
                     [-np.sin(k * w), np.cos(k * w)]])

for i in (0, 5):
    w = omega[i]
    R = shift_matrix(k, w)
    v = np.array([np.sin(7 * w), np.cos(7 * w)])
    print(f"i={i} w={w:.4f}")
    print(" R @ v      =", np.round(R @ v, 6))
    print(" [sin(10w), cos(10w)] =", np.round([np.sin(10 * w), np.cos(10 * w)], 6))

err = 0.0
for i in (0, 5):
    w = omega[i]
    R = shift_matrix(k, w)
    for p in range(100):
        v = np.array([np.sin(p * w), np.cos(p * w)])
        target = np.array([np.sin((p + k) * w), np.cos((p + k) * w)])
        err = max(err, np.abs(R @ v - target).max())
print("max error over p=0..99:", f"{err:.2e}")
i=0 w=1.0000
 R @ v      = [-0.544021 -0.839072]
 [sin(10w), cos(10w)] = [-0.544021 -0.839072]
i=5 w=0.2371
 R @ v      = [ 0.696292 -0.717758]
 [sin(10w), cos(10w)] = [ 0.696292 -0.717758]
max error over p=0..99: 3.22e-15

矩阵 只由位移 与频率 决定,不含 。代码对 逐一验证 ,最大误差 ,说明该线性关系在数值上精确成立。若把 换成任意正交矩阵,例如交换两维的矩阵,和角公式不再成立,误差会立刻增大到量级 1;若去掉 分量只保留 ,则无法用二维线性变换表示平移。这两个对照说明 sin/cos 成对出现与旋转矩阵的构造是必要条件,而不是实现细节。

例 3:PyTorch 实现 RoPE 并验证相对位置不变性

以下代码在 PyTorch 2.0 及以上运行。本机未安装 PyTorch,数值已用同式 NumPy 实现在 float64 下核对;PyTorch 默认 float32 下末位可能存在 量级差异。

import torch

def rope_cache(seq_len, dim, base=10000.0):
    idx = torch.arange(0, dim, 2).float()          # (d/2,)
    theta = base ** (-idx / dim)                   # (d/2,)
    pos = torch.arange(seq_len).float()            # (T,)
    angles = torch.outer(pos, theta)               # (T, d/2)
    return angles.cos(), angles.sin(), theta       # 各 (T, d/2)

def rotate_half(x):
    # 相邻配对 (x[2i], x[2i+1]) -> (-x[2i+1], x[2i])
    x1, x2 = x[..., 0::2], x[..., 1::2]
    return torch.stack((-x2, x1), dim=-1).flatten(-2)

def apply_rope(x, cos, sin):
    # x: (..., T, d);cos/sin: (T, d/2),沿最后一维复制成 (T, d)
    cos = cos.repeat_interleave(2, dim=-1)
    sin = sin.repeat_interleave(2, dim=-1)
    return x * cos + rotate_half(x) * sin

d = 8
q = torch.arange(1.0, d + 1)                       # 确定性输入,便于核对
k = torch.arange(0.5, d + 0.5)
cos, sin, theta = rope_cache(16, d)
print("theta:", theta)

def score(m, n):
    qm = apply_rope(q, cos[m], sin[m])
    kn = apply_rope(k, cos[n], sin[n])
    return torch.dot(qm, kn)

s53, s20 = score(5, 3), score(2, 0)
print(f"score(5,3) = {s53:.4f}")
print(f"score(2,0) = {s20:.4f}")
print(f"allclose   = {torch.allclose(s53, s20, atol=1e-5)}")
print(f"score(5,1) = {score(5, 1):.4f}")
print(f"score(5,4) = {score(5, 4):.4f}")

# 与显式块对角旋转矩阵对照
R = torch.zeros(d, d)
c, s = (5 * theta).cos(), (5 * theta).sin()
R[0::2, 0::2] = torch.diag(c)
R[0::2, 1::2] = torch.diag(-s)
R[1::2, 0::2] = torch.diag(s)
R[1::2, 1::2] = torch.diag(c)
print("matrix match =", torch.allclose(R @ q, apply_rope(q, cos[5], sin[5])))

# 批量形状:(B, h, T, d_k) 与 (T, d_k/2) 广播
Q = torch.randn(2, 4, 6, d)
print("batched:", apply_rope(Q, cos[:6], sin[:6]).shape)
theta: tensor([1.0000, 0.1000, 0.0100, 0.0010])
score(5,3) = 181.1686
score(2,0) = 181.1686
allclose   = True
score(5,1) = 178.3081
score(5,4) = 184.7570
matrix match = True
batched: torch.Size([2, 4, 6, 8])

前三行验证目标性质:位置 5 与位置 3 的分数等于位置 2 与位置 0 的分数,因为两组相对位移都是 2;allclose 为真。紧接着两行说明分数并非与位置无关:相对位移 4 与 给出不同分数,位置信息确实进入了内积。matrix match 用显式构造的块对角矩阵复核 apply_rope 的逐元素旋转,二者一致。批量行说明 表形状为 ,对 的查询张量按最后两维广播,无需为每个头复制表。

去掉 rotate_half 直接写成 x * cos,旋转退化为逐维缩放, 不再等于 ,位置 5 与 3 的分数不再等于位置 2 与 0。把 repeat_interleave 换成 repeat(前后半复制),角度与维度错配,同样破坏相对性质。把位置 5 的 cos[5] 误写成 cos[4],分数会改变,说明位置索引必须与 token 的真实位置一致。

易错点

以下六条均可在代码或推导中直接检验。

1. 把位置编码与 token 嵌入拼接而不是相加:输入维度变为 ,后续 等的形状不匹配;原论文与主流实现均为逐元素相加,位置编码维度等于 。

2. 认为正弦编码的注意力分数严格只依赖相对位置: 只对位置编码向量本身成立,实际分数还含 token 内容与投影矩阵,不能把该式直接当作训练后模型的注意力规律。

3. RoPE 的 布局与 rotate_half 配对方式混用:相邻配对需要 repeat_interleave 与交替取半,前后半配对需要 repeat 与前后切分;混用不报形状错误,但每一维乘到的角度错误,相对性质失效。

4. KV Cache 解码时位置从 0 重新计数:已缓存的键在写入时已按绝对位置旋转,新 token 必须使用 past_length 作为位置,否则每个新 token 都按位置 0 旋转,注意力退化为内容匹配。

5. 把 RoPE 当作可无损外推的方案:旋转对任意位置有定义,不代表分数分布在训练范围外不变;不调频或不插值时,低频维度相位越界,困惑度随长度上升。

6. 在 ALiBi 中把偏置加在 softmax 之后或乘到权重上:偏置必须在 softmax 之前加到 logits,且是位移的加性线性函数;softmax 后置零会破坏行归一化,乘性缩放则改变分布形状而非引入距离先验。

关联笔记

  • 前置 注意力机制与QKV:第 1 节的置换等变证明以缩放点积注意力的打分为起点,该篇给出 与 的完整推导。
  • 前置 因果注意力与多头注意力:因果掩码只提供前缀可见性,不提供相对位移;多头结构决定 RoPE 的 按每个头的 计算。
  • 后续 Transformer架构详解:位置编码是输入嵌入之后的固定步骤,该篇给出正弦编码与 token 嵌入相加的形状与缩放细节。
  • 后续 Llama-2架构复盘:Llama 2 使用 RoPE 与分组查询注意力,该篇复盘频率、头维度与上下文长度的配置。
  • 延伸 超长上下文-无限注意力:上下文扩展的另一条路线是压缩记忆与线性注意力,与 RoPE 的频率调整形成对照。

达标检测

  • [ ] 写出置换矩阵 下 的推导,说明 softmax 的按行归一化为何保持该等式,并证明均值池化后的输出完全不变。
  • [ ] 写出正弦编码公式,说明 的等比性质与波长范围,并解释为什么同时需要 sin 与 cos。
  • [ ] 推导 的四个元素,证明 不依赖 。
  • [ ] 用复数形式推导 ,并说明实部出现的原因。
  • [ ] 运行例 3 的 PyTorch 代码,报告位置 与 的分数差,并解释相对位移 4 的分数为何不同。
  • [ ] 指出 RoPE 实现中配对方式混用与 KV Cache 位置重置各自导致的数值后果,并给出修正方法。
  • [ ] 对比位置插值、NTK-aware 缩放与 ALiBi 的外推机制,说明各自改变了哪个量。

参考来源

  • Vaswani et al., "Attention Is All You Need", arXiv:1706.03762 —— 对应本篇第 3 节正弦编码公式、第 5 节相对位移的三角恒等式与第 2 节绝对/相对编码的区分。
  • Su et al., "RoFormer: Enhanced Transformer with Rotary Position Embedding", arXiv:2104.09864 —— 对应本篇第 7 至 9 节 RoPE 的旋转构造、相对位置性质、复数形式与长程衰减讨论。
  • Touvron et al., "Llama 2: Open Foundation and Fine-Tuned Chat Models", arXiv:2307.09288 —— 对应第 9 节 RoPE 在 Llama 系列中的使用与第 10 节 4096 训练长度、长上下文外推的工程背景。
  • d2l.ai《动手学深度学习》"注意力机制与 Transformer" 一章 —— 对应第 3 节正弦编码的 NumPy 实现与第 10 节位置编码的对比。
  • Stanford CS224n 关于 Transformer 与位置表示的讲义 —— 对应第 1 节置换等变性与第 2 节绝对/相对编码的概念区分。