---
tags: [AI, LLM, 长上下文, 线性注意力]
阶段: 05-Transformer与LLM原理
难度: ★★★
created: 2026-10-18
related: "[[注意力机制与QKV]], [[KV缓存]], [[位置编码-正弦与RoPE]]"
---

# 超长上下文-无限注意力

## 定义

**长上下文建模**（long-context modeling）指使模型在单次前向中处理长度 $T$ 远大于训练长度的序列，并让任意位置的信息可以被其后位置访问的一类方法；其共同约束是把标准注意力的 $O(T^{2})$ 时间与 $O(T)$ 缓存代价降低，同时把跨段信息保存在与 $T$ 无关的状态中。

本篇符号约定如下。

| 符号 | 含义 |
|---|---|
| $T$ | 序列长度，token 索引 $0,\dots,T-1$ |
| $d$ | 模型维度 |
| $H$ | 查询头数 |
| $d_h$ | 每个头的维度，满足 $H d_h=d$ |
| $d_k,d_v$ | 每个头的键维度与值维度，通常取 $d_k=d_v=d_h$ |
| $L$ | Transformer 层数 |
| $H_{kv}$ | 键值头数（分组查询注意力下 $H_{kv}\le H$） |
| $w$ | 滑动窗口宽度，含当前位置 |
| $g$ | 空洞窗口的采样间隔 |
| $B$ | 块稀疏中的块大小 |
| $L_{\text{seg}}$ | 分段长度，$T=nL_{\text{seg}}$，$n$ 为段数 |
| $\phi(\cdot)$ | 特征映射 $\mathbb{R}^{d_k}\to\mathbb{R}^{m}$，$m$ 为状态维度 |
| $\mathbf{S}\in\mathbb{R}^{d_k\times d_v}$ | 压缩记忆矩阵 |
| $\mathbf{z}\in\mathbb{R}^{d_k}$ | 记忆的归一化累加向量 |
| $\beta$ | 门控标量，每个头独立 |
| $\sigma$ | logistic 函数 $\sigma(x)=1/(1+e^{-x})$ |
| $b$ | RoPE 的基频，常用 $10000$ |
| $\lambda_i$ | RoPE 第 $i$ 组的波长 |
| $s$ | 长度扩展倍数 $T_{\text{target}}/T_{\text{train}}$ |

术语定义：

- **稀疏注意力**（sparse attention）：限制每个查询可见的键集合，使打分矩阵只有部分元素被计算。
- **滑窗注意力**（sliding window attention）：每个查询只与相邻的 $w$ 个键交互。
- **块稀疏注意力**（block-sparse attention）：以 $B\times B$ 的块为单位选择计算区域，便于在加速器上映射为稠密矩阵乘。
- **线性注意力**（linear attention）：用核函数 $\phi(\mathbf{q})^{\top}\phi(\mathbf{k})$ 替代 softmax 打分，使求和可以结合为固定大小的状态。
- **压缩记忆**（compressive memory）：把历史段的键值对累加进一个 $d_k\times d_v$ 的矩阵，读取时用当前查询与该矩阵相乘。
- **位置外推**（length extrapolation）：在短序列上训练、在更长序列上推理，通过修改位置编码使位置表示在训练范围外仍然有效。
- **检索增强**（retrieval augmentation）：把历史放在模型外部，按需取回少量片段拼接进上下文。
- **门控融合**（gated fusion）：用可学习的标量权重把局部注意力的输出与压缩记忆的输出相加。
- **中间信息丢失**（lost in the middle）：相关信息位于上下文中部时，模型利用率显著低于位于首尾时的现象。
- **注意力稀释**（attention dilution）：softmax 权重在 $T$ 个位置上归一化，长度增加后单个位置分到的权重下降，导致单个位置对输出的贡献被摊薄的现象。

## 为什么重要

自注意力的计算量随序列长度平方增长。一层之内，打分 $\mathbf{Q}\mathbf{K}^{\top}$ 需要 $2T^{2}d_k$ 次浮点运算，加权求和 $\mathbf{A}\mathbf{V}$ 需要 $2T^{2}d_v$，合计约 $4T^{2}d$。若把打分矩阵实体化，显存需求为 $HT^{2}b$ 字节。取 $T=131072$、$H=32$、bf16，单个注意力矩阵需要 $32\times131072^{2}\times2\approx1.1$ TB，远超任何单卡容量；同期单层浮点运算量为 $4T^{2}d$，在 $d=8192$ 时约 $5.6\times10^{14}$ 次。长度翻倍，这两项都变成 4 倍。

推理阶段还有一条线性增长的开销：KV Cache 需要为每个已生成的 token 保存键与值，总量为 $2LH_{kv}d_hTb$。Llama-2 7B 在 $T=4096$ 时约 2 GiB，$T=131072$ 时约 64 GiB，单条序列就会占满一张加速卡。

需求来自三类场景：长文档（合同、论文、日志）需要跨章节引用；多轮对话需要保持早期的约束；代码库与智能体轨迹需要在上百个文件的上下文中定位定义。这些任务的共同点是相关信息分散在序列中，而不是集中在开头或结尾。

没有长上下文能力时只有三种替代：截断输入，直接丢失信息；用检索把片段拼进短上下文，但检索本身可能漏掉证据；把任务拆成多步，用外部存储串联，增加系统复杂度与误差累积。长上下文方法试图在模型内部解决这一问题。

在本库中的位置如下。[[注意力机制与QKV]] 给出 $4T^{2}d$ 的来源与缩放点积的形式，本篇讨论如何绕开这一项。[[KV缓存]] 给出缓存公式与解码阶段的内存增长，本篇的压缩记忆正是对缓存的替换。[[位置编码-正弦与RoPE]] 讨论位置外推，本篇把它作为长上下文的一条独立路线。[[专家混合MoE]] 用显存换计算，本篇用记忆换计算，二者都是"不按稠密方式等比放大"的扩展策略。对应学习目标中的"懂原理"与"会评估"：能写出各路线的时间与状态复杂度，能实现线性注意力的递推形式，能判断给定长度下哪种方案可行。

## 原理与推导

### 1 二次复杂度的来源

对单层、单头，设 $\mathbf{Q},\mathbf{K}\in\mathbb{R}^{T\times d_k}$，$\mathbf{V}\in\mathbb{R}^{T\times d_v}$。注意力为

$$
\mathbf{A}=\mathrm{softmax}\!\left(\frac{\mathbf{Q}\mathbf{K}^{\top}}{\sqrt{d_k}}\right)\in\mathbb{R}^{T\times T},
\qquad
\mathbf{O}=\mathbf{A}\mathbf{V}\in\mathbb{R}^{T\times d_v}.
$$

第一式需要 $T^{2}d_k$ 次乘加，第二式需要 $T^{2}d_v$ 次乘加，合计 $T^{2}(d_k+d_v)$ 次乘加即 $2T^{2}(d_k+d_v)$ 次浮点运算。对所有头求和时 $\sum_h(d_k+d_v)=2d$，于是每层约 $4T^{2}d$ 次浮点运算。

显存上，$\mathbf{A}$ 的元素数为 $T^{2}$，全部头为 $HT^{2}$ 个元素。FlashAttention 一类的精确注意力通过分块计算与重计算避免实体化该矩阵，把显存降到 $O(T)$，但分块不改变点积的次数，浮点运算量仍是 $O(T^{2})$。因此"省显存"与"省计算"是两件不同的事。

能否把 $T^{2}$ 降到 $T$，取决于是否允许近似。若要求每个查询精确访问任意历史位置，且不允许压缩历史，则每层必须完成 $T^{2}$ 次位置对之间的打分，没有 $O(T)$ 的精确算法。所有降复杂度的方法都放弃了其中一项：

1. 限制可见范围（稀疏注意力），把打分次数降到 $O(Tw)$。
2. 压缩历史（线性注意力、压缩记忆），把 $T$ 个键值压成固定大小的状态。
3. 把历史移出模型（检索增强），只在上下文中保留少量片段。

### 2 扩展路线的分类

```mermaid
flowchart TD
    A["标准注意力 O(T^2)"] --> B["限制可见范围"]
    A --> C["压缩历史状态"]
    A --> D["历史移出模型"]
    A --> E["调整位置表示"]
    B --> B1["滑窗 / 块稀疏 / 全局 token"]
    C --> C1["线性注意力 O(T)"]
    C --> C2["压缩记忆 + 分段注意力"]
    D --> D1["向量检索 + 重排"]
    E --> E1["位置插值 / NTK / YaRN"]
```

| 路线 | 每层时间 | 状态大小 | 信息保真 | 代表做法 |
|---|---|---|---|---|
| 全注意力 | $O(T^{2}d)$ | $O(Td)$ KV Cache | 精确 | 标准 Transformer |
| 滑窗 | $O(Twd)$ | $O(Td)$ | 局部精确、远距需多层传播 | Longformer、块稀疏 |
| 线性注意力 | $O(Tdd_h)$ | $O(dd_h)$ | 有损，历史叠加 | 核函数替代 softmax |
| 压缩记忆 | $O(TL_{\text{seg}}d+Tdd_h)$ | $O(dd_h+L_{\text{seg}}d)$ | 段内精确、跨段有损 | Infini-attention |
| 检索增强 | $O(Td+kd)$ | 外部索引 | 取决于检索质量 | RAG |

四条路线可以叠加：位置外推改变的是位置表示，与前三者在实现上互不影响；压缩记忆的段内仍然是精确的全注意力。

### 3 稀疏注意力

滑窗注意力把可见范围限制在最近的 $w$ 个位置：

$$
o_i=\sum_{j=\max(0,i-w+1)}^{i}\frac{\exp(\mathbf{q}_i^{\top}\mathbf{k}_j/\sqrt{d_k})}{\sum_{j'=\max(0,i-w+1)}^{i}\exp(\mathbf{q}_i^{\top}\mathbf{k}_{j'}/\sqrt{d_k})}\mathbf{v}_j .
$$

每个查询的打分次数由 $T$ 降为 $w$，每层运算量为 $4Twd$。代价是单层只能看到 $w$ 步以内：位置 $i$ 要访问 $i-Lw$ 之前的信息，需要经过 $L$ 层逐层传递，有效感受野为 $L\cdot w$。这是滑窗的网络深度依赖：层数不足时远距离信息无法到达。

Longformer 在此基础上做两点扩展。其一是把窗口分到两侧（每侧 $w/2$，连同自身共 $w+1$ 个位置），使中心位置能看到前后文；其二是引入空洞窗口，按固定间隔 $g$ 采样 $w$ 个位置，使单层感受野扩大到 $g\cdot w$。此外它对任务相关的少量位置（如分类 token、问题 token）施加全局注意力，让这些位置与所有位置互见。复杂度为 $O(Tw)$。

BigBird 组合三种连接：局部窗口、随机连接、全局 token。随机连接使任意两个位置之间存在短路径，无需依赖层数逐级传递即可在少量层内连通，复杂度为 $O(T)$。

块稀疏注意力以 $B\times B$ 的块为最小计算单位，只对块对角与少量指定块做矩阵乘。这样做的好处是块内仍是稠密矩阵乘，可以直接映射到 GPU 的矩阵单元；坏处是粒度变粗，块边界处需要重叠。若块大小 $B$、每行保留 $c$ 个块，复杂度为 $O(TBc)$。

### 4 线性注意力

把 softmax 分母中的指数项写成核函数：

$$
\exp\!\left(\frac{\mathbf{q}^{\top}\mathbf{k}}{\sqrt{d_k}}\right)\;\longrightarrow\;\phi(\mathbf{q})^{\top}\phi(\mathbf{k}),
\qquad \phi:\mathbb{R}^{d_k}\to\mathbb{R}^{m}.
$$

代入因果注意力的定义，第 $t$ 个位置的输出为

$$
\mathbf{o}_t=\frac{\sum_{s\le t}\phi(\mathbf{q}_t)^{\top}\phi(\mathbf{k}_s)\,\mathbf{v}_s^{\top}}{\sum_{s\le t}\phi(\mathbf{q}_t)^{\top}\phi(\mathbf{k}_s)}
=\frac{\phi(\mathbf{q}_t)^{\top}\left(\sum_{s\le t}\phi(\mathbf{k}_s)\mathbf{v}_s^{\top}\right)}{\phi(\mathbf{q}_t)^{\top}\left(\sum_{s\le t}\phi(\mathbf{k}_s)\right)} .
$$

分子中的求和与 $t$ 无关，可以定义为状态：

$$
\mathbf{S}_t=\sum_{s\le t}\phi(\mathbf{k}_s)\mathbf{v}_s^{\top}\in\mathbb{R}^{m\times d_v},
\qquad
\mathbf{z}_t=\sum_{s\le t}\phi(\mathbf{k}_s)\in\mathbb{R}^{m},
$$

于是得到等价的递推形式：

$$
\mathbf{S}_t=\mathbf{S}_{t-1}+\phi(\mathbf{k}_t)\mathbf{v}_t^{\top},
\qquad
\mathbf{z}_t=\mathbf{z}_{t-1}+\phi(\mathbf{k}_t),
\qquad
\mathbf{o}_t=\frac{\mathbf{S}_t^{\top}\phi(\mathbf{q}_t)}{\mathbf{z}_t^{\top}\phi(\mathbf{q}_t)} .
$$

关键在于矩阵乘的结合顺序。原式先算 $\mathbf{Q}\mathbf{K}^{\top}\in\mathbb{R}^{T\times T}$ 再乘 $\mathbf{V}$，代价 $O(T^{2}d)$；新式先算 $\phi(\mathbf{K})^{\top}\mathbf{V}\in\mathbb{R}^{m\times d_v}$ 再乘 $\phi(\mathbf{q}_t)$，单头单 token 的代价为 $O(md_v)$。取 $m=d_h$，单头全序列为 $O(Td_h^{2})$，全部头为 $O(Tdd_h)$；状态每头 $O(d_h^{2})$、全部头 $O(dd_h)$，与 $T$ 无关。

$m=T$ 时线性形式不再省算力，$T$ 远大于 $d_h$ 时才有优势：两者的比值为 $T/d_h$。这也说明线性注意力的收益随序列变长而增大，短序列上反而增加常数开销。

训练时可以不用逐 token 递推。对 $\mathbf{S}$ 沿时间做前缀和即可并行计算：

$$
\mathbf{S}_t=\mathrm{cumsum}_{s\le t}\left(\phi(\mathbf{k}_s)\mathbf{v}_s^{\top}\right),
$$

其代价为 $O(Tmd_v)$，与递推相同，但可以批量并行。递推形式在推理时更有价值：每生成一个 token 只需更新一次状态，不需要保存历史键值。

特征映射的常见选择是 $\phi(\mathbf{x})=\mathrm{elu}(\mathbf{x})+1$，它保证每个分量非负，从而分母 $\mathbf{z}_t^{\top}\phi(\mathbf{q}_t)>0$，不会出现除零或符号翻转。代价是状态只能表达 $m$ 维的线性叠加：若历史中有许多相似但需要区分的键，它们会叠加在同一个状态分量上，读出的值成为加权混合。这是线性注意力无法等价于 softmax 注意力的根本原因，不是实现误差。用随机数据实测，两种注意力输出的平均绝对差为 0.1086，说明它们是不同的函数。

### 5 Infini-attention

Infini-attention 把序列分成 $n$ 个长度 $L_{\text{seg}}$ 的段，在每个段内做精确的因果注意力，段间通过压缩记忆传递信息。设第 $n$ 段的查询与键为 $\mathbf{Q}_n,\mathbf{K}_n\in\mathbb{R}^{L_{\text{seg}}\times d_k}$，值为 $\mathbf{V}_n\in\mathbb{R}^{L_{\text{seg}}\times d_v}$。

段内局部注意力为

$$
\mathbf{A}_{\text{local}}=\mathrm{softmax}\!\left(\frac{\mathbf{Q}_n\mathbf{K}_n^{\top}}{\sqrt{d_k}}+\mathbf{M}\right)\mathbf{V}_n,
$$

其中 $\mathbf{M}$ 为段内因果掩码，上三角为 $-\infty$。

跨段读取使用上一段结束时的记忆：

$$
\mathbf{A}_{\text{mem}}=\frac{\phi(\mathbf{Q}_n)\,\mathbf{S}_{n-1}}{\phi(\mathbf{Q}_n)\,\mathbf{z}_{n-1}},
$$

其中分子形状为 $L_{\text{seg}}\times d_v$，分母形状为 $L_{\text{seg}}\times1$，按行广播。$\mathbf{S}_{n-1}$ 只包含前 $n-1$ 段的内容，因此因果性成立：第 $n$ 段的输出不依赖同段之后的 token。

写入发生在读取之后：

$$
\mathbf{S}_n=\mathbf{S}_{n-1}+\phi(\mathbf{K}_n)^{\top}\mathbf{V}_n,
\qquad
\mathbf{z}_n=\mathbf{z}_{n-1}+\sum_{t=1}^{L_{\text{seg}}}\phi(\mathbf{k}_{n,t}) .
$$

融合由每头一个可学习标量 $\beta$ 控制：

$$
\mathbf{O}_n=\sigma(\beta)\odot\mathbf{A}_{\text{mem}}+\left(1-\sigma(\beta)\right)\odot\mathbf{A}_{\text{local}} .
$$

$\beta\to+\infty$ 时输出完全来自压缩记忆，$\beta\to-\infty$ 时完全来自段内注意力。$\beta$ 初始化为 0 时两侧权重各为 0.5，训练中由梯度决定偏向。由于两侧输出维度相同，融合是逐元素的凸组合，不引入额外参数。

复杂度方面，段内注意力为每段 $O(L_{\text{seg}}^{2}d)$，记忆的读取与写入各为每段 $O(L_{\text{seg}}dd_h)$，每段合计 $O(L_{\text{seg}}^{2}d+L_{\text{seg}}dd_h)$。对 $n=T/L_{\text{seg}}$ 段求和得

$$
O\!\left(TL_{\text{seg}}d+Tdd_h\right),
$$

当 $L_{\text{seg}}$ 固定时对 $T$ 线性。每个头的状态为 $\mathbf{S}$ 与 $\mathbf{z}$，共 $d_kd_v+d_k$ 个浮点数，全部头为 $H(d_kd_v+d_k)$，与 $T$ 无关。

以 32 层、32 头、$d_k=d_v=128$、bf16 计算，单层单头的记忆为 $128\times128\times2=32$ KiB，全部层与头合计 $32\times32\times32\,\text{KiB}=32$ MiB。同规模的 KV Cache 在 $T=4096$ 时为 2 GiB，在 $T=131072$ 时为 64 GiB。记忆方案的优势不是常数更小，而是不随 $T$ 增长。原论文报告该结构在百万 token 级的 passkey 检索上仍能取回目标值，说明固定大小状态在实践中可以保留可检索的稀疏信息。

推理时只需为当前段保留 KV Cache，段结束后其内容已累加进记忆，可以丢弃。训练时按段顺序前向，记忆在段之间传递；是否跨段回传梯度由实现决定，截断跨段梯度可以显著降低激活值占用，代价是长程依赖的学习信号变弱。

该结构仍有两处有损。其一是压缩：$L_{\text{seg}}$ 个键值对被累加进 $d_kd_v$ 的状态，段数增多后新旧信息在同一状态中叠加，早期内容被后续写入稀释。其二是归一化：$\mathbf{z}$ 随写入单调增长，若某些键的 $\phi(\mathbf{k})$ 分量很大，读取时这些维度会主导分母。常见的改进是在写入时引入衰减或差值更新：先减去状态对当前键的现有预测，再累加新值的残差，以降低重复写入造成的饱和。

### 6 位置外推

位置外推与上述结构正交：它不改变注意力的复杂度，只改变位置表示在训练范围外的行为。RoPE 把查询与键按位置旋转，第 $i$ 组二维子空间的角频率为

$$
\theta_i=b^{-2i/d},
\qquad
\lambda_i=\frac{2\pi}{\theta_i}=2\pi b^{2i/d},
$$

其中 $i=0,\dots,d/2-1$。波长从约 $2\pi$ 覆盖到约 $2\pi b$，取 $b=10000$ 时上限约 $6.3\times10^{4}$。训练长度为 $T_{\text{train}}$ 时，只有波长小于 $T_{\text{train}}$ 的维度经历完整周期；其余维度的相位在训练中只覆盖一小段，模型没有见过它们在更大位置上的取值。

**位置插值**（position interpolation，PI）把推理位置线性压缩回训练范围：

$$
m'=m\cdot\frac{T_{\text{train}}}{T_{\text{target}}}=\frac{m}{s},
$$

再按 $m'$ 计算旋转。这样所有位置都落在训练分布内，但相邻位置的相位差被压缩 $s$ 倍，位置分辨率下降，局部顺序信息受损；通常需要少量微调恢复。

**NTK 感知缩放**不改变位置索引，而是放大基频：

$$
b'=b\cdot s^{\frac{d}{d-2}} .
$$

由于 $\theta_i=b'^{-2i/d}$，高频维度（$i$ 小）的波长变化小、近似保持外推，低频维度（$i$ 大）的波长被拉长、近似插值。这一做法让不同频率的维度分别处理，避免了 PI 对所有维度同等压缩的问题，通常无需微调即可用。

YaRN 在此之上按波长分三段处理：波长小于训练长度的维度保持原样（外推），波长大于目标长度的维度按 $1/s$ 插值，介于两者之间的维度按比例平滑过渡。此外它对注意力 logits 施加一个随扩展倍数缓慢变化的温度系数，补偿上下文变长后注意力分布的熵下降。该系数改变了 softmax 的锐度，与位置编码本身无关。

| 方法 | 改动对象 | 是否需微调 | 主要代价 |
|---|---|---|---|
| PI | 位置索引 $m\to m/s$ | 通常需要 | 位置分辨率下降，局部任务退化 |
| NTK 感知 | 基频 $b\to b\cdot s^{d/(d-2)}$ | 通常不需要 | 频率分配依赖经验指数 |
| YaRN | 按波长分段缩放 + logits 温度 | 少量或不需要 | 超参数多，温度系数需调 |

需要注意，位置外推只解决"位置表示与长度不匹配"，不解决 $O(T^{2})$ 的计算与显存。一个把上下文从 4k 外推到 128k 的模型，仍然要支付 128k 长度的全注意力代价。

### 7 显存与计算的收益核算

下表按 $H=32$、$d_k=d_v=128$、bf16 计算注意力矩阵与线性状态的大小，由本篇代码输出。

| $T$ | 打分矩阵（若实体化，单层） | 线性状态（32 头，单层） | 比值 |
|---|---|---|---|
| 1024 | 64.00 MiB | 1.01 MiB | 64 |
| 4096 | 1.00 GiB | 1.01 MiB | 1016 |
| 16384 | 16.00 GiB | 1.01 MiB | 16257 |
| 65536 | 256.00 GiB | 1.01 MiB | 260112 |

比值列说明收益随长度超线性增长：长度翻倍，全注意力一侧按 4 倍增长，状态一侧不变。但这一比较只覆盖注意力矩阵，不含激活值与参数；实际部署中显存的大头往往仍是参数与 KV Cache。

计算侧的收益没有这么显著。全注意力每层 $4T^{2}d$；线性注意力每头每 token 的写入与读取各需 $2d_h^{2}$ 次浮点运算，全部头合计 $4Tdd_h$。两者比值为 $T/d_h$：$d_h=128$、$T=4096$ 时比值为 32，$T=131072$ 时为 1024。相对全注意力，线性注意力在 $T$ 小于 $d_h$ 的短序列上反而更贵，其价值体现在长序列与不随长度增长的状态。

还有一项常数开销容易被忽略。线性注意力的状态更新与读取都是矩阵向量乘，算术强度低，属于受显存带宽限制的操作；全注意力的大矩阵乘算术强度高，更容易打满算力。因此理论 FLOPs 的比值不等于实际延迟的比值，状态维度 $m$ 大于单头维度 $d_h$ 的实现在短序列上可能明显变慢。

### 8 长上下文的失效模式

长度增加不保证信息被利用。已报告的失效有三类。

第一类是中间信息丢失。把相关信息放在上下文的不同位置，模型在信息位于开头或结尾时准确率最高，位于中部时显著下降，曲线呈 U 形。这一现象在多个模型的长文档问答中稳定出现，且不随模型规模消失；已提出的解释包括训练数据中需要跨长距离引用的样本比例偏低、以及位置偏置使模型更依赖首尾，具体成因尚无定论。

第二类是注意力稀释。softmax 在 $T$ 个位置上归一化，每个位置分到的权重随 $T$ 增大而下降。用随机打分实测每行最大权重的平均值：

| $T$ | 64 | 256 | 1024 | 4096 |
|---|---|---|---|---|
| 平均最大权重 | 0.1115 | 0.0425 | 0.0163 | 0.0060 |

权重按 $1/T$ 量级衰减，意味着单个位置对输出的贡献被摊薄，信噪比下降。真实模型的注意力分布比随机打分更集中，但趋势相同：可区分的位置越多，单个位置的影响越小。

第三类是位置外推的性能断崖。模型在训练长度内表现平滑，超过训练长度后困惑度突然上升，随后才缓慢恶化。断崖的位置与位置编码的波长覆盖范围相关，也是位置插值与 NTK 缩放要解决的问题。

此外还有两类工程性失效：干扰项（与问题相似但无关的段落）会抢占注意力权重；多跳问题需要在多个位置之间做比较，单次前向中的注意力难以完成跨位置的运算。

### 9 评估方法

单针检索（needle-in-a-haystack）是最常用的基线：在长文本中插入一个事实，要求模型在结尾复述。评估时要把针放在不同相对位置（0%、25%、50%、75%、100%），并扫描多个总长度，得到"长度×位置"的准确率矩阵。它能暴露中间信息丢失，但饱和很快：多数模型在训练长度内接近满分，区分度低。

更严格的设计包括：多针（同时检索多个事实，检查是否全部取回）、改序（交换针与问题的顺序）、干扰针（插入相似但错误的陈述）、以及要求在多个事实之间做聚合或比较。这类任务无法靠关键词匹配完成。

长文问答使用需要跨段证据的数据集：答案的证据分散在两处以上，单段检索不足以回答。评估指标除准确率外，还应记录模型实际引用的位置，以区分"答对但依据错误"与"答对且依据正确"。

困惑度-长度曲线用于检测外推质量：在多个长度上计算滑动窗口困惑度，观察是否出现断崖。该指标不需要标注，适合快速筛查，但对下游任务的表现不敏感。

工程指标同样重要：每 1k token 的延迟与显存、支持的最大长度、以及长度增加时的吞吐衰减。压缩记忆类方法的准确率可能只下降几个点，但显存从线性增长变为常数，这在部署上是决定性的差异。

## 关键直觉

> [!tip] 长上下文的各种方法可以统一看作"信息瓶颈放在哪里"的选择：全注意力把每个历史 token 的键值原样留在 $O(T)$ 的缓存中，按查询精确检索；稀疏注意力保留全部缓存，但限制每个查询能看到的范围；线性注意力与压缩记忆把历史压进固定大小的 $d_k\times d_v$ 状态，读取退化为一次矩阵乘；检索增强把记忆移出模型，只把少量片段送回上下文。四者的差别是保留多少、以什么形式保留、检索要付多少代价。严格定义中的记忆状态 $\mathbf{S}_n$ 就是这一瓶颈的实现：写入是外积累加，读取是矩阵乘，门控 $\sigma(\beta)$ 调节精确的局部信息与有损的压缩历史之间的比例。复杂度表与实测的注意力权重衰减，都是这一瓶颈在不同参数下的表现。

## 例子与代码

下面用 NumPy 实现滑窗注意力与线性注意力的递推形式，验证两者与全注意力的关系，并估算显存。NumPy 2.x，无需 GPU。

```python
# long_context.py  NumPy 2.x
import numpy as np

rng = np.random.default_rng(0)
T, d = 256, 32
Q = rng.normal(size=(T, d))
K = rng.normal(size=(T, d))
V = rng.normal(size=(T, d))


def softmax(x):
    x = x - x.max(axis=-1, keepdims=True)
    e = np.exp(x)
    return e / e.sum(axis=-1, keepdims=True)


def full_causal(Q, K, V):
    """全因果注意力。"""
    s = Q @ K.T / np.sqrt(Q.shape[1])
    mask = np.tril(np.ones((Q.shape[0], Q.shape[0]), dtype=bool))
    return softmax(np.where(mask, s, -np.inf)) @ V


def sliding(Q, K, V, w):
    """因果滑窗：位置 i 只聚合 [i-w+1, i]。"""
    out = np.zeros_like(V)
    for i in range(Q.shape[0]):
        lo = max(0, i - w + 1)
        out[i] = softmax(Q[i] @ K[lo:i + 1].T / np.sqrt(Q.shape[1])) @ V[lo:i + 1]
    return out


def phi(x):
    """特征映射 elu(x)+1，保证非负。"""
    return np.maximum(x, 0.0) + 1.0


def linear_rec(Q, K, V):
    """线性注意力的递推形式：状态 S (d_k, d_v) 与归一化向量 z (d_k)。"""
    dk, dv = Q.shape[1], V.shape[1]
    S = np.zeros((dk, dv))
    z = np.zeros(dk)
    out = np.zeros((Q.shape[0], dv))
    for t in range(Q.shape[0]):
        q, k, v = phi(Q[t]), phi(K[t]), V[t]
        S += np.outer(k, v)          # 写入：外积累加
        z += k                       # 归一化累加器
        out[t] = S.T @ q / (z @ q)   # 读取：一次矩阵乘法
    return out


def linear_par(Q, K, V):
    """并行（前缀和）形式，与递推形式数值等价。"""
    Qf, Kf = phi(Q), phi(K)
    S = np.cumsum(Kf[:, :, None] * V[:, None, :], axis=0)   # (T, d_k, d_v)
    z = np.cumsum(Kf, axis=0)                               # (T, d_k)
    num = np.einsum("td,tdv->tv", Qf, S)
    den = np.einsum("td,td->t", Qf, z)
    return num / den[:, None]


full = full_causal(Q, K, V)
w = 32
sw = sliding(Q, K, V, w)
print("滑窗与全注意力在 i<w 的行是否一致:", np.allclose(sw[:w - 1], full[:w - 1], atol=1e-12))
print("滑窗与全注意力的平均绝对差:", f"{np.abs(sw - full).mean():.4f}")
print("线性注意力递推与并行形式的最大绝对差:", f"{np.abs(linear_rec(Q, K, V) - linear_par(Q, K, V)).max():.2e}")
print("线性注意力与全注意力的平均绝对差:", f"{np.abs(linear_rec(Q, K, V) - full).mean():.4f}")

rng2 = np.random.default_rng(1)


def mean_max_weight(n, dim=64):
    """随机打分下每行最大注意力权重的平均值。"""
    q = rng2.normal(size=(n, dim))
    k = rng2.normal(size=(n, dim))
    return softmax(q @ k.T / np.sqrt(dim)).max(axis=1).mean()


for n in (64, 256, 1024, 4096):
    print(f"T={n:5d}  平均最大注意力权重={mean_max_weight(n):.4f}")


def human(b):
    for unit in ("B", "KiB", "MiB", "GiB", "TiB"):
        if b < 1024 or unit == "TiB":
            return f"{b:.2f} {unit}"
        b /= 1024


print("T       score 矩阵(32 头, bf16)   线性状态(32 头, 128x128, bf16)   比值")
for n in (1024, 4096, 16384, 65536):
    a = 32 * n * n * 2
    s = 32 * (128 * 128 + 128) * 2
    print(f"{n:6d}  {human(a):>22}  {human(s):>30}  {a / s:>10.0f}x")

kv = 2 * 32 * 32 * 128 * 4096 * 2
print("Llama-2 7B 在 T=4096 的 KV cache:", human(kv))
```

输出：

```text
滑窗与全注意力在 i<w 的行是否一致: True
滑窗与全注意力的平均绝对差: 0.1466
线性注意力递推与并行形式的最大绝对差: 1.11e-15
线性注意力与全注意力的平均绝对差: 0.1086
T=   64  平均最大注意力权重=0.1115
T=  256  平均最大注意力权重=0.0425
T= 1024  平均最大注意力权重=0.0163
T= 4096  平均最大注意力权重=0.0060
T       score 矩阵(32 头, bf16)   线性状态(32 头, 128x128, bf16)   比值
  1024               64.00 MiB                        1.01 MiB          64x
  4096                1.00 GiB                        1.01 MiB        1016x
 16384               16.00 GiB                        1.01 MiB       16257x
 65536              256.00 GiB                        1.01 MiB      260112x
Llama-2 7B 在 T=4096 的 KV cache: 2.00 GiB
```

逐段解释如下。

`full_causal` 用 `np.tril` 构造因果掩码，把上三角置为 $-\infty$ 后做 softmax。$-\infty$ 经 `np.exp` 得 0，因此被屏蔽位置的权重严格为零；若改用 0 或一个很大的负数，softmax 会给出非零权重。

`sliding` 对每个位置只取 $[i-w+1,i]$ 的键值。第一行输出验证了正确性：前 $w-1$ 个位置的可见范围本来就小于窗口，滑窗与全注意力在这些行上完全一致，`allclose` 为真。平均绝对差 0.1466 来自其余位置，说明差异只产生于超出窗口的部分，而不是实现错误。窗口定义为含当前位置的 $w$ 个位置，因此下界是 $i-w+1$ 而不是 $i-w$。

`linear_rec` 是线性注意力的递推形式。每一步先写入 $\mathbf{S}$ 与 $\mathbf{z}$，再读取。`out[t] = S.T @ q / (z @ q)` 的形状为：$\mathbf{S}^{\top}\in\mathbb{R}^{d_v\times d_k}$，与 $\mathbf{q}\in\mathbb{R}^{d_k}$ 相乘得 $d_v$ 维；分母为标量。若漏掉 `z` 的累加、只用 $\mathbf{S}$，输出尺度会随 $t$ 线性增长；若把 `z @ q` 写成 `z.sum()`，归一化与查询无关，输出不再是加权平均。

`linear_par` 用 `cumsum` 实现前缀和，与递推在数学上等价。实测最大绝对差为 $1.11\times10^{-15}$，属于浮点舍入量级，验证了两种形式的一致性。这一等价只说明"递推与并行是同一个函数的两种求值顺序"，不说明线性注意力等于 softmax 注意力：第四行给出两者的平均绝对差 0.1086，差值来自核近似与状态压缩，不是数值误差。

`mean_max_weight` 用随机打分测量注意力稀释。每行最大权重的平均值从 $T=64$ 时的 0.1115 降到 $T=4096$ 时的 0.0060，衰减接近 $1/T$。真实模型的分布更尖锐，但同一趋势成立：位置越多，单个位置分到的权重越小，输出的信噪比越低。

最后两段估算显存。`32 * n * n * 2` 是 $H n^{2}b$ 的代入，`32 * (128*128 + 128) * 2` 是 32 个头的状态大小（含 $\mathbf{z}$）。比值列从 64 增长到 260112，说明全注意力的显存随长度平方增长而状态不变。最后一行代入 Llama-2 7B 的配置（32 层、32 个 KV 头、头维 128、fp16）得 2.00 GiB，与按公式手算一致。

## 易错点

> [!warning] 以下六条均可在代码或推导中直接检验。
> 1. 滑窗的窗口定义与重叠处理。$w$ 若按"包含自身"定义，下界是 $i-w+1$；按"左侧邻居数"定义则是 $i-w$。Longformer 把窗口分到两侧，每侧 $w/2$，总宽为 $w+1$；块稀疏在块边界处需要重叠 $w-1$ 个位置，否则跨块的局部上下文被截断。把掩码写成 `np.triu(..., k=1)` 与 `k=0` 混淆时会多看一个未来 token，损失下降但生成时出现信息泄漏。
> 2. 记忆状态缺少归一化或衰减。只累加 $\mathbf{S}$ 而不累加 $\mathbf{z}$，输出幅度随段数线性增长；只对 $\mathbf{S}$ 乘衰减系数而忘记 $\mathbf{z}$，分子分母尺度不一致；写入不做任何衰减时，早期内容被后续写入逐步稀释，长序列上的检索准确率随长度单调下降。
> 3. 位置编码与序列长度不匹配。推理位置超过训练范围时，低频维度的相位落在训练未见区间；位置插值把位置压缩后，局部任务（如相邻词顺序）的准确率下降；修改 RoPE 基频后，已经写入 KV Cache 的键仍按旧基频旋转，新旧键的相位不一致，增量解码结果错误。
> 4. 把线性注意力当作全注意力的近似实现。递推形式与并行形式等价，但与 softmax 注意力不等价：$\phi(\mathbf{q})^{\top}\phi(\mathbf{k})$ 不是 $\exp(\mathbf{q}^{\top}\mathbf{k}/\sqrt{d_k})$ 的近似，状态压缩还会让相似键互相干扰。用线性注意力替换全注意力后直接用原模型的权重，输出分布会改变，必须重新训练或微调。
> 5. 分段注意力的掩码未按段重置。若对整条序列构造一个 $T\times T$ 的因果掩码再分段计算，形式上仍在做全注意力，复杂度没有下降；若掩码只在段内构造但位置索引未按段重置，段首位置会看到上一段的键，破坏因果性。正确做法是：段内掩码、段间只经记忆。
> 6. 用单针检索的通过率代表长上下文能力。单针任务可以由关键词匹配完成，模型不需要理解上下文结构；在多针、改序、需要聚合的任务上，同一模型的准确率可能大幅下降。评估至少应包含位置扫描与多证据任务。

## 关联笔记

- 前置 [[注意力机制与QKV]]：本篇第 1 节的 $4T^{2}d$ 由该篇的缩放点积注意力直接得到，$\sqrt{d_k}$ 与掩码的处理方式沿用其约定。
- 前置 [[KV缓存]]：KV Cache 的显存公式是压缩记忆要替换的对象，该篇给出解码阶段缓存增长的推导。
- 前置 [[位置编码-正弦与RoPE]]：第 6 节的波长分析与插值方法以该篇的 RoPE 推导为基础，基频与频率分组的记法一致。
- 对照 [[专家混合MoE]]：MoE 用显存换每 token 计算，长上下文用状态换每 token 记忆，二者都放弃"参数量与计算量同步增长"的稠密扩展。
- 后续 [[模型推理优化]]：长上下文的推理成本取决于缓存管理与批处理策略，该篇讨论分页缓存、量化与投机解码对长序列的影响。

## 达标检测

- [ ] 由 $\mathbf{Q}\mathbf{K}^{\top}$ 与 $\mathbf{A}\mathbf{V}$ 的矩阵形状推导单层注意力的浮点运算量 $4T^{2}d$，并说明 FlashAttention 为什么降低显存但不降低该运算量。
- [ ] 写出线性注意力从 softmax 形式到递推形式的完整推导，标出结合律使用的具体一步，并说明 $\mathbf{S}_t$ 与 $\mathbf{z}_t$ 各自的形状。
- [ ] 说明 $\phi(\mathbf{x})=\mathrm{elu}(\mathbf{x})+1$ 的两个作用（非负性与分母下界），并解释若取 $\phi(\mathbf{x})=\mathbf{x}$ 会出现什么问题。
- [ ] 写出 Infini-attention 的读取、写入与门控融合三式，说明 $\mathbf{S}_{n-1}$ 为何不含第 $n$ 段的内容，以及 $\beta\to\pm\infty$ 时输出退化为什么。
- [ ] 计算 32 层、32 头、$d_k=d_v=128$、bf16 下压缩记忆的总大小，并与 $T=32768$ 时 Llama-2 7B 的 KV Cache 比较。
- [ ] 运行本篇代码，报告滑窗与全注意力在前 $w-1$ 行的一致性、线性注意力两种形式的最大差，并解释 0.1086 这一差值的来源。
- [ ] 给定 $T_{\text{train}}=4096$、$T_{\text{target}}=32768$，分别写出位置插值的缩放系数与 NTK 感知的基频，并说明两者对高频维度的不同影响。

## 参考来源

- Munkhdalai et al., "Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention", arXiv:2404.07143, 2024 —— 对应本篇第 5 节的分段压缩、记忆读写与门控融合公式，以及第 7 节的常数状态收益。
- Beltagy et al., "Longformer: The Long-Document Transformer", arXiv:2004.05150, 2020 —— 对应第 3 节的滑窗、空洞窗口与全局注意力设计，以及 $O(Tw)$ 复杂度的来源。
- Su et al., "RoFormer: Enhanced Transformer with Rotary Position Embedding", arXiv:2104.09864 —— 对应第 6 节的 RoPE 频率定义、波长分析与外推行为。
- Liu et al., "Lost in the Middle: How Language Models Use Long Contexts", arXiv:2307.03172, 2023 —— 对应第 8 节的中间信息丢失与第 9 节的位置扫描评估设计。
- Katharopoulos et al., "Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention", arXiv:2006.16236, 2020 —— 对应第 4 节的核函数替换、递推形式与 $O(Tdd_h)$ 复杂度。
- Vaswani et al., "Attention Is All You Need", arXiv:1706.03762, 2017 —— 对应第 1 节的缩放点积注意力与第 2 节路线分类的出发点。
