w wyl123ly 的博客
MD

从RNN到注意力机制

31 KB 2026.10.18 原文件

从RNN到注意力机制

定义

序列到序列模型(sequence-to-sequence,seq2seq)是参数化的条件分布 ,由编码器把源序列映射为隐藏状态序列、解码器按自回归方式在每一步根据已生成前缀与该映射预测下一个目标 token 两部分组成;注意力机制(attention)指在解码第 步时,用一组由当前解码状态决定的权重 对编码器全部隐藏状态 加权求和,得到随 变化的上下文向量 的操作;当打分函数取 时称为加性注意力(additive attention),取 时称为点积注意力(dot-product attention)。

本篇符号约定如下。

符号含义
源序列 token, 为源长度
目标序列 token, 为目标长度
源 token 的嵌入向量
上一步目标 token 的嵌入向量
编码器第 个位置的隐藏状态
解码器第 步的隐藏状态
固定上下文向量,seq2seq 基线使用
第 步的上下文向量,注意力模型使用
编码状态的对齐投影
解码状态的对齐投影
对齐向量,把 维打分压为标量
对齐空间维度,独立超参数
第 步对第 个源位置的对齐分数
归一化后的注意力权重,
点积注意力的查询、键、值投影
键向量维度,缩放因子为

其余术语在正文首次出现处定义:编码器(encoder)是把源序列映射为状态序列的循环网络;解码器(decoder)是逐步产生目标 token 的循环网络;自回归分解指把联合分布写成条件概率的连乘;teacher forcing 指训练时用真实前缀作为解码器输入;曝光偏差(exposure bias)指训练与推理的输入分布不一致所导致的误差累积。

为什么重要

在注意力机制被引入之前,seq2seq 把整个源序列压缩为一个固定维度的向量 ,解码器每一步都读取同一个 。这一设计在短句上可用,在长句上性能随长度下降:编码器必须在读完源句时决定保留哪些信息,而解码器在第 步无法按需回看源句的第 个位置。Bahdanau 等人报告,基线模型在句子变长时 BLEU 迅速下降,而加入注意力后长句性能保持稳定。

注意力解决的不只是精度问题,还改变了计算结构。解码第 步的上下文变成 ,编码器不再需要把全部信息压进一个向量,信息的选择从编码阶段推迟到解码阶段;同时 到每个 存在一条长度为 1 的梯度路径,不再经过 次循环乘法。这两点分别对应第 2 节的两个机制。

从历史与结构上看,注意力是把循环结构替换为矩阵乘法的中间步骤。加性注意力中的 使其无法写成单个矩阵乘法,点积注意力把打分写成 的形式,从而可以在 GPU 上以批量矩阵乘实现,并进一步允许所有位置并行计算。Transformer 正是把这一并行性推广到自注意力与整层结构,见 注意力机制与QKV 与 Transformer架构详解。

在本库中的位置:前置 循环神经网络RNN 给出循环单元的更新式与 BPTT;本篇从固定上下文向量的缺陷推出注意力;注意力机制与QKV 把加性形式改写为查询-键-值形式并推导缩放因子;Transformer架构详解 用多头自注意力替换循环。对应学习目标中的「懂原理」与「能复现」:能写出加性注意力的完整前向与反向,能用 NumPy 实现并验证。

原理与推导

1 seq2seq 结构与自回归解码

编码器逐位置读取源序列,隐藏状态递推为

其中 为循环单元,可以是 tanh-RNN、LSTM 或 GRU。Bahdanau 使用双向 GRU,把前向与后向状态拼接:

双向结构使 同时包含左侧与右侧上下文,代价是编码器不能在线流式处理。

解码器把联合分布做自回归分解:

其中 。基线的第 步状态与输出为

为输出投影, 或 。

flowchart LR
    X["源序列 x1 ... xT"] --> ENC["双向编码器"]
    ENC --> H["编码状态 h1 ... hT"]
    PREV["上一步解码状态 s"] --> SCORE["对齐打分 e_ij"]
    H --> SCORE
    SCORE --> SOFT["softmax 归一化"]
    SOFT --> CTX["上下文 c_i"]
    H --> CTX
    CTX --> DEC["解码单元"]
    PREV --> DEC
    DEC --> OUT["输出分布 p(y_i)"]
    OUT --> PREV

训练目标为负对数似然

在整个语料上求和后用随机梯度下降最小化。推理时按 选 token:贪心取 argmax,或保留前 个候选做束搜索,直到产生终止符或达到长度上限;采样策略见 自回归生成与采样。

需要区分两件事:训练时所有位置的真实前缀已知,因此损失可以在一次前向中按位置并行计算;但解码器的状态 依赖 ,状态计算本身仍是串行的。Transformer 的解码器通过掩码自注意力去掉了这一递推,才使训练在层内完全并行。

2 固定上下文向量的信息瓶颈

基线模型把源序列的全部信息压入单个 ,解码器在全部 步共用。以下四个机制说明该结构为何在长序列上失效。

第一个机制是查询无关的压缩。解码器第 步需要的条件分布 通常只依赖源序列的少数位置:翻译时对齐到当前词,复制任务时对齐到实体所在位置。 在编码结束时已经确定,无法根据第 步的查询重新选择源位置;编码器必须预先决定保留哪些信息,而它不知道解码器将提出什么问题。

第二个机制是梯度路径长度。设 ,则损失对第 个编码状态的梯度为

若各步雅可比矩阵的谱范数不超过 ,则梯度范数上界按 衰减。取 , 时因子为 , 时为 ;即使循环单元设计良好,远端位置的梯度仍被连乘压缩。结果是编码器对源句开头的学习信号弱于结尾,长距离依赖的建模能力受限。Bahdanau 的注意力把 对每个 的路径缩短为 1,见第 3 节的梯度推导。

第三个机制是对齐必须隐式学习。基线模型没有任何监督信号指示"第 步应对应第 个源位置",对齐只能通过 的数值编码间接实现,解码器要在一个共享的非线性映射中同时完成还原与对齐两件事。注意力把对齐显式化为权重 ,并让这些权重直接接收翻译损失的梯度,对齐成为可学习的中间量。

第四个机制是经验规律。Bahdanau 等人在英法翻译上观察到,基线模型的翻译质量随源句长度增加而明显下降,而加性注意力模型在长句上与短句表现接近;他们给出的解释正是固定向量的压缩损失。这一现象与上述梯度分析一致:长度增加同时放大压缩比与梯度衰减。

定量地看,若每个源位置平均携带 比特信息, 个位置共 比特; 是 维实数向量,在有限精度下容量为 比特( 为每分量有效位数)。当 时压缩必然有损。该不等式只说明容量上限,实际损失更早出现,因为编码器无法针对未来的查询做最优压缩。

3 Bahdanau 加性注意力的推导

目标是把"第 步应关注哪些源位置"写成一个可微的打分与归一化过程,并让上下文随 变化。

第一步,定义查询与键。查询取解码器上一步状态 ,键取编码状态 。两者维度不同,不能直接做内积,先各自线性投影到公共的 维对齐空间:

第二步,相加后过非线性并压为标量:

逐项说明: 是与 无关的偏置项,对同一解码步的所有源位置相同; 是第 个源位置在对齐空间中的表示; 逐元素作用,把和限制在 ; 把这 个数加权求和为一个标量。由于 ,有 ,打分的取值范围由 的范数控制。

第三步,沿源位置做 softmax 归一化:

第四步,加权求和得到上下文:

第五步,把上下文送入解码单元并产生输出:

原论文用 GRU 作为解码单元,上式写为一般的仿射加非线性形式, 的具体结构不影响注意力部分的推导。注意 同时用于打分与解码,因此第 步的注意力在计算 之前完成。

各量的形状与参数量如下。

量形状参数
无
无
、标量无
无

对齐部分的总参数为 ,取 、 时为 ,相对整个模型可以忽略。

计算量方面, 可对全部 预计算一次,代价 ;每个解码步需计算 个打分,每个打分含 次加法和 次 tanh,再乘以 需 次乘加,故每步 ;上下文加权和每步 。解码 步的总代价为 。

梯度是理解注意力为何有效的关键。固定 ,对 求 的导数。先对 softmax 求导:

其中 为 Kronecker 符号。再对打分求导,记 ,由链式法则

于是

推导过程:,而 ,代入后第二项为 。

该式的第一项 是直接项:它不经过任何循环乘法,规模由权重 控制。第二项是权重对编码状态的依赖项,量级为 。与第 2 节的 相比,长距离位置的梯度不再指数衰减,这是注意力改善长句建模的机制性原因。上述推导在例 3 中用有限差分做了数值验证。

4 从加性注意力到点积注意力

加性打分的结构是"投影、相加、逐元素非线性、投影",其中 作用在 个元素上。把它与点积形式对比,可以得到三条动机。

第一条是矩阵化。点积打分取

其中 。全部打分构成矩阵

一次批量矩阵乘即可算出。加性形式中 是逐元素非线性,无法并入矩阵乘,只能先构造 的中间张量再规约;向量化时该中间张量的显存为 个元素,而点积形式只需 个打分。

第二条是秩约束带来的表达差异。 的秩不超过 ,即单头点积注意力的打分矩阵是低秩双线性型;加性打分含逐元素非线性,不受此约束。这一差异说明点积形式以表达换取效率,而多头结构(见 因果注意力与多头注意力)通过并行多个低秩打分恢复表达力。

第三条是数值尺度。若查询与键的各分量独立、均值 0、方差 1,则内积 的均值为 0、方差为 ,标准差为 。 时打分标准差为 8,softmax 的输入跨度过大,最大权重接近 1,其余接近 0,梯度 趋于零。除以 使打分方差回到 1,这是缩放点积注意力中缩放因子的来源,完整推导见 注意力机制与QKV。

渐近复杂度上两种形式相同:每个解码步均为 量级。差别在常数与硬件利用率:点积形式是一次 的矩阵乘,算术强度高、可映射到张量核心;加性形式需要 次超越函数求值与逐元素访存,实测吞吐显著低于同规模的矩阵乘。Vaswani 等人选择点积形式的理由正是"可以用高度优化的矩阵乘法实现,速度与显存效率更高"。

维度加性(Bahdanau)缩放点积(Vaswani)
打分形式
打分矩阵秩无约束
每步计算量,含 次 tanh,纯乘加
中间量(每步)或 (批量)
并行实现逐元素算子在先,规约在后单次批量矩阵乘
打分的界无界,需缩放
典型使用者Bahdanau 注意力、部分语音模型Transformer 全系列

5 teacher forcing 与曝光偏差

训练时解码器的输入是真实前缀 ,这一做法称为 teacher forcing。它使每个位置的监督信号直接对应真实上下文,避免了训练早期模型输出无意义时误差沿序列传播,也让损失可以在一次前向中按位置并行计算。

推理时解码器只能看到自己生成的前缀 。若模型在第 步出错,第 步的输入就落在训练中从未出现过的状态上,后续步骤的条件分布与训练分布偏离。这种训练与推理的输入分布不一致称为曝光偏差。

误差累积可以定量描述。设模型在自身分布下每步出错的概率为 ,并近似认为各步独立,则长度 的前缀全部正确的概率为 。取 、,得 ; 时降为 。这说明即使单步错误率很低,长序列的完整生成也会快速退化,且退化随长度指数加剧。

缓解手段有四类。第一类是计划采样:训练时以概率 使用模型自己的输出替换真实前缀, 随训练步数从 0 增至某个上限,使训练分布逐步靠近推理分布。第二类是束搜索:推理时保留多个候选前缀,降低单步贪心错误造成不可逆后果的概率,但不改变模型本身的分布。第三类是标签平滑:把真实 token 的目标分布从 one-hot 改为 的均匀混合,降低模型对自身预测的过度自信。第四类是强化学习目标:直接优化序列级奖励,见 预训练-微调-对齐pipeline。

需要强调 teacher forcing 的一个常见误解:它让损失的计算并行,但不让解码器的状态计算并行。 依赖 ,训练时仍需按顺序计算 步,只是每步的输入已知。

6 注意力权重的解释与局限

注意力权重常被可视化为源句与目标词的对齐矩阵,在机器翻译中确实与词对齐高度相关,这是 Bahdanau 论文给出的定性证据之一。但把权重直接当作"模型依据"存在四类具体限制。

第一,权重只描述单个子层内部的混合比例。输出还经过残差连接、前馈网络与后续层,信息可以绕过注意力子层传播;同一位置上,注意力分支的贡献与残差分支的贡献相加,权重排序与梯度归因排序并不一致。

第二,多头结构中各头关注不同位置,单头权重不能代表模型行为。把多个头的权重求平均会掩盖分歧:一个头对齐到动词、另一个头对齐到句末标点时,平均值不对应任何实际计算。

第三,权重依赖参数化与温度。softmax 对打分整体平移不变,即 不改变 ;而打分的整体缩放等价于改变 softmax 的温度,会改变权重的尖锐程度。加性注意力的打分还有上界 ,故权重比 由 的范数控制。因此权重分布的集中程度部分是参数尺度的函数,不能直接读作对齐强度。

第四,权重是输入相关的随机量。在长序列上,训练充分的模型常给出接近均匀的权重(熵接近 ),此时可视化不提供定位信息;在短序列上权重集中,也不能推出"其余位置与输出无关",因为被抑制位置的信息可能已通过编码器的双向结构进入 。

因此合理的用法是:把权重作为调试与假设生成的工具,与删改输入、梯度归因、消融实验结合,而不是作为因果解释。相关方法论见 可解释性。

关键直觉

注意力把解码第 步的上下文由"与 无关的固定向量"改为"编码器状态的凸组合",组合系数由当前解码状态与各编码位置的对齐分数经 softmax 得到。信息的选择因此从编码阶段推迟到解码阶段,且 对每个 都存在一条长度为 1、规模为 的梯度路径。该表述与第 3 节的 、 的第一项严格对应,凸组合性质来自 与 。

例子与代码

以下代码在 NumPy 2.3.5 与 Python 3.13 下运行,输出为实际打印结果。

例 1:加性注意力的一步计算

取 、、、,编码状态取单位向量与它们的组合,参数取整数值以便手算核对。

import numpy as np

np.set_printoptions(precision=4, suppress=True)

H = np.array([[1., 0., 0.],
              [0., 1., 0.],
              [0., 0., 1.],
              [1., 1., 0.]])      # (T=4, d_h=3) 编码状态
s_prev = np.array([1., 0.5])      # (d_s=2) 上一步解码状态
W_s = np.array([[1., 0.],
                [0., 1.],
                [1., 1.]])        # (d_a=3, d_s=2)
W_h = np.eye(3)                   # (d_a=3, d_h=3)
v = np.array([1., 1., 0.])        # (d_a=3)

proj_s = W_s @ s_prev             # (3,) 与 j 无关的偏置项
proj_h = H @ W_h.T                # (T,3) 可对全部源位置预计算
pre = np.tanh(proj_h + proj_s)    # (T,3) 广播相加后逐元素 tanh
e = pre @ v                       # (T,) 打分
a = np.exp(e - e.max()); a = a / a.sum()
c = a @ H                         # (1,) 加权和,等价于 sum_j a_j h_j
print("proj_s:", proj_s)
print("scores e:", e)
print("alpha:", a, "sum:", a.sum())
print("context c:", c)
proj_s: [1.  0.5 1.5]
scores e: [1.4261 1.6667 1.2237 1.8692]
alpha: [0.2152 0.2738 0.1758 0.3352] sum: 1.0
context c: [0.5504 0.609  0.1758]

第一个打分手算为:,,与 的内积为 ,与打印值一致。四个打分经 softmax 后为 ,和为 1,第 4 个位置权重最大。上下文 ,与打印值一致。

实现上注意两点。proj_h = H @ W_h.T 只依赖源序列,可在解码前算一次,避免每步重复计算;e - e.max() 平移不改变 softmax 结果,但防止 较大时 溢出。把 W_h 换成非单位矩阵后打分会变化,权重随之重排,这说明对齐空间的选择直接决定注意力定位到哪里。

例 2:批量计算与 padding 掩码

实际训练中源句长度不一,短句用 padding 补齐,注意力必须在打分阶段屏蔽填充位置。

import numpy as np

np.set_printoptions(precision=4, suppress=True)

def additive_attention(S, H, W_s, W_h, v, mask=None):
    # S: (B, d_s) 当前解码状态;H: (B, T, d_h) 编码状态
    q = S @ W_s.T                       # (B, d_a)
    k = H @ W_h.T                       # (B, T, d_a)
    e = np.tanh(q[:, None, :] + k) @ v  # (B, T) 广播相加
    if mask is not None:
        e = np.where(mask, e, -1e9)     # 屏蔽填充位置
    e = e - e.max(axis=1, keepdims=True)
    a = np.exp(e)
    a = a / a.sum(axis=1, keepdims=True)  # (B, T),每行和为 1
    c = np.einsum("bt,btd->bd", a, H)     # (B, d_h)
    return a, c

rng = np.random.default_rng(1)
H = rng.normal(size=(2, 3, 2))            # (B=2, T=3, d_h=2)
S = rng.normal(size=(2, 2))               # (B=2, d_s=2)
W_s = rng.normal(size=(2, 2)); W_h = rng.normal(size=(2, 2)); v = rng.normal(size=2)
mask = np.array([[True, True, False], [True, True, True]])   # 样本 0 的第 3 位是 padding

a_masked, c_masked = additive_attention(S, H, W_s, W_h, v, mask)
a_dense, c_dense = additive_attention(S, H, W_s, W_h, v)
print("masked alpha:", a_masked, sep="\n")
print("row sums:", a_masked.sum(axis=1))
print("c shape:", c_masked.shape)
print("row0 diff:", np.abs(c_masked[0] - c_dense[0]).max())
masked alpha:
[[0.3177 0.6823 0.    ]
 [0.6343 0.1516 0.2141]]
row sums: [1. 1.]
c shape: (2, 2)
row0 diff: 0.2002085138153319

掩码在第 0 个样本的 padding 位置给出精确的 0 权重,其余两个位置重新归一化,行和仍为 1;第 1 个样本无 padding,掩码前后结果完全相同,差值为 0。若省略 np.where 一行,padding 位置会分走约 0.19 的权重,上下文混入无意义的填充向量,梯度也会回传到填充位置的嵌入行。-1e9 而非 -np.inf 是为了避免 -inf 与 0 相乘产生 nan。

例 3:验证上下文向量的解析梯度

第 3 节给出 。以下用有限差分核对,随机取 。

import numpy as np

np.set_printoptions(precision=5, suppress=True)

rng = np.random.default_rng(0)
T, d_h, d_s, d_a = 4, 3, 2, 3
H = rng.normal(size=(T, d_h)); s = rng.normal(size=d_s)
W_s = rng.normal(size=(d_a, d_s)); W_h = rng.normal(size=(d_a, d_h))
v = rng.normal(size=d_a)

def forward(H):
    u = H @ W_h.T + W_s @ s
    e = np.tanh(u) @ v
    e = e - e.max()
    a = np.exp(e); a = a / a.sum()
    return a, a @ H, u

a, c, u = forward(H)
j = 2
g = W_h.T @ ((1 - np.tanh(u[j])**2) * v)            # (d_h,)
J_analytic = a[j] * np.eye(d_h) + a[j] * np.outer(H[j] - c, g)

eps = 1e-6
J_numeric = np.zeros((d_h, d_h))
for b in range(d_h):
    Hp = H.copy(); Hp[j, b] += eps
    _, cp, _ = forward(Hp)
    J_numeric[:, b] = (cp - c) / eps

print("alpha:", a)
print("max abs diff:", np.abs(J_analytic - J_numeric).max())
print("diag of direct term:", np.diag(a[j] * np.eye(d_h)))
alpha: [0.22901 0.25407 0.20725 0.30968]
max abs diff: 4.33466493081347e-09
diag of direct term: [0.20725 0.20725 0.20725]

解析式与有限差分的最大差异为 ,处于差分的截断误差量级。对角的直接项等于 ,即第 2 个编码状态通过 直接进入上下文,不经过任何连乘;这正是第 2 节所述梯度路径缩短的数值体现。若把注意力替换为固定 ,同一扰动的梯度通道将乘以 个雅可比矩阵的连乘,且与 无关。

易错点

以下六条均可在推导或实现中检验。

1. 维度混用:、 维度不同, 与 的输出维度必须同为 ;若误取 ,相加时形状不匹配。

2. 认为 在所有解码步相同:随 变化正是注意力的定义;若在某步复用上一步的 ,模型退化为固定上下文基线。

3. 忘记屏蔽 padding 或屏蔽位置错误:掩码必须作用在 softmax 之前,加在 softmax 之后会破坏归一化;屏蔽键侧而非查询侧。

4. 认为 Bahdanau 注意力可以并行训练整个解码器:打分的查询是 ,它依赖前一步输出,解码步之间仍串行;可并行的只有同一批查询对全部源位置的计算。

5. 把训练损失低当作推理质量好:teacher forcing 下模型只需拟合真实前缀上的条件分布,曝光偏差使自身分布上的误差累积,需单独评测自由运行(free-running)的表现。

6. softmax 未减去最大值: 的绝对值随 与参数尺度增大, 上溢后得到 nan,而减去行最大值不改变结果。

关联笔记

  • 前置 循环神经网络RNN:编码器与解码器均为循环网络, 的递推与 BPTT 是理解梯度路径长度的基础。
  • 后续 注意力机制与QKV:把加性打分改写为查询-键-值形式,推导 缩放与掩码的实现细节。
  • 后续 Transformer架构详解:用多头自注意力替换循环,使训练在层内完全并行,本篇第 4 节的矩阵化动机是其直接前提。
  • 对照 自回归生成与采样:teacher forcing 与曝光偏差在多步生成中的表现,以及束搜索与采样的取舍。
  • 应用 可解释性:注意力权重的可视化与其因果解释的局限,本篇第 6 节给出四条具体限制。

达标检测

  • [ ] 写出 seq2seq 的自回归分解与训练损失,说明 teacher forcing 在训练与推理时的输入差异,并解释为何损失可并行而状态不可并行。
  • [ ] 用 的连乘表达式论证固定上下文向量的梯度衰减,取 计算 与 的衰减因子。
  • [ ] 手算 、 的加性注意力一步:给出 、、,验证 ,并与例 1 的打印值核对。
  • [ ] 推导 ,指出哪一项提供不经过循环的直接梯度,并说明其规模由什么决定。
  • [ ] 说明加性打分为何不能写成单个矩阵乘法,点积打分为何可以,并给出两者在中间张量显存上的差异。
  • [ ] 解释注意力权重不能作为因果解释的三条具体理由,并给出一种可替代的验证手段。
  • [ ] 用 NumPy 实现带 padding 掩码的批量加性注意力,验证掩码位置的权重为 0 且每行权重和为 1。

参考来源

  • Bahdanau, Cho, Bengio, "Neural Machine Translation by Jointly Learning to Align and Translate", arXiv:1409.0473 —— 对应本篇第 2 节的瓶颈分析、第 3 节的加性注意力完整推导与对齐实验。
  • d2l.ai《动手学深度学习》注意力机制章节 —— 对应加性注意力与缩放点积注意力的对照、注意力权重的可视化方法。
  • Stanford CS224n 讲义(Attention 与 seq2seq 部分)—— 对应第 3 节的形状约定与第 5 节 teacher forcing、曝光偏差的表述。
  • Vaswani et al., "Attention Is All You Need", arXiv:1706.03762 —— 对应第 4 节点积注意力的效率论证、缩放因子与多头结构的动机。
  • Goodfellow, Bengio, Courville, Deep Learning, 2016, 第 10 章 —— 对应第 1 节循环编码器-解码器结构与第 5 节序列生成的目标函数。