前馈层与激活函数
定义
前馈层(feed-forward network,FFN)是 Transformer 块中逐 token 作用的两层线性变换加一个逐元素非线性:
其中 是单个 token 的表示,、, 为隐层宽度, 为逐元素激活函数。扩张比(expansion ratio)指 ,标准 Transformer 取 。nanochat 取 ,并把 换成平方 ReLU:
其中平方是逐元素的。符号与术语如下。
| 符号 | 含义 |
|---|---|
模型维度,代码中 n_embd | |
隐层宽度,代码中 4 * n_embd | |
输入投影,代码中 c_fc,形状 | |
输出投影,代码中 c_proj,形状 | |
| 逐元素激活函数 | |
| , 为标准正态分布函数 | |
| , 为 logistic 函数 | |
| 带门控的三矩阵前馈层,见第 3 节 |
平方 ReLU(ReLU²,squared ReLU)是 ,由 Primer 论文提出。门控线性单元(gated linear unit,GLU)是把一个线性投影经激活后与另一个线性投影逐元素相乘的结构;SwiGLU 是其中激活取 Swish 的版本。
为什么重要
注意力负责跨 token 混合,前馈层负责逐 token 的通道变换。两者分工明确:注意力把不同位置的信息搬到当前位置,前馈层在当前位置把搬来的信息重新组合成新特征。一个块中前馈层的矩阵参数是 ,注意力是 ,前馈层占块内矩阵参数的 ;去掉前馈层,模型的通道变换只剩注意力的输出投影,容量大幅下降。
非线性是前馈层存在的理由。若 为恒等映射,两层线性变换可合并为一个矩阵,逐 token 的变换退化为线性,深度堆叠不再增加通道维的表达能力(跨 token 的非线性仍由 softmax 提供,但通道变换没有)。激活函数的选择因此同时影响质量、参数量与 FLOPs:ReLU 简单稀疏,GELU 平滑,SwiGLU 用门控换取表达力但需要三个矩阵,ReLU² 用平方换取平滑且不增加矩阵。
nanochat 的选择是 ReLU²、 倍扩张、无偏置。这三项都不是默认值:GPT-2 用 GELU 与偏置,PaLM 用 SwiGLU。dev/LOG.md 2026-02-05 记录了把 ReLU² 换成参数匹配的 SwiGLU 的实验,结论是在 d12 与 d24 上都更差,未采用。理解这个负结果需要先算清参数与 FLOPs 的匹配关系,否则“SwiGLU 更强”的先验会掩盖规模与实现成本的差异。
在全书中的位置:本篇承接 残差连接与LayerNorm 的 pre-norm 残差结构,前馈层的输出加回残差流;GPT模型类与config 与 从第一性看nanochat的gpt.py 会把 MLP 放回 GPT.forward;nanochat架构特化技巧 汇总 ReLU²、无偏置、Value Embedding 等非标准选择。跨库的激活函数全景见 激活函数,本篇只写 nanochat 的实现与取舍。
原理与推导
1 逐 token 变换与非线性
前馈层对序列中每个位置独立施加同一组权重。设输入为 ,则
其中 逐元素作用, 与代码中 c_fc.weight 的形状 对应。整个过程不跨位置混合:第 行的输出只依赖第 行的输入。因此前馈层可以与注意力交换顺序而不破坏因果性,残差与归一化的位置才是结构差异的来源。
去掉非线性后,
两层塌缩成一层。若每个块的前馈都如此,块内逐 token 部分等价于一个线性映射,多个块复合仍是线性映射;模型的通道变换只能表达线性特征组合。注意 softmax 仍是非线性的,因此整个模型不会退化为线性模型,但通道维的非线性表达确实消失,这是“前馈层必须有激活”的准确表述。
2 4 倍扩张:参数与 FLOPs
标准扩张比取 ,即 。参数量为
前向 FLOPs 为
其中每个乘加计 FLOPs。以 d12(、)为例:c_fc 有 个参数,c_proj 有 个参数,合计 ;每 token 前向 FLOPs。d24(、)对应每层 个参数、每 token FLOPs。
扩张比决定容量与成本的平衡。 越大,隐层能容纳的特征越多,但参数与 FLOPs 线性增长; 倍是原论文的经验取值,nanochat 沿用且未在 04 阶段做扩张比扫描。由于前馈层占块内矩阵参数的 ,扩张比的一个小改动会显著改变总参数量与每 token 算力。
各深度的具体数值如下。model_dim 由 --depth 与 --aspect-ratio 决定, 随之变化;表中“块内占比”指前馈层参数占“注意力 + 前馈 ”的比例,恒为 。
| 深度 | c_fc 参数 | c_proj 参数 | 单层合计 | 前向 FLOPs/token | 块内占比 | ||
|---|---|---|---|---|---|---|---|
| d12 | 768 | 3072 | |||||
| d20 | 1280 | 5120 | |||||
| d24 | 1536 | 6144 |
按前向加反向的 倍系数折算,d12 的前馈层每 token 约 FLOPs,12 层合计约 ;同一模型的注意力投影为 ,打分与加权在 、SSSL 窗口下约 。因此在 时注意力仍是主要算力项,前馈层则在块内参数预算中占主导。两者随 与 的不同增长方式决定了不同深度、不同上下文下的瓶颈位置,这也是 FLOPs与训练成本估算 需要分别核算的原因。
3 四种激活的对比
ReLU:。计算只需一次比较,负半轴输出为零,激活稀疏。缺点是负半轴梯度恒为零,一旦某个单元的输入长期为负,该单元不再更新(死亡 ReLU)。
GELU:,其中 是标准正态分布的累积分布函数。它可写成 ,常用 tanh 近似。GELU 在负半轴保留小幅负值,曲线平滑,是 GPT-2 的选择。导数 ,其中 为正态密度。
SwiGLU:把前馈层改成门控形式
其中 、, 为逐元素乘。三个矩阵使参数量从 变为 ;为与 倍 ReLU 的参数量、FLOPs 对齐,取
此时 ,FLOPs 为 ,与 ReLU 的 倍版本完全相同。 不是独立超参数,而是“三矩阵对两矩阵”的参数守恒解;实际实现中还要把 取整到 或 的倍数以适配张量核心,取整后参数量与 FLOPs 与 ReLU² 相差在 到 量级。SwiGLU 增加的是门控乘法与一次额外的矩阵乘,不增加理论 FLOPs。
ReLU²:。它是 Primer 论文为 Transformer 提出的激活,性质介于 ReLU 与 GELU 之间:负半轴输出为零(与 ReLU 一样稀疏),正半轴是二次函数(比 ReLU 更平滑)。导数
在 处连续(左导与右导都为 ),因此是 函数;二阶导数在 处从 跳到 ,不是 。它没有可学习参数,不增加矩阵,计算只比 ReLU 多一次乘法。
四者的对比如下( 为模型维度, 为正态分布函数, 为密度)。
| 激活 | 公式 | 参数量 | 前向 FLOPs/token | 平滑性 | 负半轴 |
|---|---|---|---|---|---|
| ReLU | , 处不可导 | 输出与梯度均为 | |||
| GELU | (erf 另计) | 光滑 | 小幅负输出,梯度非零 | ||
| SwiGLU | () | 光滑 | 门控可输出负值 | ||
| ReLU² | 输出与梯度均为 |
4 平方 ReLU 的性质
设 。三条性质直接由定义得到。
第一,非负且稀疏。, 时 且 。与 ReLU 相同,负半轴不传播梯度;与 ReLU 不同的是正半轴的斜率随 增大,,大激活的梯度更大。
第二,二次齐次性。(),因此输出对输入的尺度敏感;若输入 RMS 从 变到 ,输出放大约 倍。nanochat 在每个前馈层之前做 RMSNorm,把输入尺度固定为 ,这一性质不会造成尺度漂移;若去掉 pre-norm,二次放大与残差叠加会使深层数值范围迅速扩大。
第三,平滑但不改变支撑集。 在 处一阶连续,避免了 ReLU 的不可导点;但支撑集仍是 ,负半轴的信息仍被丢弃。它没有 GELU 的负半轴小值,因此不具备 GELU 的“负向抑制”表达能力;换来的是计算简单与稀疏性。dev/LOG.md 2026-03-24 记录过把 ReLU² 换成 的尝试:每步质量略好但更慢,按墙钟时间净结果更差,未采用;这说明在本规模下,ReLU² 的简单实现比“修复负半轴”更重要。
5 为什么 SwiGLU 在 nanochat 上是负结果
dev/LOG.md 2026-02-05 的条目把 ReLU² 换成 SwiGLU,并按第 3 节的方式把隐层从 缩到 ,使参数量与 FLOPs 匹配。实验在 d12 与 d24 两个规模上进行,结论是“Worse on all measures — step efficiency, wall clock time, and FLOPs. ReLU² remains superior for nanochat. Not adopted.”
这是事实陈述,不是对 SwiGLU 的一般性否定。条目里的三项度量需要区分:step efficiency 指相同优化步数下的验证损失,wall clock time 指相同墙钟时间下的损失,FLOPs 指计入门控与额外矩阵乘后的实际算力。三者同时变差,说明在匹配理论参数与 FLOPs 后,SwiGLU 没有把额外表达力转化为更快的收敛。可以指出三条与实现相关的机制,解释为什么“理论 FLOPs 相同”仍可能更慢。其一,三个矩阵意味着三次 GEMM 与两次隐层激活的读写,激活显存从一份变为两份,显存受限时带宽成本上升。其二,门控乘法是逐元素操作,融合程度低于单个激活,内核启动与临时张量更多。其三,在 d12 这种小模型上,固定开销(内核启动、调度)占比更高,理论 FLOPs 的优势更难兑现。这些因素与具体硬件、编译器与实现有关,不能外推为“SwiGLU 在任何规模都更差”。
在 nanochat 中的落地
MLP 类。 nanochat/gpt.py 中的实现只有两个线性层与一个激活:
class MLP(nn.Module):
def __init__(self, config):
super().__init__()
self.c_fc = Linear(config.n_embd, 4 * config.n_embd, bias=False)
self.c_proj = Linear(4 * config.n_embd, config.n_embd, bias=False)
def forward(self, x):
x = self.c_fc(x)
x = F.relu(x).square()
x = self.c_proj(x)
return x
c_fc 的输出维是 ,c_proj 回到 。无偏置、无 dropout、无门控。F.relu(x).square() 的求值顺序是“先 ReLU 再平方”;若写成 F.relu(x.square()),平方会把负值变正,ReLU 不再产生稀疏,等价于 ,激活的支撑集从 变为全体实数,模型行为改变而形状不变。
初始化。 init_weights 中前馈层的两行是:
torch.nn.init.uniform_(block.mlp.c_fc.weight, -s * 0.4, s * 0.4) # c_fc 使用 0.4 倍初始化
torch.nn.init.zeros_(block.mlp.c_proj.weight)
其中 s = 3**0.5 * n_embd**-0.5,均匀分布的边界取 ,标准差为 。c_proj 零初始化使前馈子层在训练开始时输出为零,块退化为恒等映射;这与注意力输出投影的零初始化配合,保证整块在初始化时是恒等变换。c_fc 的 倍缩放降低初始隐层激活的尺度,避免二次激活在初始阶段放大方差。零初始化必须放在 init_weights 中,因为 __init__ 运行在 meta device 上下文,写入的数值会被丢弃。
线性层的 dtype。 nanochat 自定义了 Linear(nn.Linear),前向时把权重 cast 到输入 dtype:
class Linear(nn.Linear):
def forward(self, x):
return F.linear(x, self.weight.to(dtype=x.dtype))
master 权重保持 fp32,矩阵乘用激活 dtype(SM80+ 为 bf16)。c_fc 与 c_proj 都继承该行为,因此前馈层的计算精度与注意力一致;这也是 MLP 中不需要手动指定 dtype 的原因。
FLOPs 核算。 GPT.num_matmul_params 统计所有 Linear 的权重元素数,前馈层的 被计入;GPT.estimate_flops 用 矩阵参数加注意力项。以 d12 为例,前馈层每层 个矩阵参数,乘以 得每 token 前向加反向 FLOPs;12 层合计约 ,与注意力部分的量级相当。这一核算是 FLOPs与训练成本估算 中成本估算的输入。
无 dropout、无偏置的理由。 MLP 中既没有 nn.Dropout,也没有 bias=True。dropout 在大规模预训练中通常被省略:数据量足够时正则化收益有限,而随机性会降低吞吐并增加训练与推理路径的不一致。偏置的省略与归一化位置有关:每个子层的输入已经过 RMSNorm,逐通道偏置的作用与后续线性层部分重叠;去掉偏置还能让 c_proj 的零初始化严格等价于“子层输出为零”,使块在初始化时是精确的恒等映射。若加偏置,必须同时把 c_proj.bias 也置零,否则块在初始时就有常数输出。nanochat 选择从结构上排除这一分支。
与 SwiGLU 的关系。 当前 gpt.py 只有 ReLU² 实现,SwiGLU 只出现在 dev/LOG.md 的实验记录中,未进入主分支。若要在本地复现该负结果,需要把 MLP 改成三矩阵版本、把 c_fc 的输出维改为 (8 * n_embd) // 3,并重新调初始化与学习率;直接替换而不匹配隐层宽度,参数量会变成 ,对比不再公平。
关键直觉
机制性表述
前馈层是逐 token 的通道变换:先把 维升到 ,用 ReLU² 做稀疏非线性,再降回 维。非线性使两层矩阵不能合并, 倍扩张提供容量,平方使激活在 处一阶连续且在正半轴有随幅度增长的梯度。SwiGLU 用三个矩阵与门控换取表达力,在参数与 FLOPs 匹配时理论上等价,但在 nanochat 的 d12/d24 实验中没有兑现为更快的墙钟时间,因此未被采用。
该表述与严格定义的关系:第 2 节给出 参数与 FLOPs 的推导,第 3 节给出四种激活的公式与匹配关系,第 4 节给出 ReLU² 的导数与齐次性,第 5 节给出负结果的实验条件,「在 nanochat 中的落地」一节把这些结论对应到 MLP、init_weights 与 Linear。所谓“容量”由 与参数量度量,不由激活函数单独决定。
例子与代码
例 1:手算一个小前馈层
取 、、无偏置,给定
import numpy as np
import torch
import torch.nn.functional as F
x = np.array([1.0, -2.0, 0.5])
W1 = np.array([[1., 0., 0., 1.], [0., 1., 0., -1.], [0., 0., 1., 0.]]) # (3,4)
W2 = np.array([[1., 0., 0.], [0., 1., 0.], [0., 0., 1.], [1., 1., 0.]]) # (4,3)
h = x @ W1
a = np.maximum(h, 0) ** 2
y = a @ W2
print("隐层", h)
print("ReLU 平方", a)
print("输出", y)
print("参数量", W1.size + W2.size)
xt = torch.tensor(x)
yt = F.linear(F.relu(F.linear(xt, torch.tensor(W1).T)).square(), torch.tensor(W2).T)
print("PyTorch 输出", yt.tolist())
隐层 [ 1. -2. 0.5 3. ]
ReLU 平方 [1. 0. 0.25 9. ]
输出 [10. 9. 0.25]
参数量 24
PyTorch 输出 [10.0, 9.0, 0.25]
逐项核对: 的第 个分量是 ;ReLU 平方后为 。输出第 个分量是 ,第 个是 ,第 个是 。参数量 ,与 一致。PyTorch 与 NumPy 的输出相同,说明 F.linear 的权重布局(内部转置)与手算一致。
例 2:四种激活的数值与导数
import torch
import torch.nn.functional as F
xs = torch.tensor([-2., -1., -0.5, 0., 0.5, 1., 2.])
print("x ", xs.tolist())
print("ReLU ", torch.relu(xs).tolist())
print("ReLU2 ", torch.relu(xs).square().tolist())
print("GELU ", [round(v, 4) for v in F.gelu(xs).tolist()])
print("Swish ", [round(v, 4) for v in F.silu(xs).tolist()])
print("ReLU2 导数", (2 * torch.relu(xs)).tolist())
x [-2.0, -1.0, -0.5, 0.0, 0.5, 1.0, 2.0]
ReLU [0.0, 0.0, 0.0, 0.0, 0.5, 1.0, 2.0]
ReLU2 [0.0, 0.0, 0.0, 0.0, 0.25, 1.0, 4.0]
GELU [-0.0455, -0.1587, -0.1543, 0.0, 0.3457, 0.8413, 1.9545]
Swish [-0.2384, -0.2689, -0.1888, 0.0, 0.3112, 0.7311, 1.7616]
ReLU2 导数 [0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 4.0]
三处可直接观察的差异。第一,负半轴:ReLU 与 ReLU² 输出恒为 ,GELU 与 Swish 保留小幅负值,因而它们的梯度在负半轴不为零。第二,正半轴:ReLU 线性增长,ReLU² 二次增长, 时已经是 ;这意味着大激活的梯度也更大(导数为 )。第三, 处:ReLU² 的左右导数都是 ,函数一阶连续;ReLU 在 处不可导,GELU 与 Swish 光滑。这些数值可以直接用于核对实现:若把 F.relu(x).square() 写成 F.relu(x.square()),负半轴输出会变成 ,与上表不符,测试可立即发现。
例 3:ReLU² 与 SwiGLU 的参数匹配
C = 768
hidden_relu2 = 4 * C
hidden_swiglu = (8 * C) // 3
print("ReLU2 隐层", hidden_relu2, "参数", 2 * C * hidden_relu2, "FLOPs/token", 4 * C * hidden_relu2)
print("SwiGLU 隐层", hidden_swiglu, "参数", 3 * C * hidden_swiglu, "FLOPs/token", 6 * C * hidden_swiglu)
print("d24 ReLU2 参数", 2 * 1536 * 6144, "FLOPs/token", 4 * 1536 * 6144)
ReLU2 隐层 3072 参数 4718592 FLOPs/token 9437184
SwiGLU 隐层 2048 参数 4718592 FLOPs/token 9437184
d24 ReLU2 参数 18874368 FLOPs/token 37748736
d12 下两种结构的参数量与 FLOPs 完全相同,这是 dev/LOG.md 负结果实验的公平比较前提。若 SwiGLU 仍用 隐层,参数量会变成 ,是 ReLU² 的 倍,此时“更强”可能只是参数更多;nanochat 的实验没有犯这个错误。d24 的 ReLU² 单层参数为 ,是 d12 的 倍( 翻倍使 变 倍)。
例 4:仓库中的前馈层与初始化
class MLP(nn.Module):
def __init__(self, config):
super().__init__()
self.c_fc = Linear(config.n_embd, 4 * config.n_embd, bias=False)
self.c_proj = Linear(4 * config.n_embd, config.n_embd, bias=False)
def forward(self, x):
x = self.c_fc(x)
x = F.relu(x).square()
x = self.c_proj(x)
return x
# init_weights 中的对应两行
torch.nn.init.uniform_(block.mlp.c_fc.weight, -s * 0.4, s * 0.4)
torch.nn.init.zeros_(block.mlp.c_proj.weight)
这段代码与例 1 的结构一致,差别在维度与初始化: 时 c_fc 是 ,c_proj 是 ;c_fc 用 倍均匀初始化,c_proj 零初始化。无偏置使 F.linear 只需一次矩阵乘;若加偏置,c_proj 的零初始化不再使块严格恒等(偏置仍会产生常数输出),初始化时必须同时把偏置置零。
易错点
以下六条均可由数值、形状或单元测试直接检验。
1. 激活顺序写反。
F.relu(x).square()与F.relu(x.square())形状相同、都能运行,但后者在负半轴输出平方值,稀疏性消失,等价于 。检验方法:输入 ,前者输出 ,后者输出 。2. 把“4 倍扩张”理解成 4 个 维参数。 意味着参数量 ,不是 或 ;d12 的前馈层是 个参数,不是 。
3. SwiGLU 隐层不匹配。参数匹配要求 ;沿用 会使参数量变为 ,与 ReLU² 的对比不再公平,且显存与 FLOPs 都超出预算。
4. 给前馈层加偏置。nanochat 的
c_fc、c_proj都是bias=False;加偏置会破坏c_proj零初始化带来的块恒等性质,并改变检查点的参数键。若移植其它实现,必须同时处理偏置项。5. 把 ReLU² 说成二阶可导。它在 处一阶连续,但二阶导数从 跳到 ,不是 ;依赖二阶导数的分析(如 Hessian 谱)不能直接套用。
6. 忘记
c_proj零初始化在init_weights中。GPT.__init__在 meta device 上下文运行,写入的零值会被丢弃;若只在__init__中置零,实际初始化时c_proj仍是默认随机值,块不再是恒等映射,训练初期损失与梯度都会不同。
关联笔记
- 前置 残差连接与LayerNorm:前馈层是第二个残差子层,输入先经 RMSNorm;该篇给出 pre-norm 结构与零初始化对恒等块的作用。
- 后续 GPT模型类与config:该篇把
MLP放回Block与GPT.forward,并解释4 * n_embd如何随--depth变化。 - 后续 从第一性看nanochat的gpt.py:该篇逐行拆解
gpt.py,本篇的参数量与 FLOPs 核算是其中“参数都花在哪里”一节的输入。 - 对照 激活函数(跨库):该篇给出 ReLU、GELU、GLU 系列的通用性质与梯度推导;本篇只保留 nanochat 的 ReLU²、无偏置、 倍扩张与 SwiGLU 负结果。
- 对照 nanochat架构特化技巧:该篇汇总 ReLU²、Value Embedding、smear 等特化技巧;本篇给出前馈层这一项的完整推导。
达标检测
- [ ] 写出前馈层的定义式,说明为什么没有非线性时两层矩阵可以合并,以及为什么 softmax 的存在不使整个模型线性。
- [ ] 推导 倍扩张下的参数量 与前向 FLOPs ,并给出 d12、d24 的具体数值。
- [ ] 写出 ReLU、GELU、SwiGLU、ReLU² 的公式与导数,说明各自的负半轴行为;解释 ReLU² 为何是 而不是 。
- [ ] 推导 SwiGLU 在 时的参数量与 FLOPs,说明为什么不能用 隐层做公平对比。
- [ ] 运行例 2,报告 时 ReLU² 的值与导数,并说明把顺序写反后哪些数值会改变。
- [ ] 说明
c_proj零初始化对块的作用,以及为什么该初始化必须写在init_weights而不是__init__。 - [ ] 用 d12 与 d24 的数值说明前馈层参数占块内矩阵参数的 ,并解释这一比例为何与 无关。
- [ ] 用
dev/LOG.md2026-02-05 的记录陈述 SwiGLU 负结果的实验条件与结论,区分“该实验的结论”与“SwiGLU 的一般性质”。
参考来源
- So et al., "Primer: Searching for Efficient Transformers for Language Modeling", arXiv:2109.08668 —— 对应本篇第 3、4 节的 ReLU² 定义、导数性质与在 Transformer 前馈层中的使用。
- Vaswani et al., "Attention Is All You Need", arXiv:1706.03762, 第 3.3 节 —— 对应第 1 节的逐位置前馈定义与第 2 节的 倍扩张。
- Chowdhery et al., "PaLM: Scaling Language Modeling with Pathways", arXiv:2204.02311 —— 对应第 3 节 SwiGLU 的公式与 隐层的参数匹配方式。
- Karpathy, nanochat,
nanochat/gpt.py的MLP、Linear、init_weights,dev/LOG.md2026-02-05「SwiGLU Activation (Negative Result)」与 2026-03-24「Parameter-Golf Ideas Sweep」(commit 92d63d4)—— 对应第 5 节的负结果与「在 nanochat 中的落地」一节的实现、初始化。 - Raschka, Build a Large Language Model (From Scratch), 2024, 第 4 章 —— 对应第 2 节的参数量核算与例 1 的逐项手算。