---
tags: [nanochat, transformer, mlp]
阶段: 04-Transformer架构
难度: ★★☆
created: 2026-10-22
related: "[[残差连接与LayerNorm]], [[GPT模型类与config]], [[激活函数]], [[从第一性看nanochat的gpt.py]]"
---

# 前馈层与激活函数

## 定义

**前馈层**（feed-forward network，FFN）是 Transformer 块中逐 token 作用的两层线性变换加一个逐元素非线性：

$$
\operatorname{FFN}(\mathbf{x})=\mathbf{W}_2\,\sigma(\mathbf{W}_1\mathbf{x}+\mathbf{b}_1)+\mathbf{b}_2,
$$

其中 $\mathbf{x}\in\mathbb{R}^{C}$ 是单个 token 的表示，$\mathbf{W}_1\in\mathbb{R}^{d_{ff}\times C}$、$\mathbf{W}_2\in\mathbb{R}^{C\times d_{ff}}$，$d_{ff}$ 为隐层宽度，$\sigma$ 为逐元素激活函数。**扩张比**（expansion ratio）指 $d_{ff}/C$，标准 Transformer 取 $4$。nanochat 取 $\mathbf{b}_1=\mathbf{b}_2=\mathbf{0}$，并把 $\sigma$ 换成平方 ReLU：

$$
\operatorname{FFN}_{\text{nanochat}}(\mathbf{x})
=\mathbf{W}_2\big(\operatorname{ReLU}(\mathbf{W}_1\mathbf{x})\big)^{2},
$$

其中平方是逐元素的。符号与术语如下。

| 符号 | 含义 |
|---|---|
| $C$ | 模型维度，代码中 `n_embd` |
| $d_{ff}$ | 隐层宽度，代码中 `4 * n_embd` |
| $\mathbf{W}_1$ | 输入投影，代码中 `c_fc`，形状 $(d_{ff},C)$ |
| $\mathbf{W}_2$ | 输出投影，代码中 `c_proj`，形状 $(C,d_{ff})$ |
| $\sigma$ | 逐元素激活函数 |
| $\operatorname{ReLU}(x)$ | $\max(0,x)$ |
| $\operatorname{GELU}(x)$ | $x\Phi(x)$，$\Phi$ 为标准正态分布函数 |
| $\operatorname{Swish}(x)$ | $x\,\sigma_{\text{sig}}(x)$，$\sigma_{\text{sig}}$ 为 logistic 函数 |
| $\operatorname{SwiGLU}$ | 带门控的三矩阵前馈层，见第 3 节 |

**平方 ReLU**（ReLU²，squared ReLU）是 $\operatorname{ReLU}(x)^2$，由 Primer 论文提出。**门控线性单元**（gated linear unit，GLU）是把一个线性投影经激活后与另一个线性投影逐元素相乘的结构；**SwiGLU** 是其中激活取 Swish 的版本。

## 为什么重要

注意力负责跨 token 混合，前馈层负责逐 token 的通道变换。两者分工明确：注意力把不同位置的信息搬到当前位置，前馈层在当前位置把搬来的信息重新组合成新特征。一个块中前馈层的矩阵参数是 $8C^2$，注意力是 $4C^2$，前馈层占块内矩阵参数的 $2/3$；去掉前馈层，模型的通道变换只剩注意力的输出投影，容量大幅下降。

非线性是前馈层存在的理由。若 $\sigma$ 为恒等映射，两层线性变换可合并为一个矩阵，逐 token 的变换退化为线性，深度堆叠不再增加通道维的表达能力（跨 token 的非线性仍由 softmax 提供，但通道变换没有）。激活函数的选择因此同时影响质量、参数量与 FLOPs：ReLU 简单稀疏，GELU 平滑，SwiGLU 用门控换取表达力但需要三个矩阵，ReLU² 用平方换取平滑且不增加矩阵。

nanochat 的选择是 ReLU²、$4$ 倍扩张、无偏置。这三项都不是默认值：GPT-2 用 GELU 与偏置，PaLM 用 SwiGLU。`dev/LOG.md` 2026-02-05 记录了把 ReLU² 换成参数匹配的 SwiGLU 的实验，结论是在 d12 与 d24 上都更差，未采用。理解这个负结果需要先算清参数与 FLOPs 的匹配关系，否则“SwiGLU 更强”的先验会掩盖规模与实现成本的差异。

在全书中的位置：本篇承接 [[残差连接与LayerNorm]] 的 pre-norm 残差结构，前馈层的输出加回残差流；[[GPT模型类与config]] 与 [[从第一性看nanochat的gpt.py]] 会把 `MLP` 放回 `GPT.forward`；[[nanochat架构特化技巧]] 汇总 ReLU²、无偏置、Value Embedding 等非标准选择。跨库的激活函数全景见 [[激活函数]]，本篇只写 nanochat 的实现与取舍。

## 原理与推导

### 1 逐 token 变换与非线性

前馈层对序列中每个位置独立施加同一组权重。设输入为 $\mathbf{X}\in\mathbb{R}^{T\times C}$，则

$$
\operatorname{FFN}(\mathbf{X})=\sigma(\mathbf{X}\mathbf{W}_1^{\top})\mathbf{W}_2^{\top},
$$

其中 $\sigma$ 逐元素作用，$\mathbf{W}_1^{\top}$ 与代码中 `c_fc.weight` 的形状 $(d_{ff},C)$ 对应。整个过程不跨位置混合：第 $t$ 行的输出只依赖第 $t$ 行的输入。因此前馈层可以与注意力交换顺序而不破坏因果性，残差与归一化的位置才是结构差异的来源。

去掉非线性后，

$$
\mathbf{W}_2^{\top}\mathbf{W}_1^{\top}=\mathbf{M}\in\mathbb{R}^{C\times C},
$$

两层塌缩成一层。若每个块的前馈都如此，块内逐 token 部分等价于一个线性映射，多个块复合仍是线性映射；模型的通道变换只能表达线性特征组合。注意 softmax 仍是非线性的，因此整个模型不会退化为线性模型，但通道维的非线性表达确实消失，这是“前馈层必须有激活”的准确表述。

### 2 4 倍扩张：参数与 FLOPs

标准扩张比取 $4$，即 $d_{ff}=4C$。参数量为

$$
\underbrace{C\cdot d_{ff}}_{\mathbf{W}_1}+\underbrace{d_{ff}\cdot C}_{\mathbf{W}_2}=2Cd_{ff}=8C^2,
$$

前向 FLOPs 为

$$
2C d_{ff}+2d_{ff}C=4Cd_{ff}=16C^2,
$$

其中每个乘加计 $2$ FLOPs。以 d12（$C=768$、$d_{ff}=3072$）为例：`c_fc` 有 $2\,359\,296$ 个参数，`c_proj` 有 $2\,359\,296$ 个参数，合计 $4\,718\,592$；每 token 前向 $16\times768^2=9\,437\,184$ FLOPs。d24（$C=1536$、$d_{ff}=6144$）对应每层 $18\,874\,368$ 个参数、每 token $37\,748\,736$ FLOPs。

扩张比决定容量与成本的平衡。$d_{ff}$ 越大，隐层能容纳的特征越多，但参数与 FLOPs 线性增长；$4$ 倍是原论文的经验取值，nanochat 沿用且未在 04 阶段做扩张比扫描。由于前馈层占块内矩阵参数的 $2/3$，扩张比的一个小改动会显著改变总参数量与每 token 算力。

各深度的具体数值如下。`model_dim` 由 `--depth` 与 `--aspect-ratio` 决定，$d_{ff}=4C$ 随之变化；表中“块内占比”指前馈层参数占“注意力 $4C^2$ + 前馈 $8C^2$”的比例，恒为 $2/3$。

| 深度 | $C$ | $d_{ff}$ | `c_fc` 参数 | `c_proj` 参数 | 单层合计 | 前向 FLOPs/token | 块内占比 |
|---|---|---|---|---|---|---|---|
| d12 | 768 | 3072 | $2\,359\,296$ | $2\,359\,296$ | $4\,718\,592$ | $9\,437\,184$ | $2/3$ |
| d20 | 1280 | 5120 | $6\,553\,600$ | $6\,553\,600$ | $13\,107\,200$ | $26\,214\,400$ | $2/3$ |
| d24 | 1536 | 6144 | $9\,437\,184$ | $9\,437\,184$ | $18\,874\,368$ | $37\,748\,736$ | $2/3$ |

按前向加反向的 $6$ 倍系数折算，d12 的前馈层每 token 约 $2.83\times10^7$ FLOPs，12 层合计约 $3.40\times10^8$；同一模型的注意力投影为 $6\cdot4C^2=1.42\times10^7$，打分与加权在 $T=2048$、`SSSL` 窗口下约 $9.91\times10^7$。因此在 $T=2048$ 时注意力仍是主要算力项，前馈层则在块内参数预算中占主导。两者随 $T$ 与 $C$ 的不同增长方式决定了不同深度、不同上下文下的瓶颈位置，这也是 [[FLOPs与训练成本估算]] 需要分别核算的原因。

### 3 四种激活的对比

**ReLU**：$\sigma(x)=\max(0,x)$。计算只需一次比较，负半轴输出为零，激活稀疏。缺点是负半轴梯度恒为零，一旦某个单元的输入长期为负，该单元不再更新（死亡 ReLU）。

**GELU**：$\sigma(x)=x\Phi(x)$，其中 $\Phi$ 是标准正态分布的累积分布函数。它可写成 $\sigma(x)=x\cdot\frac{1}{2}\big(1+\operatorname{erf}(x/\sqrt{2})\big)$，常用 tanh 近似。GELU 在负半轴保留小幅负值，曲线平滑，是 GPT-2 的选择。导数 $\sigma'(x)=\Phi(x)+x\varphi(x)$，其中 $\varphi$ 为正态密度。

**SwiGLU**：把前馈层改成门控形式

$$
\operatorname{SwiGLU}(\mathbf{x})=\mathbf{W}_3\big(\operatorname{Swish}(\mathbf{W}_1\mathbf{x})\odot\mathbf{W}_2\mathbf{x}\big),
$$

其中 $\mathbf{W}_1,\mathbf{W}_2\in\mathbb{R}^{d_{ff}\times C}$、$\mathbf{W}_3\in\mathbb{R}^{C\times d_{ff}}$，$\odot$ 为逐元素乘。三个矩阵使参数量从 $2Cd_{ff}$ 变为 $3Cd_{ff}$；为与 $4$ 倍 ReLU 的参数量、FLOPs 对齐，取

$$
d_{ff}=\frac{8C}{3},
$$

此时 $3C\cdot\frac{8C}{3}=8C^2$，FLOPs 为 $3\cdot2C\cdot\frac{8C}{3}=16C^2$，与 ReLU 的 $4$ 倍版本完全相同。$8/3$ 不是独立超参数，而是“三矩阵对两矩阵”的参数守恒解；实际实现中还要把 $d_{ff}$ 取整到 $64$ 或 $128$ 的倍数以适配张量核心，取整后参数量与 FLOPs 与 ReLU² 相差在 $1\%$ 到 $2\%$ 量级。SwiGLU 增加的是门控乘法与一次额外的矩阵乘，不增加理论 FLOPs。

**ReLU²**：$\sigma(x)=\operatorname{ReLU}(x)^2=\max(0,x)^2$。它是 Primer 论文为 Transformer 提出的激活，性质介于 ReLU 与 GELU 之间：负半轴输出为零（与 ReLU 一样稀疏），正半轴是二次函数（比 ReLU 更平滑）。导数

$$
\frac{d}{dx}\operatorname{ReLU}(x)^2=2\operatorname{ReLU}(x),
$$

在 $x=0$ 处连续（左导与右导都为 $0$），因此是 $C^1$ 函数；二阶导数在 $0$ 处从 $0$ 跳到 $2$，不是 $C^2$。它没有可学习参数，不增加矩阵，计算只比 ReLU 多一次乘法。

四者的对比如下（$C$ 为模型维度，$\Phi$ 为正态分布函数，$\varphi$ 为密度）。

| 激活 | 公式 | 参数量 | 前向 FLOPs/token | 平滑性 | 负半轴 |
|---|---|---|---|---|---|
| ReLU | $\max(0,x)$ | $8C^2$ | $16C^2$ | $C^0$，$0$ 处不可导 | 输出与梯度均为 $0$ |
| GELU | $x\Phi(x)$ | $8C^2$ | $16C^2$（erf 另计） | 光滑 | 小幅负输出，梯度非零 |
| SwiGLU | $(\operatorname{Swish}(\mathbf{W}_1\mathbf{x})\odot\mathbf{W}_2\mathbf{x})\mathbf{W}_3$ | $8C^2$（$d_{ff}=8C/3$） | $16C^2$ | 光滑 | 门控可输出负值 |
| ReLU² | $\max(0,x)^2$ | $8C^2$ | $16C^2$ | $C^1$ | 输出与梯度均为 $0$ |

### 4 平方 ReLU 的性质

设 $g(x)=\operatorname{ReLU}(x)^2$。三条性质直接由定义得到。

第一，非负且稀疏。$g(x)\ge0$，$x\le0$ 时 $g(x)=0$ 且 $g'(x)=0$。与 ReLU 相同，负半轴不传播梯度；与 ReLU 不同的是正半轴的斜率随 $x$ 增大，$g'(x)=2x$，大激活的梯度更大。

第二，二次齐次性。$g(ax)=a^2g(x)$（$a>0$），因此输出对输入的尺度敏感；若输入 RMS 从 $1$ 变到 $2$，输出放大约 $4$ 倍。nanochat 在每个前馈层之前做 RMSNorm，把输入尺度固定为 $1$，这一性质不会造成尺度漂移；若去掉 pre-norm，二次放大与残差叠加会使深层数值范围迅速扩大。

第三，平滑但不改变支撑集。$g$ 在 $0$ 处一阶连续，避免了 ReLU 的不可导点；但支撑集仍是 $x>0$，负半轴的信息仍被丢弃。它没有 GELU 的负半轴小值，因此不具备 GELU 的“负向抑制”表达能力；换来的是计算简单与稀疏性。`dev/LOG.md` 2026-03-24 记录过把 ReLU² 换成 $\operatorname{LeakyReLU}(0.5)^2$ 的尝试：每步质量略好但更慢，按墙钟时间净结果更差，未采用；这说明在本规模下，ReLU² 的简单实现比“修复负半轴”更重要。

### 5 为什么 SwiGLU 在 nanochat 上是负结果

`dev/LOG.md` 2026-02-05 的条目把 ReLU² 换成 SwiGLU，并按第 3 节的方式把隐层从 $4C$ 缩到 $8C/3$，使参数量与 FLOPs 匹配。实验在 d12 与 d24 两个规模上进行，结论是“Worse on all measures — step efficiency, wall clock time, and FLOPs. ReLU² remains superior for nanochat. **Not adopted.**”

这是事实陈述，不是对 SwiGLU 的一般性否定。条目里的三项度量需要区分：step efficiency 指相同优化步数下的验证损失，wall clock time 指相同墙钟时间下的损失，FLOPs 指计入门控与额外矩阵乘后的实际算力。三者同时变差，说明在匹配理论参数与 FLOPs 后，SwiGLU 没有把额外表达力转化为更快的收敛。可以指出三条与实现相关的机制，解释为什么“理论 FLOPs 相同”仍可能更慢。其一，三个矩阵意味着三次 GEMM 与两次隐层激活的读写，激活显存从一份变为两份，显存受限时带宽成本上升。其二，门控乘法是逐元素操作，融合程度低于单个激活，内核启动与临时张量更多。其三，在 d12 这种小模型上，固定开销（内核启动、调度）占比更高，理论 FLOPs 的优势更难兑现。这些因素与具体硬件、编译器与实现有关，不能外推为“SwiGLU 在任何规模都更差”。

### 在 nanochat 中的落地

**`MLP` 类。** `nanochat/gpt.py` 中的实现只有两个线性层与一个激活：

```python
class MLP(nn.Module):
    def __init__(self, config):
        super().__init__()
        self.c_fc = Linear(config.n_embd, 4 * config.n_embd, bias=False)
        self.c_proj = Linear(4 * config.n_embd, config.n_embd, bias=False)

    def forward(self, x):
        x = self.c_fc(x)
        x = F.relu(x).square()
        x = self.c_proj(x)
        return x
```

`c_fc` 的输出维是 $4C$，`c_proj` 回到 $C$。无偏置、无 dropout、无门控。`F.relu(x).square()` 的求值顺序是“先 ReLU 再平方”；若写成 `F.relu(x.square())`，平方会把负值变正，ReLU 不再产生稀疏，等价于 $x^2$，激活的支撑集从 $x>0$ 变为全体实数，模型行为改变而形状不变。

**初始化。** `init_weights` 中前馈层的两行是：

```python
torch.nn.init.uniform_(block.mlp.c_fc.weight, -s * 0.4, s * 0.4)  # c_fc 使用 0.4 倍初始化
torch.nn.init.zeros_(block.mlp.c_proj.weight)
```

其中 `s = 3**0.5 * n_embd**-0.5`，均匀分布的边界取 $\pm0.4s$，标准差为 $0.4/\sqrt{C}$。`c_proj` 零初始化使前馈子层在训练开始时输出为零，块退化为恒等映射；这与注意力输出投影的零初始化配合，保证整块在初始化时是恒等变换。`c_fc` 的 $0.4$ 倍缩放降低初始隐层激活的尺度，避免二次激活在初始阶段放大方差。零初始化必须放在 `init_weights` 中，因为 `__init__` 运行在 meta device 上下文，写入的数值会被丢弃。

**线性层的 dtype。** nanochat 自定义了 `Linear(nn.Linear)`，前向时把权重 cast 到输入 dtype：

```python
class Linear(nn.Linear):
    def forward(self, x):
        return F.linear(x, self.weight.to(dtype=x.dtype))
```

master 权重保持 fp32，矩阵乘用激活 dtype（SM80+ 为 bf16）。`c_fc` 与 `c_proj` 都继承该行为，因此前馈层的计算精度与注意力一致；这也是 `MLP` 中不需要手动指定 dtype 的原因。

**FLOPs 核算。** `GPT.num_matmul_params` 统计所有 `Linear` 的权重元素数，前馈层的 $8C^2$ 被计入；`GPT.estimate_flops` 用 $6\times$ 矩阵参数加注意力项。以 d12 为例，前馈层每层 $4\,718\,592$ 个矩阵参数，乘以 $6$ 得每 token 前向加反向 $28\,311\,552$ FLOPs；12 层合计约 $3.40\times10^8$，与注意力部分的量级相当。这一核算是 [[FLOPs与训练成本估算]] 中成本估算的输入。

**无 dropout、无偏置的理由。** `MLP` 中既没有 `nn.Dropout`，也没有 `bias=True`。dropout 在大规模预训练中通常被省略：数据量足够时正则化收益有限，而随机性会降低吞吐并增加训练与推理路径的不一致。偏置的省略与归一化位置有关：每个子层的输入已经过 RMSNorm，逐通道偏置的作用与后续线性层部分重叠；去掉偏置还能让 `c_proj` 的零初始化严格等价于“子层输出为零”，使块在初始化时是精确的恒等映射。若加偏置，必须同时把 `c_proj.bias` 也置零，否则块在初始时就有常数输出。nanochat 选择从结构上排除这一分支。

**与 SwiGLU 的关系。** 当前 `gpt.py` 只有 ReLU² 实现，SwiGLU 只出现在 `dev/LOG.md` 的实验记录中，未进入主分支。若要在本地复现该负结果，需要把 `MLP` 改成三矩阵版本、把 `c_fc` 的输出维改为 `(8 * n_embd) // 3`，并重新调初始化与学习率；直接替换而不匹配隐层宽度，参数量会变成 $12C^2$，对比不再公平。

## 关键直觉

> [!tip] 机制性表述
> 前馈层是逐 token 的通道变换：先把 $C$ 维升到 $4C$，用 ReLU² 做稀疏非线性，再降回 $C$ 维。非线性使两层矩阵不能合并，$4$ 倍扩张提供容量，平方使激活在 $0$ 处一阶连续且在正半轴有随幅度增长的梯度。SwiGLU 用三个矩阵与门控换取表达力，在参数与 FLOPs 匹配时理论上等价，但在 nanochat 的 d12/d24 实验中没有兑现为更快的墙钟时间，因此未被采用。

该表述与严格定义的关系：第 2 节给出 $8C^2$ 参数与 $16C^2$ FLOPs 的推导，第 3 节给出四种激活的公式与匹配关系，第 4 节给出 ReLU² 的导数与齐次性，第 5 节给出负结果的实验条件，「在 nanochat 中的落地」一节把这些结论对应到 `MLP`、`init_weights` 与 `Linear`。所谓“容量”由 $d_{ff}$ 与参数量度量，不由激活函数单独决定。

## 例子与代码

### 例 1：手算一个小前馈层

取 $C=3$、$d_{ff}=4$、无偏置，给定

$$
\mathbf{x}=(1,-2,0.5),\quad
\mathbf{W}_1=\begin{pmatrix}1&0&0&1\\0&1&0&-1\\0&0&1&0\end{pmatrix},\quad
\mathbf{W}_2=\begin{pmatrix}1&0&0\\0&1&0\\0&0&1\\1&1&0\end{pmatrix}.
$$

```python
import numpy as np
import torch
import torch.nn.functional as F

x = np.array([1.0, -2.0, 0.5])
W1 = np.array([[1., 0., 0., 1.], [0., 1., 0., -1.], [0., 0., 1., 0.]])   # (3,4)
W2 = np.array([[1., 0., 0.], [0., 1., 0.], [0., 0., 1.], [1., 1., 0.]])   # (4,3)
h = x @ W1
a = np.maximum(h, 0) ** 2
y = a @ W2
print("隐层", h)
print("ReLU 平方", a)
print("输出", y)
print("参数量", W1.size + W2.size)

xt = torch.tensor(x)
yt = F.linear(F.relu(F.linear(xt, torch.tensor(W1).T)).square(), torch.tensor(W2).T)
print("PyTorch 输出", yt.tolist())
```

```text
隐层 [ 1. -2.  0.5  3. ]
ReLU 平方 [1.   0.   0.25 9.  ]
输出 [10.    9.    0.25]
参数量 24
PyTorch 输出 [10.0, 9.0, 0.25]
```

逐项核对：$\mathbf{x}\mathbf{W}_1$ 的第 $4$ 个分量是 $1\cdot1+(-2)\cdot(-1)+0.5\cdot0=3$；ReLU 平方后为 $9$。输出第 $1$ 个分量是 $1\cdot1+0+0.25\cdot0+9\cdot1=10$，第 $2$ 个是 $0+0+0+9=9$，第 $3$ 个是 $0.25$。参数量 $12+12=24$，与 $2Cd_{ff}=2\cdot3\cdot4$ 一致。PyTorch 与 NumPy 的输出相同，说明 `F.linear` 的权重布局（内部转置）与手算一致。

### 例 2：四种激活的数值与导数

```python
import torch
import torch.nn.functional as F

xs = torch.tensor([-2., -1., -0.5, 0., 0.5, 1., 2.])
print("x     ", xs.tolist())
print("ReLU  ", torch.relu(xs).tolist())
print("ReLU2 ", torch.relu(xs).square().tolist())
print("GELU  ", [round(v, 4) for v in F.gelu(xs).tolist()])
print("Swish ", [round(v, 4) for v in F.silu(xs).tolist()])
print("ReLU2 导数", (2 * torch.relu(xs)).tolist())
```

```text
x      [-2.0, -1.0, -0.5, 0.0, 0.5, 1.0, 2.0]
ReLU   [0.0, 0.0, 0.0, 0.0, 0.5, 1.0, 2.0]
ReLU2  [0.0, 0.0, 0.0, 0.0, 0.25, 1.0, 4.0]
GELU   [-0.0455, -0.1587, -0.1543, 0.0, 0.3457, 0.8413, 1.9545]
Swish  [-0.2384, -0.2689, -0.1888, 0.0, 0.3112, 0.7311, 1.7616]
ReLU2 导数 [0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 4.0]
```

三处可直接观察的差异。第一，负半轴：ReLU 与 ReLU² 输出恒为 $0$，GELU 与 Swish 保留小幅负值，因而它们的梯度在负半轴不为零。第二，正半轴：ReLU 线性增长，ReLU² 二次增长，$x=2$ 时已经是 $4$；这意味着大激活的梯度也更大（导数为 $4$）。第三，$x=0$ 处：ReLU² 的左右导数都是 $0$，函数一阶连续；ReLU 在 $0$ 处不可导，GELU 与 Swish 光滑。这些数值可以直接用于核对实现：若把 `F.relu(x).square()` 写成 `F.relu(x.square())`，负半轴输出会变成 $4,1,0.25$，与上表不符，测试可立即发现。

### 例 3：ReLU² 与 SwiGLU 的参数匹配

```python
C = 768
hidden_relu2 = 4 * C
hidden_swiglu = (8 * C) // 3
print("ReLU2 隐层", hidden_relu2, "参数", 2 * C * hidden_relu2, "FLOPs/token", 4 * C * hidden_relu2)
print("SwiGLU 隐层", hidden_swiglu, "参数", 3 * C * hidden_swiglu, "FLOPs/token", 6 * C * hidden_swiglu)
print("d24 ReLU2 参数", 2 * 1536 * 6144, "FLOPs/token", 4 * 1536 * 6144)
```

```text
ReLU2 隐层 3072 参数 4718592 FLOPs/token 9437184
SwiGLU 隐层 2048 参数 4718592 FLOPs/token 9437184
d24 ReLU2 参数 18874368 FLOPs/token 37748736
```

d12 下两种结构的参数量与 FLOPs 完全相同，这是 `dev/LOG.md` 负结果实验的公平比较前提。若 SwiGLU 仍用 $4C$ 隐层，参数量会变成 $3C\cdot4C=12C^2$，是 ReLU² 的 $1.5$ 倍，此时“更强”可能只是参数更多；nanochat 的实验没有犯这个错误。d24 的 ReLU² 单层参数为 $18\,874\,368$，是 d12 的 $4$ 倍（$C$ 翻倍使 $8C^2$ 变 $4$ 倍）。

### 例 4：仓库中的前馈层与初始化

```python
class MLP(nn.Module):
    def __init__(self, config):
        super().__init__()
        self.c_fc = Linear(config.n_embd, 4 * config.n_embd, bias=False)
        self.c_proj = Linear(4 * config.n_embd, config.n_embd, bias=False)

    def forward(self, x):
        x = self.c_fc(x)
        x = F.relu(x).square()
        x = self.c_proj(x)
        return x

# init_weights 中的对应两行
torch.nn.init.uniform_(block.mlp.c_fc.weight, -s * 0.4, s * 0.4)
torch.nn.init.zeros_(block.mlp.c_proj.weight)
```

这段代码与例 1 的结构一致，差别在维度与初始化：$C=768$ 时 `c_fc` 是 $3072\times768$，`c_proj` 是 $768\times3072$；`c_fc` 用 $0.4$ 倍均匀初始化，`c_proj` 零初始化。无偏置使 `F.linear` 只需一次矩阵乘；若加偏置，`c_proj` 的零初始化不再使块严格恒等（偏置仍会产生常数输出），初始化时必须同时把偏置置零。

## 易错点

> [!warning] 以下六条均可由数值、形状或单元测试直接检验。
> 1. 激活顺序写反。`F.relu(x).square()` 与 `F.relu(x.square())` 形状相同、都能运行，但后者在负半轴输出平方值，稀疏性消失，等价于 $x^2$。检验方法：输入 $[-2,-1,0,1]$，前者输出 $[0,0,0,1]$，后者输出 $[4,1,0,1]$。
> 2. 把“4 倍扩张”理解成 4 个 $C$ 维参数。$d_{ff}=4C$ 意味着参数量 $8C^2$，不是 $4C$ 或 $4C^2$；d12 的前馈层是 $4\,718\,592$ 个参数，不是 $3072$。
> 3. SwiGLU 隐层不匹配。参数匹配要求 $d_{ff}=8C/3$；沿用 $4C$ 会使参数量变为 $12C^2$，与 ReLU² 的对比不再公平，且显存与 FLOPs 都超出预算。
> 4. 给前馈层加偏置。nanochat 的 `c_fc`、`c_proj` 都是 `bias=False`；加偏置会破坏 `c_proj` 零初始化带来的块恒等性质，并改变检查点的参数键。若移植其它实现，必须同时处理偏置项。
> 5. 把 ReLU² 说成二阶可导。它在 $0$ 处一阶连续，但二阶导数从 $0$ 跳到 $2$，不是 $C^2$；依赖二阶导数的分析（如 Hessian 谱）不能直接套用。
> 6. 忘记 `c_proj` 零初始化在 `init_weights` 中。`GPT.__init__` 在 meta device 上下文运行，写入的零值会被丢弃；若只在 `__init__` 中置零，实际初始化时 `c_proj` 仍是默认随机值，块不再是恒等映射，训练初期损失与梯度都会不同。

## 关联笔记

- 前置 [[残差连接与LayerNorm]]：前馈层是第二个残差子层，输入先经 RMSNorm；该篇给出 pre-norm 结构与零初始化对恒等块的作用。
- 后续 [[GPT模型类与config]]：该篇把 `MLP` 放回 `Block` 与 `GPT.forward`，并解释 `4 * n_embd` 如何随 `--depth` 变化。
- 后续 [[从第一性看nanochat的gpt.py]]：该篇逐行拆解 `gpt.py`，本篇的参数量与 FLOPs 核算是其中“参数都花在哪里”一节的输入。
- 对照 [[激活函数]]（跨库）：该篇给出 ReLU、GELU、GLU 系列的通用性质与梯度推导；本篇只保留 nanochat 的 ReLU²、无偏置、$4$ 倍扩张与 SwiGLU 负结果。
- 对照 [[nanochat架构特化技巧]]：该篇汇总 ReLU²、Value Embedding、smear 等特化技巧；本篇给出前馈层这一项的完整推导。

## 达标检测

- [ ] 写出前馈层的定义式，说明为什么没有非线性时两层矩阵可以合并，以及为什么 softmax 的存在不使整个模型线性。
- [ ] 推导 $4$ 倍扩张下的参数量 $8C^2$ 与前向 FLOPs $16C^2$，并给出 d12、d24 的具体数值。
- [ ] 写出 ReLU、GELU、SwiGLU、ReLU² 的公式与导数，说明各自的负半轴行为；解释 ReLU² 为何是 $C^1$ 而不是 $C^2$。
- [ ] 推导 SwiGLU 在 $d_{ff}=8C/3$ 时的参数量与 FLOPs，说明为什么不能用 $4C$ 隐层做公平对比。
- [ ] 运行例 2，报告 $x=-2,-1,0,1,2$ 时 ReLU² 的值与导数，并说明把顺序写反后哪些数值会改变。
- [ ] 说明 `c_proj` 零初始化对块的作用，以及为什么该初始化必须写在 `init_weights` 而不是 `__init__`。
- [ ] 用 d12 与 d24 的数值说明前馈层参数占块内矩阵参数的 $2/3$，并解释这一比例为何与 $C$ 无关。
- [ ] 用 `dev/LOG.md` 2026-02-05 的记录陈述 SwiGLU 负结果的实验条件与结论，区分“该实验的结论”与“SwiGLU 的一般性质”。

## 参考来源

- So et al., "Primer: Searching for Efficient Transformers for Language Modeling", arXiv:2109.08668 —— 对应本篇第 3、4 节的 ReLU² 定义、导数性质与在 Transformer 前馈层中的使用。
- Vaswani et al., "Attention Is All You Need", arXiv:1706.03762, 第 3.3 节 —— 对应第 1 节的逐位置前馈定义与第 2 节的 $4$ 倍扩张。
- Chowdhery et al., "PaLM: Scaling Language Modeling with Pathways", arXiv:2204.02311 —— 对应第 3 节 SwiGLU 的公式与 $8C/3$ 隐层的参数匹配方式。
- Karpathy, *nanochat*，`nanochat/gpt.py` 的 `MLP`、`Linear`、`init_weights`，`dev/LOG.md` 2026-02-05「SwiGLU Activation (Negative Result)」与 2026-03-24「Parameter-Golf Ideas Sweep」（commit 92d63d4）—— 对应第 5 节的负结果与「在 nanochat 中的落地」一节的实现、初始化。
- Raschka, *Build a Large Language Model (From Scratch)*, 2024, 第 4 章 —— 对应第 2 节的参数量核算与例 1 的逐项手算。
