---
tags: [AI, 深度学习, 正则化, 调参]
阶段: 04-深度学习核心
难度: ★★★
created: 2026-10-18
related: "[[损失函数]], [[优化器与学习率]], [[数据增广]], [[PyTorch实战入门]]"
---

# 正则化与调参

## 定义

**正则化**（regularization）是在经验风险之外额外引入约束——参数范数惩罚、随机置零、激活统计量归一化、训练提前终止、标签软化、输入变换——使学到的函数在训练分布之外保持稳定、从而降低期望风险的一类技术的总称。

本篇符号：

- $\mathcal{D}=\{(\mathbf{x}_i,y_i)\}_{i=1}^{n}$：训练集；$n$ 为样本数；$\mathbf{x}_i\in\mathbb{R}^{d}$ 为第 $i$ 个输入；$y_i\in\{1,\dots,K\}$ 为类别标签；$d$ 为输入维数；$K$ 为类别数。
- $\boldsymbol\theta\in\mathbb{R}^{P}$：全部可学习参数；$P$ 为参数量。
- $f_{\boldsymbol\theta}$：参数为 $\boldsymbol\theta$ 的模型；$\ell(\cdot,\cdot)$：单样本损失函数。
- $\hat R(\boldsymbol\theta)=\frac1n\sum_{i=1}^{n}\ell\big(f_{\boldsymbol\theta}(\mathbf{x}_i),y_i\big)$：经验风险。
- $R(\boldsymbol\theta)=\mathbb{E}_{(\mathbf{x},y)\sim p_{\text{data}}}\big[\ell\big(f_{\boldsymbol\theta}(\mathbf{x}),y\big)\big]$：期望风险；$p_{\text{data}}$ 为数据真实分布。
- $\lambda\ge0$：正则化系数，属于超参数；$\lambda$ 越大约束越强。
- $\eta$：学习率；$t$：迭代步数；$B$：批大小。
- $\mathbf{h}\in\mathbb{R}^{H}$：某层激活向量；$H$ 为该层宽度；$h_j$ 为其第 $j$ 个分量。
- $p$：Dropout 中单个单元被置零的概率；$r_j\in\{0,1\}$ 为对应的伯努利采样。
- $\mu_B,\sigma_B^{2}$：一个批内的均值与方差；$\hat\mu,\hat\sigma^{2}$：推理阶段使用的滑动统计量；$m$：滑动平均动量；$\epsilon$：数值稳定常数。
- $\gamma,\beta$：归一化层的可学习缩放与平移参数；BN 中逐通道，LN 中逐特征。
- $\epsilon_{\text{ls}}$：标签平滑系数；$u_k=1/K$：均匀分布的第 $k$ 个分量。
- $\mathbf{z}\in\mathbb{R}^{K}$：logit 向量；$\mathbf{p}=\operatorname{softmax}(\mathbf{z})$；$y_k$ 为 one-hot 标签的第 $k$ 个分量。
- $H_{ij}=\partial^{2}\hat R/\partial\theta_i\partial\theta_j$：经验风险对参数的 Hessian 矩阵；$h_i$ 为其特征值。
- 上标 $(t)$ 表示第 $t$ 步的取值；$\|\cdot\|_1$、$\|\cdot\|_2$ 分别为 $\ell_1$、$\ell_2$ 范数；$\operatorname{sign}(\cdot)$ 为符号函数；$S_\lambda(\cdot)$ 为软阈值算子。

术语：

- 过拟合（overfitting）：经验风险显著低于期望风险、两者间隙随训练扩大的状态。
- 泛化间隙（generalization gap）：$R(\boldsymbol\theta)-\hat R(\boldsymbol\theta)$。
- 权重衰减（weight decay）：把 $\ell_2$ 惩罚的梯度并入参数更新、使参数每步按比例收缩的做法。
- 稀疏性（sparsity）：参数向量中精确为零的分量占比较高的性质。
- 内部协变量偏移（internal covariate shift）：训练过程中某层输入分布随前层参数更新而持续改变的现象。
- 早停（early stopping）：在验证误差不再下降时终止训练并回滚到最优检查点的策略。
- 标签平滑（label smoothing）：把 one-hot 目标替换为与均匀分布凸组合后的软目标的训练技巧。
- 超参数（hyperparameter）：不通过梯度下降学习、需在训练过程之外设定的量。

## 为什么重要

- 训练误差不能区分假设。当 $P>n$ 时，满足 $\hat R(\boldsymbol\theta)=0$ 的参数向量通常有无穷多个，经验风险对它们取值相同；最终选中哪一个由优化器的路径和显式惩罚决定，期望风险随选择不同而显著不同。以本篇示例网络为例，$784\times256+256+256\times10+10=203{,}530$ 个参数对应 60,000 个训练样本，仅凭训练损失无法判断模型是否可泛化。
- 没有约束时，模型会利用训练集中与标签偶然相关的特征。验证损失在若干轮后由降转升，是这种拟合的可见信号；对应的预测往往过度自信，对输入的微小扰动敏感。
- 正则化决定有效容量，而不是名义容量。L2 收缩参数范数，L1 产生精确零，Dropout 迫使模型不依赖单个特征，BN 约束激活的一阶与二阶矩，早停限制参数离开初始化的距离，标签平滑限制 logit 差距，数据增广扩张输入等价类。这些手段作用于不同对象，因此可以叠加，也因此在调参时需要分别控制强度。
- 在全书中的位置：前置为 [[损失函数]]（本篇以交叉熵为默认目标）、[[优化器与学习率]]（权重衰减与自适应学习率的耦合）、[[神经网络与前向传播]]（容量与初始化）；后续为 [[PyTorch实战入门]]（训练循环中模式切换的实现）、[[数据增广]]（输入侧的正则化）、[[Transformer架构详解]]（LayerNorm 的放置方式）。
- 对应能力目标：懂原理对应「解释 L1 为何产生零、BN 推理为何使用滑动统计量」；能复现对应「在同一初始化下对比有无正则化的验证曲线」；会评估对应「按固定顺序搜索超参数并报告方差」。

## 原理与推导

### 1. 过拟合的来源

把期望风险的最优值记为 $R^{*}=\inf_{\boldsymbol\theta}R(\boldsymbol\theta)$，把假设空间记为 $\mathcal{H}$，则对任意由数据选出的 $\hat{\boldsymbol\theta}$ 有恒等分解

$$R(\hat{\boldsymbol\theta})-R^{*}=\underbrace{\Big(\inf_{\boldsymbol\theta\in\mathcal{H}}R(\boldsymbol\theta)-R^{*}\Big)}_{\text{近似误差}}+\underbrace{\Big(R(\hat{\boldsymbol\theta})-\inf_{\boldsymbol\theta\in\mathcal{H}}R(\boldsymbol\theta)\Big)}_{\text{估计误差}}$$

近似误差只由假设空间决定，随容量增大而下降；估计误差来自用有限样本代替分布做选择，随容量增大而上升。容量增大到一定程度后，第二项主导，测试误差回升，这就是经典意义上的过拟合。

估计误差的上界可由一致收敛给出。以 VC 维 $\mathrm{VC}(\mathcal{H})$ 为容量度量，则以概率至少 $1-\delta$ 对所有 $\boldsymbol\theta\in\mathcal{H}$ 同时成立

$$R(\boldsymbol\theta)\ \le\ \hat R(\boldsymbol\theta)+O\!\left(\sqrt{\frac{\mathrm{VC}(\mathcal{H})-\log\delta}{n}}\right)$$

该界说明两件事：固定容量时，间隙随 $n^{-1/2}$ 缩小；固定 $n$ 时，间隙随容量上升。深度网络的参数量在 $10^{6}$ 到 $10^{9}$ 量级，$\mathrm{VC}(\mathcal{H})$ 与参数量同阶，代入 $n\approx10^{5}$ 后根号内远大于 1，界成为平凡上界。因此深度网络的泛化不能由该界解释，实际起作用的是优化器的隐式偏好、架构先验与显式正则化。

容量与测试误差的关系并非单调。把横轴取为模型容量，测试误差曲线通常先下降，在插值阈值附近出现峰值，随后再次下降，这一现象称为双重下降（double descent）。峰值左侧是经典过拟合区，参数被数据充分约束；峰值右侧是过参数化区，存在大量零训练误差解，随机梯度下降从较小初始化出发时倾向于收敛到范数较小或曲率较平坦的解，从而恢复泛化。正则化在两侧都有效：左侧直接限制容量，右侧改变隐式选择偏好。

可观测的过拟合信号有三类：训练损失继续下降而验证损失回升；训练准确率与验证准确率的间隙单调扩大；预测置信度分布向 1 集中而准确率不升。第三类信号对应标签平滑要解决的问题，见第 8 小节。

### 2. L2 权重衰减与几何解释

在经验风险上加 $\ell_2$ 惩罚，得到正则化目标

$$\tilde J(\boldsymbol\theta)=\hat R(\boldsymbol\theta)+\frac{\lambda}{2}\|\boldsymbol\theta\|_2^{2}$$

其梯度为 $\nabla_{\boldsymbol\theta}\tilde J=\nabla_{\boldsymbol\theta}\hat R+\lambda\boldsymbol\theta$，代入梯度下降并记 $\mathbf{g}_t=\nabla_{\boldsymbol\theta}\hat R(\boldsymbol\theta^{(t)})$：

$$\boldsymbol\theta^{(t+1)}=\boldsymbol\theta^{(t)}-\eta\big(\mathbf{g}_t+\lambda\boldsymbol\theta^{(t)}\big)=(1-\eta\lambda)\,\boldsymbol\theta^{(t)}-\eta\,\mathbf{g}_t$$

每一步先按因子 $1-\eta\lambda$ 收缩全部参数，再沿负梯度方向移动。即使某个参数当前梯度为零，它仍会被持续衰减，这是「权重衰减」名称的来源。因子必须为正，故要求 $\eta\lambda<1$；$\eta\lambda$ 接近 1 时参数在一步内被抹去，训练发散或塌缩。

二次近似下的闭式解说明收缩的方向性。设 $\hat R$ 在无约束极小点 $\boldsymbol\theta^{*}$ 附近可近似为 $\hat R(\boldsymbol\theta)\approx \hat R(\boldsymbol\theta^{*})+\frac12(\boldsymbol\theta-\boldsymbol\theta^{*})^{\top}\mathbf{H}(\boldsymbol\theta-\boldsymbol\theta^{*})$，令正则化目标梯度为零：

$$\mathbf{H}(\boldsymbol\theta-\boldsymbol\theta^{*})+\lambda\boldsymbol\theta=\mathbf{0}\quad\Longrightarrow\quad\boldsymbol\theta_\lambda=(\mathbf{H}+\lambda\mathbf{I})^{-1}\mathbf{H}\,\boldsymbol\theta^{*}$$

在 $\mathbf{H}$ 的特征基下，第 $i$ 个分量被乘以 $\dfrac{h_i}{h_i+\lambda}$。曲率大的方向（$h_i\gg\lambda$）几乎不受影响，曲率小的方向（$h_i\ll\lambda$）被强烈压缩。数据在这些方向上提供的约束弱，参数估计的方差大，收缩正是用偏差换方差。取 $h=(4.0,\,0.8,\,0.05)$、$\lambda=0.1$，三个因子分别为 $0.9756$、$0.8889$、$0.3333$，最小的曲率方向被压缩到原值的三分之一。

线性回归的岭回归解是同一结论的精确形式。设 $\mathbf{X}\in\mathbb{R}^{n\times d}$，$\mathbf{y}\in\mathbb{R}^{n}$，则

$$\hat{\mathbf{w}}_\lambda=(\mathbf{X}^{\top}\mathbf{X}+\lambda\mathbf{I})^{-1}\mathbf{X}^{\top}\mathbf{y}$$

对 $\mathbf{X}$ 做奇异值分解 $\mathbf{X}=\mathbf{U}\boldsymbol\Sigma\mathbf{V}^{\top}$，$\sigma_i$ 为奇异值，代入得

$$\hat{\mathbf{w}}_\lambda=\sum_{i}\frac{\sigma_i}{\sigma_i^{2}+\lambda}\,\mathbf{v}_i\,\mathbf{u}_i^{\top}\mathbf{y}$$

$i$ 遍历秩以内的方向；$\sigma_i^{2}$ 是 $\mathbf{X}^{\top}\mathbf{X}$ 的特征值。$\sigma_i$ 很小时，无正则解在该方向的系数被 $1/\sigma_i$ 放大，噪声沿该方向被急剧放大；正则解把放大倍数改为 $\sigma_i/(\sigma_i^{2}+\lambda)$，当 $\sigma_i\to0$ 时该系数趋于 0。这解释了共线性数据上岭回归为何稳定。

几何解释把约束写成等价形式。$\ell_2$ 惩罚的拉格朗日形式等价于

$$\min_{\boldsymbol\theta}\ \hat R(\boldsymbol\theta)\quad\text{s.t.}\quad\|\boldsymbol\theta\|_2\le c$$

$c$ 与 $\lambda$ 一一对应。在二维参数平面上，约束集是圆盘，$\hat R$ 的等高线族与圆盘首次接触的点即最优解。圆盘边界处处光滑，没有优先方向，接触点一般不在坐标轴上，因此 L2 不产生精确零，只产生整体缩小。

概率解释给出 $\lambda$ 的含义。设参数先验为 $\boldsymbol\theta\sim\mathcal{N}(\mathbf{0},\tau^{2}\mathbf{I})$，似然为高斯 $\mathbf{y}\mid\mathbf{X},\boldsymbol\theta\sim\mathcal{N}(\mathbf{X}\boldsymbol\theta,\sigma^{2}\mathbf{I})$，则负对数后验为

$$-\log p(\boldsymbol\theta\mid\mathcal{D})=\frac{1}{2\sigma^{2}}\|\mathbf{y}-\mathbf{X}\boldsymbol\theta\|_2^{2}+\frac{1}{2\tau^{2}}\|\boldsymbol\theta\|_2^{2}+\text{const}$$

两边乘以 $2\sigma^{2}$ 即得 $\lambda=\sigma^{2}/\tau^{2}$：观测噪声越大或先验越强，$\lambda$ 越大。L2 因此是高斯先验下的最大后验估计。

实现上需要注意两点。其一，偏置与归一化层的 $\gamma,\beta$ 通常不参与衰减，因为它们不控制函数复杂度，惩罚它们只会削弱表达能力。其二，Adam 的自适应缩放会把 $\ell_2$ 惩罚的梯度除以二阶矩估计，使大参数受到的惩罚被削弱，因此 AdamW 采用解耦衰减：先按 $\eta\lambda$ 收缩参数，再施加自适应更新。二者的差异见 [[优化器与学习率]]。

### 3. L1 惩罚与稀疏性

把惩罚换成 $\ell_1$ 范数：

$$\tilde J(\boldsymbol\theta)=\hat R(\boldsymbol\theta)+\lambda\|\boldsymbol\theta\|_1=\hat R(\boldsymbol\theta)+\lambda\sum_{j=1}^{P}|\theta_j|$$

$|\theta_j|$ 在 $\theta_j\ne0$ 处可导，导数为 $\operatorname{sign}(\theta_j)$；在 $\theta_j=0$ 处不可导，其次梯度为区间 $[-1,1]$。因此最优性条件写成

$$\partial_j\hat R+\lambda\,\partial|\theta_j|\ni0,\qquad \partial|\theta_j|=\begin{cases}\operatorname{sign}(\theta_j), & \theta_j\ne0\\ [-1,1], & \theta_j=0\end{cases}$$

在 $\theta_j=0$ 处条件变为 $|\partial_j\hat R|\le\lambda$，即只要该方向的梯度不够大，参数就停在零。这与 L2 在零点的条件 $\partial_j\hat R=0$ 不同：L2 只在梯度恰好为零时停在零，L1 在一个区间内都停在零。

一维情形可以完整求解。忽略其他参数，最小化

$$g(\theta)=\frac12(\theta-z)^{2}+\lambda|\theta|$$

分三段。$\theta>0$ 时 $g'=\theta-z+\lambda$，驻点 $\theta=z-\lambda$，仅在 $z>\lambda$ 时落在该段内，目标值为 $\lambda z-\frac12\lambda^{2}$；$\theta<0$ 时 $g'=\theta-z-\lambda$，驻点 $\theta=z+\lambda$，仅在 $z<-\lambda$ 时有效，目标值为 $-\lambda z-\frac12\lambda^{2}$；$\theta=0$ 时目标值为 $\frac12z^{2}$。当 $z>\lambda$ 时 $\lambda z-\frac12\lambda^{2}<\frac12z^{2}$ 等价于 $(z-\lambda)^{2}>0$，成立，故取 $z-\lambda$。当 $|z|\le\lambda$ 时两段内的驻点都不满足所在段的条件，可行域内只剩 $\theta=0$ 一个候选点，目标值为 $\frac12z^{2}$，而边界 $\theta\to0^{+}$ 处的导数 $g'(0^{+})=-z+\lambda\ge0$、$g'(0^{-})=-z-\lambda\le0$，说明 $g$ 在 $0$ 的左右都不下降，故 $\theta=0$ 最优。合并为软阈值

$$S_\lambda(z)=\operatorname{sign}(z)\max(|z|-\lambda,0)$$

数值上，$z=(1.2,\,-0.35,\,0.08)$、$\lambda=0.1$ 给出 $(1.1,\,-0.25,\,0)$，第三个分量被精确截断为零。迭代软阈值算法（ISTA）把该算子反复作用于梯度步，是 $\ell_1$ 正则化问题的近端梯度法。

几何解释：$\ell_1$ 约束集在二维是菱形，顶点落在坐标轴上。等高线与菱形首次接触时，接触点落在顶点或棱上的概率显著高于落在面内部，顶点处至少一个坐标为零，因此解具有精确稀疏性。$\ell_1$ 球的非光滑性是稀疏的来源，不是惩罚「更大」的结果：在相同约束强度下，L2 只把参数压小，L1 才把参数压到零。

| 性质 | L2 惩罚 | L1 惩罚 |
|---|---|---|
| 梯度 | $\lambda\theta_j$，处处可导 | $\lambda\operatorname{sign}(\theta_j)$，零点取次梯度 |
| 闭式解 | $\theta_j=z_j/(1+\lambda)$ 型收缩 | 软阈值 $\operatorname{sign}(z_j)\max(\lvert z_j\rvert-\lambda,0)$ |
| 稀疏性 | 无，参数整体缩小 | 有，小于阈值的分量精确为零 |
| 先验 | 高斯 $\mathcal{N}(0,\tau^{2})$ | 拉普拉斯 $\operatorname{Laplace}(0,b)$ |
| 约束集形状 | 球，边界光滑 | 多面体，顶点在坐标轴上 |
| 深度网络中的用途 | 默认的权重衰减 | 特征选择、结构化剪枝的惩罚项 |

深度网络中 L1 较少作为默认选项：它不改善优化条件，稀疏参数也不必然带来更好的泛化，且逐元素阈值会与批归一化的尺度变换相互干扰。两者按 $\lambda_1\|\boldsymbol\theta\|_1+\lambda_2\|\boldsymbol\theta\|_2^{2}$ 组合即弹性网，用于在相关特征组中同时获得稳定性与稀疏性。

### 4. Dropout

Dropout 在训练时对每个激活分量独立采样一个伯努利变量并置零，再按保留概率缩放：

$$r_j\sim\operatorname{Bernoulli}(1-p),\qquad \tilde h_j=\frac{r_j}{1-p}\,h_j$$

$p$ 为置零概率，$1-p$ 为保留概率。缩放因子 $1/(1-p)$ 称为反向 Dropout（inverted dropout）的修正，其作用是让训练与推理的期望一致。

期望与方差可直接计算。$r_j$ 的期望为 $1-p$，方差为 $p(1-p)$，故

$$\mathbb{E}[\tilde h_j]=\frac{(1-p)h_j}{1-p}=h_j,\qquad \operatorname{Var}[\tilde h_j]=\frac{p(1-p)h_j^{2}}{(1-p)^{2}}=h_j^{2}\frac{p}{1-p}$$

期望匹配是缩放的目的：训练时该单元输出的均值等于推理时的输出，推理阶段无需再乘任何系数。若不做缩放，$\mathbb{E}[r_jh_j]=(1-p)h_j$，推理时必须把激活乘以 $1-p$；两种写法在数学上等价，但缩放版把系数吸收进训练，推理路径与普通网络完全相同，这是框架默认实现的原因。

噪声的相对强度由标准差与均值之比给出：$\sqrt{p/(1-p)}$，与 $h_j$ 无关。$p=0.5$ 时相对标准差为 1，噪声与信号同量级；$p=0.1$ 时为 $0.333$。该比值是选择 $p$ 的直接依据：$p$ 过大时训练信号被淹没，$p$ 过小时正则效果不足。

反向传播只经过未被置零的单元：

$$\frac{\partial L}{\partial h_j}=\frac{r_j}{1-p}\cdot\frac{\partial L}{\partial\tilde h_j}$$

被置零的单元在该步不接收梯度，其参数在该步不更新。这在实现上等价于每步随机抽取一个子网络做一次梯度更新。

Dropout 与 $\ell_2$ 的联系可在平方损失下精确写出。对线性模型 $\hat y=\sum_j s_jw_jx_j$，$s_j=r_j/(1-p)$，有 $\mathbb{E}[s_j]=1$、$\operatorname{Var}[s_j]=p/(1-p)$，且各 $s_j$ 独立，于是

$$\mathbb{E}\big[(y-\hat y)^{2}\big]=\Big(y-\sum_jw_jx_j\Big)^{2}+\frac{p}{1-p}\sum_jw_j^{2}x_j^{2}$$

第二项是依赖输入的 $\ell_2$ 惩罚，系数为 $p/(1-p)$。这解释了为何 Dropout 在小 $p$ 时接近权重衰减，在大 $p$ 时表现出不同的、与激活相关的正则行为。

集成解释。一次前向的每个 mask $\mathbf{r}\in\{0,1\}^{H}$ 定义一个子网络 $f_{\mathbf r}$，共 $2^{H}$ 个。训练时每次只更新其中一个子网络的一步梯度，且所有子网络共享权重；推理时使用完整网络。由于

$$\mathbb{E}_{\mathbf r}\big[f_{\mathbf r}(\mathbf{x})\big]\ne f_{\mathbb{E}[\mathbf r]}(\mathbf{x})$$

完整网络的输出不是子网络输出的算术平均。对单层线性情形，Srivastava 等给出的权重缩放推断表明：在保留概率 $1-p$ 下把权重乘以 $1-p$ 再在推理时使用，等价于对指数多个子网络的预测做加权几何平均的一阶近似；对深层非线性网络，这一关系只是近似。集成解释应理解为「推理使用了一个由指数多个共享权重的子网络共同约束的解」，而不是严格的模型平均。该解释的价值在于说明 Dropout 的泛化收益来自参数共享下的多假设约束，而非单纯的噪声注入。

与 BatchNorm 的冲突。若在 Dropout 之后接 BN，训练时 BN 的批统计量包含 Dropout 的乘性噪声，批方差被抬高；推理时 Dropout 关闭，激活分布的二阶矩变小，而 BN 仍使用训练期累积的滑动方差，归一化后的输出被系统性放大。同时，Dropout 使每个批的激活尺度随机波动，滑动统计量的估计方差增大。常见处理是不同时使用二者，或把 Dropout 放在 BN 之后、非线性之后，并降低 $p$。Transformer 使用 LayerNorm，其统计量在单个样本内部计算，不受 Dropout 噪声的跨样本平均影响，因此两者可以共存，见 [[Transformer架构详解]]。

### 5. BatchNorm

对一个批的同一通道（全连接层即同一特征）计算均值与方差并归一化：

$$\mu_B=\frac1B\sum_{i=1}^{B}x_i,\qquad \sigma_B^{2}=\frac1B\sum_{i=1}^{B}(x_i-\mu_B)^{2}$$

$$\hat x_i=\frac{x_i-\mu_B}{\sqrt{\sigma_B^{2}+\epsilon}},\qquad y_i=\gamma\hat x_i+\beta$$

$\epsilon$ 防止方差为零时除零，典型值 $10^{-5}$；$\gamma,\beta$ 是可学习参数，初始化为 $\gamma=1$、$\beta=0$。

训练与推理使用不同的统计量。训练阶段用当前批的 $\mu_B,\sigma_B^{2}$ 归一化，同时按动量更新滑动统计量

$$\hat\mu\leftarrow(1-m)\hat\mu+m\mu_B,\qquad \hat\sigma^{2}\leftarrow(1-m)\hat\sigma^{2}+m\sigma_B^{2}$$

$m$ 为动量，PyTorch 默认 $0.1$，即新批的权重为 $0.1$。归一化使用批内有偏方差，滑动方差则用无偏估计 $\frac{1}{B-1}$ 更新，二者口径不同，这是阅读框架源码时容易忽略的一处。推理阶段用 $\hat\mu,\hat\sigma^{2}$ 替换批统计量。这一差异带来两个直接后果：推理结果与批的组成无关，因此可以逐样本进行；滑动统计量在训练早期偏差较大，若训练步数很少或批分布随训练剧烈变化，推理精度会下降。

反向传播需要穿过均值与方差。记 $\bar y_i=\partial L/\partial y_i$，则 $\bar{\hat x}_i=\gamma\bar y_i$，且

$$\bar m=\sum_j\bar{\hat x}_j\frac{\partial\hat x_j}{\partial m}=-\frac{1}{\sqrt{\sigma_B^{2}+\epsilon}}\sum_j\bar{\hat x}_j$$

$$\bar v=\sum_j\bar{\hat x}_j\frac{\partial\hat x_j}{\partial v}=-\frac{1}{2(\sigma_B^{2}+\epsilon)}\sum_j\bar{\hat x}_j\hat x_j$$

由 $\partial\hat x_i/\partial x_i=1/\sqrt{v+\epsilon}$、$\partial\hat x_i/\partial m=-1/\sqrt{v+\epsilon}$、$\partial\hat x_i/\partial v=-\frac12\hat x_i/(v+\epsilon)$ 以及 $\partial m/\partial x_i=1/B$、$\partial v/\partial x_i=2(x_i-m)/B$，逐项相加：

$$\frac{\partial L}{\partial x_i}=\frac{\bar{\hat x}_i}{\sqrt{v+\epsilon}}+\frac{\bar m}{B}+\bar v\,\frac{2(x_i-m)}{B}$$

代入 $\bar m$、$\bar v$ 并利用 $(x_i-m)/\sqrt{v+\epsilon}=\hat x_i$，得

$$\frac{\partial L}{\partial x_i}=\frac{1}{\sqrt{\sigma_B^{2}+\epsilon}}\left(\bar{\hat x}_i-\frac1B\sum_j\bar{\hat x}_j-\hat x_i\,\frac1B\sum_j\bar{\hat x}_j\hat x_j\right)$$

括号内三项分别对应直接路径、均值路径与方差路径。均值路径使同批样本的梯度相互抵消一部分，方差路径使梯度与激活值相关；两者都是批内耦合，因此 BN 的反向不是逐元素的。

$\gamma,\beta$ 的作用是恢复表示能力。若不加仿射参数，归一化强制每层输出零均值单位方差，即使最优函数需要不同的尺度与偏移也无法表示。以 sigmoid 为例，归一化把输入限制在零附近，输出落在近似线性区；$\gamma$ 可以把它放大回饱和区。恒等映射的条件是 $\gamma=\sqrt{\sigma_B^{2}+\epsilon}$、$\beta=\mu_B$，说明 BN 的参数化包含原函数作为特例。

内部协变量偏移的争议。原论文把 BN 的有效性归因于减小内部协变量偏移：前层参数更新改变后层输入分布，后层需不断适应新分布。后续对照实验（Santurkar 等，2018）对人为注入协变量偏移的网络比较 BN 与非 BN 的训练表现，发现 BN 的收益与偏移是否减小并不相关，而与损失曲面更平滑、梯度 Lipschitz 常数更小相关。当前更可靠的表述是：BN 通过批统计量使激活尺度与权重尺度解耦，从而改善优化条件，而不是消除分布偏移。这一区分影响实践：若目标是改善优化，BN 可以放在非线性之前；若目标是稳定尺度，放在线性层之后即可。

对学习率与初始化的影响。BN 使前向输出对权重尺度不变：对任意 $c>0$，

$$\operatorname{BN}(c\mathbf{W}\mathbf{x})=\operatorname{BN}(\mathbf{W}\mathbf{x})$$

因为缩放被批均值和批标准差同时吸收。数值验证中，$c=3.7$ 时两者归一化输出的最大差异为 $6.9\times10^{-6}$，只来自 $\epsilon$。由此得到两个结论：其一，权重整体缩放不改变前向，梯度对该缩放按 $1/c$ 反向变化，等效学习率随 $\|\mathbf{W}\|$ 变化，这是 BN 网络常配合权重衰减使用的原因；其二，初始化不当造成的激活爆炸或消失被归一化吸收，因此 BN 允许更大的学习率与更粗糙的初始化。代价是 BN 引入了批内耦合：批大小过小时批统计量噪声大，批大小为 1 时训练阶段方差为零，无法归一化。

### 6. LayerNorm

LayerNorm 对单个样本的全部特征计算统计量：

$$\mu=\frac1H\sum_{j=1}^{H}x_j,\qquad \sigma^{2}=\frac1H\sum_{j=1}^{H}(x_j-\mu)^{2}$$

$$y_j=\gamma_j\frac{x_j-\mu}{\sqrt{\sigma^{2}+\epsilon}}+\beta_j$$

与 BN 的差别在于求和范围：BN 沿批维求和，对每个通道保留一套统计量；LN 沿特征维求和，对每个样本保留一套统计量。由此产生的性质：

- 训练与推理使用同一公式，无滑动统计量，因此不存在训练/推理不一致。
- 与批大小无关，批大小为 1 时仍然有效。
- 对输入的整体缩放与平移不变：$x\mapsto cx+d$ 不改变 $\hat x$，$c>0$。
- 参数量为 $2H$，与批大小无关；BN 为 $2C$，$C$ 为通道数。

适用场景由上述性质决定。序列长度可变、批较小、需要逐样本独立处理的模型使用 LN，Transformer 的每个子层都使用 LN，放置位置分 Post-LN 与 Pre-LN 两种，后者训练更稳定，见 [[Transformer架构详解]]。卷积网络在批较大时使用 BN，因为 BN 的批统计量提供了跨样本的正则效果，且逐通道归一化保留了空间结构。把 BN 用于小批量检测或分割模型时，通常替换为 GroupNorm 或 LN。

| 维度 | BatchNorm | LayerNorm |
|---|---|---|
| 统计量范围 | 同一通道跨批 | 单样本跨特征 |
| 训练/推理 | 不同：批统计量与滑动统计量 | 相同 |
| 批大小依赖 | 强，$B=1$ 时训练失效 | 无 |
| 典型位置 | CNN 卷积之后 | Transformer 子层之后或之前 |
| 参数量 | $2C$ | $2H$ |
| 对序列长度 | 需固定或按通道处理 | 天然支持变长 |

### 7. 早停

把训练集划出验证集，每轮结束记录验证损失 $R_{\text{val}}^{(e)}$，若连续 $k$ 轮未下降则停止，并回滚到验证损失最小的参数。$k$ 称为耐心值（patience），典型取 5 到 20。

早停与 $\ell_2$ 在二次目标下存在定量对应。设损失为 $\frac12\boldsymbol\theta^{\top}\mathbf{H}\boldsymbol\theta$，从 $\boldsymbol\theta^{(0)}=\mathbf{0}$ 出发做学习率 $\eta$ 的梯度下降，在 $\mathbf{H}$ 的特征基下第 $i$ 个分量按

$$\theta_i^{(t)}=\big(1-(1-\eta h_i)^{t}\big)\theta_i^{*}$$

演化。岭回归解的分量为 $\frac{h_i}{h_i+\lambda}\theta_i^{*}$。令两者相等：

$$(1-\eta h_i)^{t}=\frac{\lambda}{h_i+\lambda}\quad\Longrightarrow\quad\lambda=\frac{h_i}{(1-\eta h_i)^{-t}-1}$$

当 $\eta h_i\ll1$ 且 $t$ 较大时，$(1-\eta h_i)^{-t}\approx e^{\eta h_i t}\approx1+\eta h_i t$，于是 $\lambda\approx\frac{1}{\eta t}$。早停步数 $t$ 与正则系数 $\lambda$ 成反比：训练越久，等效正则越弱。该推导说明早停不是独立于 L2 的另一种机制，而是沿着优化轨迹施加的隐式约束；对非线性网络它只是近似，但「训练轮数是正则强度的一个维度」这一结论仍然成立。

实现细节：验证集必须与测试集分离，否则早停的选择会污染测试结果；恢复最佳权重而不是保留最后一轮；若使用学习率调度，早停的耐心值应按调度周期调整，避免在退火中期误判。

### 8. 标签平滑

把 one-hot 目标与均匀分布混合：

$$y_k^{\text{LS}}=(1-\epsilon_{\text{ls}})\,y_k+\frac{\epsilon_{\text{ls}}}{K},\qquad k=1,\dots,K$$

损失为 $L=-\sum_k y_k^{\text{LS}}\log p_k$。由于 $y^{\text{LS}}$ 各分量之和仍为 1，它仍是概率向量，交叉熵的形式不变。梯度对 logit 的形式也不变：

$$\frac{\partial L}{\partial z_k}=p_k-y_k^{\text{LS}}$$

梯度不再把正确类的概率推向 1，而是推向 $1-\epsilon_{\text{ls}}+\epsilon_{\text{ls}}/K$。在最优点 $p_k=y_k^{\text{LS}}$，正确类与任一错误类的 logit 差距为

$$z_{\text{true}}-z_{\text{other}}=\log\frac{1-\epsilon_{\text{ls}}+\epsilon_{\text{ls}}/K}{\epsilon_{\text{ls}}/K}=\log\frac{(1-\epsilon_{\text{ls}})K+\epsilon_{\text{ls}}}{\epsilon_{\text{ls}}}$$

$K=10$、$\epsilon_{\text{ls}}=0.1$ 时该值为 $\log 91\approx4.51$。没有标签平滑时该差距随训练无限增大，模型对训练标签的置信度趋于 1，校准变差，对分布偏移更脆弱。标签平滑给出有限的最优 logit 差距，因而限制了过度自信。

三个副作用需要权衡：目标不再与真实标签一致，训练损失的下界大于零，即使模型完美也会残留 $\epsilon_{\text{ls}}$ 量级的损失；在类别极不平衡时均匀分布会抬高稀有类的目标概率，可能损害稀有类召回；多标签任务不能用该形式，应改为对每个标签独立平滑或使用软标签。它与知识蒸馏的软目标形式相同，区别在于蒸馏的软目标来自教师模型，携带类间相似性信息。

### 9. 数据增广的位置

数据增广在输入空间施加保持标签的变换，约束的是函数在变换下的行为，而不是参数或激活。它与前述方法的互补性在于作用对象不同：L2 约束参数范数，Dropout 约束单元共适应性，BN 约束激活矩，增广约束输入的等价类。具体变换、Mixup 与强度选择见 [[数据增广]]。

### 10. 超参数调优

调优的顺序由依赖关系决定，而不是由超参数的重要性列表决定：

1. 先验证实现正确：在 1 到 2 个批上把训练损失降到接近零，确认前向、损失、反向与标签对齐无误。若小批量无法过拟合，任何超参数搜索都无意义。
2. 再定学习率。学习率是敏感度最高的连续超参数，量级错误会使其他超参数的最优值全部偏移。在对数尺度上搜索，先用粗网格确定量级，再用细网格确定倍数。
3. 再定批大小与调度。批大小改变梯度的噪声尺度，与学习率耦合：批大小乘以 $k$ 时，学习率可按线性缩放规则乘以 $k$ 作为初值，再微调。是否使用余弦退火或阶梯衰减在此步确定。
4. 再定正则强度。按「先弱后强」的顺序：先关闭全部正则，得到过拟合基线，再逐项加入权重衰减、Dropout、增广、标签平滑，观察验证曲线是否改善。每加入一项只改变一个量。
5. 最后调架构。宽度、深度、归一化位置对结果的影响大但搜索成本高，放在预算充足的阶段；小规模代理任务上先筛选，再在完整数据上确认。

| 超参数 | 典型范围 | 搜索尺度 | 敏感度 | 主要交互 |
|---|---|---|---|---|
| 学习率 $\eta$ | $10^{-4}$ 到 $10^{-1}$ | 对数 | 高 | 批大小、调度、自适应优化器 |
| 批大小 $B$ | 32 到 1024 | 2 的幂 | 中 | 学习率、BN 统计量、显存 |
| 权重衰减 $\lambda$ | $10^{-6}$ 到 $10^{-1}$ | 对数 | 中 | 优化器类型、归一化层 |
| Dropout $p$ | 0 到 0.5 | 线性 | 中 | 网络宽度、是否使用 BN |
| 标签平滑 $\epsilon_{\text{ls}}$ | 0 到 0.2 | 线性 | 低 | 类别数、校准需求 |
| 增广强度 | 由变换参数决定 | 序数 | 高 | 数据量、训练轮数 |

搜索方法的选择依据维数与预算：

- 网格搜索在低维、离散、需要完整覆盖的场景使用；维度超过 4 时，每个超参数的取值数被迫压缩，覆盖率迅速下降。
- 随机搜索为每个超参数独立采样，在同等预算下对重要维度的覆盖优于网格，且可随时终止，是默认选择。
- 贝叶斯优化用代理模型拟合「超参数到验证指标」的映射，适合单次评估昂贵、维度较低的场景；其收益依赖代理模型的准确性，在噪声大的验证指标上不一定优于随机搜索。
- 逐次减半（successive halving）与 Hyperband 先用小预算淘汰大部分配置，再把预算集中到有希望的配置，适合可以早停的训练任务。

```mermaid
flowchart TD
    A["小批量过拟合检查"] --> B{"损失可降至接近零"}
    B -- 否 --> C["检查标签对齐、损失实现、梯度"]
    B -- 是 --> D["对数尺度粗搜学习率"]
    D --> E["确定批大小与调度"]
    E --> F["建立无正则基线"]
    F --> G["逐项加入正则并消融"]
    G --> H["小规模代理任务筛选架构"]
    H --> I["全量数据复跑并报告均值方差"]
    I --> J["冻结配置，测试集只评估一次"]
```

调参本身会过拟合验证集。搜索配置数达到数百时，验证指标的最优值包含选择偏差，应以嵌套划分或独立复跑估计泛化误差。每次实验固定随机种子并记录配置、数据版本与指标，否则无法区分改进来自超参数还是随机波动。

## 关键直觉

> [!tip] 机制性表述
> 正则化把「在训练集上最小化损失」替换为「在参数或激活的邻域内最小化损失」：L2 惩罚参数范数，L1 惩罚非零个数，Dropout 惩罚对单元缺失的敏感性，BN 约束激活的一阶与二阶矩，早停限制参数离开初始化的距离，标签平滑限制 logit 差距，数据增广约束函数在输入变换下的输出。若训练集足够大且与测试分布一致，这些约束都只会引入偏差；它们的收益来自训练分布与测试分布之间的差异，以及有限样本下估计的方差。

该表述与严格定义的关系：定义中的「额外约束」在数学上就是正则项 $\Omega(\boldsymbol\theta)$ 或对训练过程的修改；第 2 至第 9 小节分别给出每种约束的目标函数或更新式，本节把它们统一为对假设选择规则的修改。约束强度由 $\lambda$、$p$、$\epsilon_{\text{ls}}$、训练轮数等超参数控制，因此调参的本质是在偏差与方差之间定位。

## 例子与代码

### 示例 1：L2 收缩、L1 软阈值与 Dropout 统计量

以下代码在 NumPy 2.3 下可直接运行，验证第 2、3、4 小节的三个结论。第一个输出是特征方向上的收缩因子，第二个是软阈值的结果，第三、四个是 Dropout 的样本均值与样本方差。

```python
import numpy as np

# 1. L2：Hessian 特征方向上的收缩因子 h / (h + lambda)
eig = np.array([4.0, 0.8, 0.05])
lam = 0.1
print("L2 收缩因子:", eig / (eig + lam))

# 2. L1：软阈值 sign(z) * max(|z| - lambda, 0)
z = np.array([1.2, -0.35, 0.08])
print("软阈值:", np.sign(z) * np.maximum(np.abs(z) - 0.1, 0.0))

# 3. Dropout：p = 0.3，200000 次采样，检验期望与方差
rng = np.random.default_rng(0)
h = np.array([1.0, 2.0, 3.0, 4.0])
p = 0.3
mask = (rng.random((200000, 4)) >= p) / (1.0 - p)   # 保留则乘 1/(1-p)
H = h * mask
print("样本均值:", H.mean(axis=0))
print("样本方差:", H.var(axis=0))
print("理论方差:", h ** 2 * p / (1 - p))
```

预期输出：

```text
L2 收缩因子: [0.9756 0.8889 0.3333]
软阈值: [ 1.1  -0.25  0.  ]
样本均值: [1.0004 1.9987 2.9997 4.0043]
样本方差: [0.4284 1.7158 3.8576 6.8474]
理论方差: [0.4286 1.7143 3.8571 6.8571]
```

三点说明：

- 收缩因子与 $h_i/(h_i+\lambda)$ 逐位一致，第三个方向的曲率 $0.05$ 小于 $\lambda$，因子降到 $0.3333$，这就是小奇异值方向被强压缩的定量表现。去掉 $\lambda$ 后三个因子都是 1，参数不再收缩。
- 软阈值把 $|z|=0.08<0.1$ 的分量置为 $0$，而 $|z|=1.2$ 的分量只减去 $0.1$。若换成 L2 的 $z/(1+\lambda)$，三个分量分别为 $1.0909$、$-0.3182$、$0.0727$，没有精确零。
- 样本均值与 $h$ 的偏差在 $0.005$ 以内，样本方差与理论值 $h^{2}p/(1-p)$ 的偏差在 $0.01$ 以内，说明缩放因子的期望匹配成立。若去掉 $1/(1-p)$，均值将变成 $0.7h$，方差变成 $h^{2}p(1-p)$，推理时必须补乘 $1-p$。

### 示例 2：BatchNorm 的滑动统计量与尺度不变性

以下代码模拟三个批的训练过程，展示滑动统计量落后于批统计量的程度，并检验 BN 对权重尺度的不变性。PyTorch 的 `BatchNorm1d` 使用同一更新式，区别仅在于滑动方差用无偏估计更新；下例统一用有偏估计，以保持数值简洁。

```python
import numpy as np

momentum = 0.1
batches = [np.array([0.2, 0.5, 0.9, 1.0]),
           np.array([0.1, 0.3, 0.4, 0.8]),
           np.array([0.0, 0.2, 0.6, 0.7])]
rm, rv = 0.0, 1.0                      # 与 PyTorch 一致：均值 0，方差 1
for x in batches:
    mb, vb = x.mean(), x.var()
    rm = (1 - momentum) * rm + momentum * mb
    rv = (1 - momentum) * rv + momentum * vb
    print(f"批均值 {mb:.4f} 批方差 {vb:.4f} | 滑动均值 {rm:.5f} 滑动方差 {rv:.5f}")

# 尺度不变性：BN(c * x) 与 BN(x) 的差异只来自 epsilon
x = np.array([0.3, -1.2, 2.0, 0.7, 0.1])
bn = lambda v: (v - v.mean()) / np.sqrt(v.var() + 1e-5)
print("尺度不变性最大差异:", np.abs(bn(3.7 * x) - bn(x)).max())

# 批统计量的估计误差随批大小下降
rng = np.random.default_rng(1)
pop = rng.normal(0.0, 1.0, size=200000)
for B in (2, 8, 64):
    means = [rng.choice(pop, size=B, replace=False).mean() for _ in range(2000)]
    print(f"B={B:3d} 批均值标准差 {np.std(means):.4f} 理论值 {1 / np.sqrt(B):.4f}")
```

预期输出：

```text
批均值 0.6500 批方差 0.1025 | 滑动均值 0.06500 滑动方差 0.91025
批均值 0.4000 批方差 0.0650 | 滑动均值 0.09850 滑动方差 0.82572
批均值 0.3750 批方差 0.0819 | 滑动均值 0.12615 滑动方差 0.75134
尺度不变性最大差异: 6.864336035805607e-06
B=  2 批均值标准差 0.6941 理论值 0.7071
B=  8 批均值标准差 0.3549 理论值 0.3536
B= 64 批均值标准差 0.1254 理论值 0.1250
```

三点说明：

- 三个批的真实方差都在 $0.08$ 到 $0.10$ 之间，但滑动方差从初始值 $1.0$ 只降到 $0.75$。前几轮推理阶段使用的方差远大于实际批方差，归一化后的输出被压小；这解释了为何训练步数很少时 BN 网络的验证精度偏低，也解释了为何需要足够多的训练步才能让滑动统计量收敛。去掉滑动统计量、推理时直接用当前批统计量，则推理结果依赖同批样本，批大小为 1 时无法计算。
- 尺度不变性差异为 $6.9\times10^{-6}$，量级与 $\epsilon$ 相当。若把 $\epsilon$ 设为 0，差异退化为浮点误差；若把 $3.7$ 换成负数，归一化输出整体反号，不再保持不变。
- 批均值标准差与 $1/\sqrt{B}$ 一致，说明批统计量的噪声随批大小以平方根速度下降。批大小为 2 时噪声约为批大小为 64 时的 $5.7$ 倍，这是小批量训练中 BN 不稳定的直接原因。

### 示例 3：有无 Dropout 与 BatchNorm 的训练与验证损失

以下脚本在 MNIST 上只取 8000 张作为训练集，训练同一结构的 MLP 三次，只改变正则化方式。取子集是为了让过拟合在可接受的时间内显现：用全部 60000 张训练 5 轮时，三个模型的验证损失相差不到 $0.002$，不足以区分。每轮结束后用 `eval()` 模式在训练子集的前 2000 张与测试集上重新计算损失，两个损失都关闭 Dropout、使用滑动统计量，从而可比。

```python
import torch
import torch.nn as nn
from torch.utils.data import DataLoader, Subset
from torchvision import datasets, transforms

torch.manual_seed(0)
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

tf = transforms.Compose([transforms.ToTensor(),
                         transforms.Normalize((0.1307,), (0.3081,))])
train_ds = datasets.MNIST("./data", train=True, download=True, transform=tf)
test_ds = datasets.MNIST("./data", train=False, download=True, transform=tf)
train_ld = DataLoader(Subset(train_ds, range(8000)), batch_size=128, shuffle=True)
test_ld = DataLoader(test_ds, batch_size=512)
probe_ld = DataLoader(Subset(train_ds, range(2000)), batch_size=512)


class MLP(nn.Module):
    def __init__(self, mode):
        super().__init__()
        self.mode = mode
        self.fc1 = nn.Linear(784, 256)
        self.fc2 = nn.Linear(256, 10)
        self.drop = nn.Dropout(0.3)
        self.bn = nn.BatchNorm1d(256)

    def forward(self, x):
        h = self.fc1(x.flatten(1))
        if self.mode == "bn":
            h = self.bn(h)
        h = torch.relu(h)
        if self.mode == "dropout":
            h = self.drop(h)
        return self.fc2(h)


def eval_loss(model, loader):
    model.eval()
    total, n = 0.0, 0
    loss_fn = nn.CrossEntropyLoss()
    with torch.no_grad():
        for x, y in loader:
            x, y = x.to(device), y.to(device)
            total += loss_fn(model(x), y).item() * y.size(0)
            n += y.size(0)
    return total / n


def run(mode, epochs=20):
    model = MLP(mode).to(device)
    opt = torch.optim.Adam(model.parameters(), lr=1e-3)
    loss_fn = nn.CrossEntropyLoss()
    for ep in range(1, epochs + 1):
        model.train()
        for x, y in train_ld:
            x, y = x.to(device), y.to(device)
            opt.zero_grad()
            loss = loss_fn(model(x), y)
            loss.backward()
            opt.step()
        if ep % 4 == 0 or ep == epochs:
            tr = eval_loss(model, probe_ld)
            va = eval_loss(model, test_ld)
            print(f"{mode:8s} epoch {ep:2d} train {tr:.4f} val {va:.4f} gap {va - tr:.4f}")
    return model


for mode in ("none", "dropout", "bn"):
    run(mode)
```

固定随机种子后的一次运行结果：

| 轮次 | 无正则 train | 无正则 val | Dropout train | Dropout val | BN train | BN val |
|---|---|---|---|---|---|---|
| 4 | 0.1270 | 0.2165 | 0.1362 | 0.2130 | 0.0921 | 0.1998 |
| 8 | 0.0460 | 0.1812 | 0.0591 | 0.1763 | 0.0265 | 0.1698 |
| 12 | 0.0165 | 0.1812 | 0.0252 | 0.1566 | 0.0082 | 0.1754 |
| 16 | 0.0069 | 0.1844 | 0.0133 | 0.1646 | 0.0034 | 0.1795 |
| 20 | 0.0035 | 0.1898 | 0.0081 | 0.1679 | 0.0021 | 0.1864 |

三点说明：

- 无正则的过拟合形态完整：训练损失从 $0.1270$ 降到 $0.0035$，验证损失在第 8 轮达到 $0.1812$ 后转为上升，第 20 轮为 $0.1898$，间隙从 $0.0896$ 扩大到 $0.1863$。验证损失的最低点出现在训练损失仍有大幅下降空间的时刻，这正是第 1 小节所说的「训练集被记住、分布外误差上升」。
- Dropout 使训练损失下降变慢：第 20 轮为 $0.0081$，高于无正则的 $0.0035$，因为每个批只有约 $70\%$ 的隐单元参与拟合。其验证损失在第 12 轮达到最低 $0.1566$，最终 $0.1679$，比无正则低 $0.0219$，间隙 $0.1598$ 也小于 $0.1863$。若把训练损失改为在 `train()` 模式下统计，数值会更高且含随机波动，此时的间隙不能解释为泛化间隙，这是实现中最常见的口径错误。
- BN 使训练损失下降最快：第 4 轮为 $0.0921$，同期无正则为 $0.1270$；其验证损失最低点 $0.1698$ 出现在第 8 轮，随后回升到 $0.1864$，间隙 $0.1844$，与无正则接近。本实验中 BN 主要改善优化速度，对泛化的改善小于 Dropout。这一结果与第 5 小节的讨论一致：BN 通过批统计量改善优化条件，并不直接限制模型拟合训练样本的能力；在训练集较小时，它不能替代显式的容量约束。

### 示例 4：标签平滑的 logit 上限

手算 $\epsilon_{\text{ls}}=0.1$、$K=10$ 时的最优 logit 差距。正确类目标为 $1-0.1+0.01=0.91$，错误类目标为 $0.01$，故

$$z_{\text{true}}-z_{\text{other}}=\log\frac{0.91}{0.01}=\log 91\approx4.51$$

训练中若观察到正确类与最大错误类的 logit 差距长期超过 $10$，说明模型在拟合标签噪声而非学习类间结构；若差距在 $4.5$ 附近停滞且验证准确率不再提升，说明平滑系数过大，容量被目标本身限制。该数值只依赖 $K$ 与 $\epsilon_{\text{ls}}$，可用于检查 `label_smoothing` 参数是否按预期生效。

## 易错点

> [!warning] 具体错误
> - 未切换 `train()` 与 `eval()`。Dropout 在验证时仍随机置零，BN 仍用批统计量，验证损失随批组成波动；同一模型两次评估结果不同，早停与模型选择全部失真。`torch.no_grad()` 只关闭梯度记录，不改变层的模式。
> - 把 BatchNorm 放在 Dropout 之后。训练期 BN 的批方差包含 Dropout 的乘性噪声，推理期方差偏小，归一化输出被放大；表现为训练损失正常而验证精度显著低于同结构无 Dropout 的模型。
> - 对 BN 的 $\gamma,\beta$ 与偏置施加权重衰减。这些参数不控制函数复杂度，衰减只会把 $\gamma$ 推向零，削弱归一化层的表达能力；正确做法是按参数名或维度排除一维参数。
> - 用训练损失做早停。训练损失在过拟合阶段仍单调下降，以其为准则不会触发停止；必须用独立验证集的损失或指标。
> - 对 L1 在零点直接调用 `backward()` 后手工加符号。$\operatorname{sign}(0)=0$，次梯度被错误地取为 0，参数会停在零附近而不再移动；应使用框架的 `l1_loss` 或近端算子，并确认零点的次梯度约定。
> - 同时使用 `CrossEntropyLoss(label_smoothing=...)` 与手工平滑标签。两次平滑叠加，等效 $\epsilon_{\text{ls}}$ 变大，训练损失下界抬高，且难以从日志判断实际系数。

## 关联笔记

- 前置：[[损失函数]] —— 本篇的标签平滑与正则项都建立在交叉熵的形式与梯度 $\mathbf{p}-\mathbf{y}$ 之上，损失函数的选择决定正则项的量级。
- 前置：[[优化器与学习率]] —— 权重衰减与自适应学习率的耦合、AdamW 的解耦衰减、学习率与批大小的缩放关系都在该篇展开。
- 后续：[[数据增广]] —— 输入侧的正则化，与本篇的参数侧、激活侧手段互补，强度需与本篇的正则强度联合调节。
- 后续：[[PyTorch实战入门]] —— 本篇的模式切换、参数分组与早停逻辑落在该篇的训练循环中，实现口径以该篇为准。
- 对照：[[Transformer架构详解]] —— 该篇使用 LayerNorm 而非 BatchNorm，对照可解释归一化位置对训练稳定性的影响。

## 达标检测

- [ ] 写出 L2 正则化目标在二次近似下的解 $\boldsymbol\theta_\lambda=(\mathbf{H}+\lambda\mathbf{I})^{-1}\mathbf{H}\boldsymbol\theta^{*}$，说明每个特征方向的收缩因子与小曲率方向被压缩更强的理由；再从一维目标 $\frac12(\theta-z)^{2}+\lambda|\theta|$ 出发分三段推导 L1 的软阈值，指出 $|z|\le\lambda$ 时解为零的理由。
- [ ] 推导 Dropout 缩放后的期望与方差，说明为何推理阶段不再乘 $1-p$，并写出不缩放版本在推理时的修正因子。
- [ ] 写出 BatchNorm 的反向公式，标注均值路径与方差路径各自对应的项，并解释批大小为 1 时训练阶段发生了什么。
- [ ] 运行示例 3，把训练损失的统计口径改为 `train()` 模式，比较两种口径下的间隙，并说明哪一种能反映泛化间隙。
- [ ] 给定 $K=10$、$\epsilon_{\text{ls}}=0.1$，计算最优 logit 差距；若把 $\epsilon_{\text{ls}}$ 改为 $0.05$，说明差距如何变化以及校准误差的预期方向。
- [ ] 按第 10 小节的顺序为一个两层 MLP 设计调参计划，列出每一步固定的变量、搜索范围与判定指标。

## 参考来源

- Goodfellow, Bengio, Courville, *Deep Learning*, 2016, 第 7 章「Regularization for Deep Learning」 —— 对应 L1/L2 惩罚、Dropout 及其与模型集成的关系、早停与超参数搜索的完整讨论。
- d2l.ai《动手学深度学习》，第 4 章「多层感知机」的权重衰减与 Dropout 两节，第 7 章「现代卷积神经网络」的批量归一化一节 —— 对应本篇各方法的实现细节与数值实验设置。
- Ioffe & Szegedy, "Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift", arXiv:1502.03167 —— 对应 BN 的前向公式、训练与推理的统计量差异、内部协变量偏移的原始动机。
- Srivastava, Hinton, Krizhevsky, Sutskever, Salakhutdinov, "Dropout: A Simple Way to Prevent Neural Networks from Overfitting", JMLR 15, 2014 —— 对应 Dropout 的缩放规则、稀疏化效果与集成解释的实验依据。
- PyTorch 官方文档，`torch.nn.Dropout`、`torch.nn.BatchNorm1d`、`torch.nn.LayerNorm` 与 `torch.nn.CrossEntropyLoss` 的 `label_smoothing` 参数 —— 对应训练/推理模式切换、滑动统计量更新与标签平滑的实现口径。
