---
tags: [AI, 深度学习, 数据增广, 计算机视觉]
阶段: 04-深度学习核心
难度: ★★☆
created: 2026-10-18
related: "[[正则化与调参]], [[卷积神经网络CNN]], [[PyTorch实战入门]]"
---

# 数据增广

## 定义

**数据增广**（data augmentation）是在保持标签语义不变的前提下，对训练样本施加随机变换或在样本之间做凸组合，以扩充训练分布、使模型学到对这些变换的不变性或等变性的一类技术。

本篇符号：

- $\mathcal{D}=\{(\mathbf{x}_i,y_i)\}_{i=1}^{n}$：训练集；$n$ 为样本数。
- $\mathcal{T}$：变换族，即允许的变换构成的集合；$T\sim\mathcal{T}$ 表示按某一分布抽取一个具体变换。
- $f_{\boldsymbol\theta}$：参数为 $\boldsymbol\theta$ 的模型；$\ell(\cdot,\cdot)$：单样本损失。
- $\mathcal{X}$：输入空间；$G$：作用在 $\mathcal{X}$ 上的变换群；$g\cdot\mathbf{x}$：群元素 $g$ 对输入的作用。
- $\mathcal{X}/G$：商空间，即把同一轨道上的输入视为等价类后得到的空间。
- $p_{\text{data}}$：真实数据分布；$\bar p$：对变换取平均后的训练分布。
- $\lambda\in[0,1]$：Mixup 的混合系数；$\alpha$：Beta 分布的参数。
- $\mathbf{M}\in\{0,1\}^{H\times W}$：CutMix 的二值掩码；$H,W$：图像的高与宽；$r_w,r_h$：替换区域的宽与高。
- $s$：增广强度；$N$：RandAugment 每次应用的变换个数；$M$：RandAugment 的强度等级。
- $m$：测试时增广的视图数；$\hat{\mathbf{y}}$：聚合后的预测。
- $\epsilon_{\text{mix}}$：软标签与硬标签的差异度量，仅在讨论标签一致性时使用。

术语：

- 等价类（equivalence class）：在变换群作用下彼此可达、且标签相同的输入构成的集合。
- 不变性（invariance）：$f(g\cdot\mathbf{x})=f(\mathbf{x})$ 对所有 $g\in G$ 成立的性质。
- 等变性（equivariance）：$f(g\cdot\mathbf{x})=g\cdot f(\mathbf{x})$ 成立的性质，用于检测、分割等输出与输入同构的任务。
- 先验注入（prior injection）：通过构造训练样本把领域知识写进训练分布，而非写进损失函数。
- 测试时增广（TTA，test-time augmentation）：在推理阶段对同一输入生成多个视图并聚合预测。
- EDA（easy data augmentation）：面向文本分类的四种简单增广操作的组合。
- 课程式强度（curriculum strength）：增广强度随训练进程或数据规模调整的策略。

## 为什么重要

- 数据量决定估计误差的下界。图像分类的标注成本约为每张数秒到数十秒，语音转写的成本更高；在标注预算固定的条件下，增广是提高有效样本量最直接的手段。
- 增广把不变性写成数据而不是损失项。若希望模型对水平翻转不变，可以显式加惩罚 $\|f(\mathbf{x})-f(\text{flip}(\mathbf{x}))\|^{2}$，但这要求对每个样本额外前向一次并引入新的超参数；增广把该约束溶入训练分布，由损失自动施加，不增加目标函数的项数。
- 增广改变的是输入分布，与参数侧、激活侧的正则化正交。[[正则化与调参]] 中的权重衰减、Dropout、BN 作用于参数或激活，增广作用于 $\mathbf{x}$，因此可以叠加；代价是增广强度与正则强度会相互补偿，联合调节时需要固定其一。
- 在全书中的位置：前置为 [[正则化与调参]]（过拟合与泛化的框架）、[[卷积神经网络CNN]]（平移等变性与池化的关系）；后续为 [[PyTorch实战入门]]（`DataLoader` 与 `transforms` 的工程实现）、[[模型评估与交叉验证]]（TTA 与评估口径）。
- 对应能力目标：懂原理对应「说明增广为何等价于扩张等价类、何时引入偏差」；能复现对应「组合变换并验证标签保持」；会评估对应「用验证集确定增广强度并报告 TTA 增益」。

## 原理与推导

### 1. 作用机制：等价类扩张与先验注入

设真实分布 $p_{\text{data}}(\mathbf{x},y)$ 在变换群 $G$ 下保持不变，即对任意 $g\in G$，

$$p_{\text{data}}(g\cdot\mathbf{x},\,y)=p_{\text{data}}(\mathbf{x},\,y)$$

学习目标是期望风险 $R(\boldsymbol\theta)=\mathbb{E}_{p_{\text{data}}}[\ell(f_{\boldsymbol\theta}(\mathbf{x}),y)]$。增广把该期望替换为

$$\tilde R(\boldsymbol\theta)=\mathbb{E}_{(\mathbf{x},y)\sim\mathcal{D}}\,\mathbb{E}_{T\sim\mathcal{T}}\big[\ell\big(f_{\boldsymbol\theta}(T\mathbf{x}),\,y\big)\big]$$

若 $\mathcal{T}\subseteq G$，则 $\tilde R$ 是 $R$ 的无偏估计，因为对每个 $T$，$T\mathbf{x}$ 与 $\mathbf{x}$ 同分布，期望不因变换而改变；同时对每个样本的多个视图取平均相当于用蒙特卡洛积分代替单点采样，估计方差随视图数下降。若 $\mathcal{T}\not\subseteq G$，则 $\tilde R$ 是有偏估计，偏差量等于变换改变标签的概率乘以损失差。

把每个样本的轨道 $\{g\cdot\mathbf{x}\mid g\in G\}$ 视为一个等价类。若 $f_{\boldsymbol\theta}$ 在类内取值相同，则它实际上定义在商空间 $\mathcal{X}/G$ 上，所需的样本数由 $\mathcal{X}/G$ 的复杂度决定，而不是 $\mathcal{X}$。以二维平移为例：若分类只依赖物体的形状而不依赖位置，则把所有平移后的图像视为同一类，样本复杂度从「位置与形状的联合分布」降为「形状的边缘分布」。这就是等价类扩张的定量含义。

先验注入的另一面是偏差。$\mathcal{T}$ 的选择等价于声明「这些变换不改变语义」。声明错误时，增广把错误标签注入训练集。MNIST 中的数字 6 旋转 $180^{\circ}$ 后接近 9，若使用任意角度旋转增广，标签与图像不再一致；医学影像中左右器官的位置具有诊断意义，水平翻转会交换左右；文本分类中删除否定词会反转情感极性。这三种情形对应同一机制：变换不属于真实不变群，$\tilde R$ 的偏差随增广概率线性增长。

有效样本量不等于视图数。$k$ 个视图来自同一原始样本，彼此高度相关，提供的信息远小于 $k$ 个独立样本。若把增广后的数据集大小记为 $kn$，其有效样本量可粗略写成 $n_{\text{eff}}\approx n\,k^{\alpha}$，其中 $0<\alpha<1$ 由变换的多样性决定：随机裁剪的位置越分散，$\alpha$ 越接近 1；固定角度的翻转只有两个视图，$\alpha$ 接近 0。该式只用于定性判断，不能作为精确公式使用。

从偏差—方差分解看，增广降低估计方差：模型被强制在等价类内给出相同输出，假设空间的复杂度下降。增广过强时偏差上升：训练分布与测试分布的差距扩大，模型学到的是变换不变性而非任务本身。因此验证误差关于增广强度通常呈 U 形，最优强度由数据量与任务不变性共同决定，见第 7 小节。

增广与显式正则化的联系可以精确化。对线性模型 $\hat y=\mathbf{w}^{\top}\mathbf{x}$ 与平方损失，若对输入加零均值、协方差 $\sigma^{2}\mathbf{I}$ 的高斯噪声，则

$$\mathbb{E}_{\boldsymbol\epsilon}\big[(y-\mathbf{w}^{\top}(\mathbf{x}+\boldsymbol\epsilon))^{2}\big]=(y-\mathbf{w}^{\top}\mathbf{x})^{2}+\sigma^{2}\|\mathbf{w}\|_2^{2}$$

噪声增广等效于系数为 $\sigma^{2}$ 的权重衰减，推导只用 $\mathbb{E}[\boldsymbol\epsilon]=\mathbf{0}$ 与 $\mathbb{E}[\boldsymbol\epsilon\boldsymbol\epsilon^{\top}]=\sigma^{2}\mathbf{I}$。这一等价性说明增广与 L2 并非独立的两件事，而是同一约束的两种实现；对深层非线性网络，等价关系只在小噪声极限下近似成立。

### 2. 图像增广

图像增广按作用对象分为几何变换、光度变换与遮挡三类。

| 变换 | 关键参数 | 标签保持条件 | 典型失效场景 |
|---|---|---|---|
| 水平翻转 | 概率 $p$ | 左右对称的类别 | 文字、左右器官、带方向的场景 |
| 随机裁剪与缩放 | 缩放比例、长宽比 | 主体仍在框内 | 小目标被裁掉、细粒度分类 |
| 旋转 | 角度范围 | 小角度且类别对旋转不敏感 | 数字 6/9、上下有语义的图像 |
| 颜色抖动 | 亮度、对比度、饱和度、色相 | 颜色不是判别依据 | 火焰颜色分级、皮肤病图像 |
| 平移 | 位移比例 | 位置不是判别依据 | 定位任务、带坐标回归的输出 |
| 随机擦除 | 面积比例、长宽比 | 遮挡不改变类别 | 极小目标、细粒度部件 |
| 高斯噪声 | 标准差 | 噪声不改变语义 | 低剂量成像、噪声本身是信号 |

几何变换必须与标签同步。检测任务中边界框的四角随图像做同一仿射变换，变换后需重新裁剪到画幅内并丢弃面积过小的框；分割任务中掩码使用最近邻插值，图像使用双线性插值，二者插值方式不同是常见错误来源。分类任务只需保证主体仍在画幅内，因此随机裁剪的缩放下限不能过低：$0.08$ 的下限适用于 ImageNet 级别的类内差异，对细粒度数据会裁掉判别部件。

RandAugment 把增广策略简化为两个超参数。它从固定的 14 种操作中每次均匀采样 $N$ 个，每个操作使用强度 $M$，不做策略搜索；$N$ 控制组合数，$M$ 控制单次变换幅度。相比 AutoAugment 用强化学习为每个数据集搜索子策略与概率的组合，RandAugment 的搜索成本降为一次训练内的两次超参数选择，代价是策略不是数据集最优。其经验规律是：$M$ 与模型容量、训练轮数正相关，数据量越大、训练越久，可承受的 $M$ 越大。这一规律与第 7 小节的强度—数据量关系一致。

### 3. Mixup

Mixup 在样本对之间做凸组合，标签按同一系数混合：

$$\tilde{\mathbf{x}}=\lambda\mathbf{x}_i+(1-\lambda)\mathbf{x}_j,\qquad \tilde{\mathbf{y}}=\lambda\mathbf{y}_i+(1-\lambda)\mathbf{y}_j$$

$$\lambda\sim\operatorname{Beta}(\alpha,\alpha),\qquad \alpha>0$$

$\mathbf{y}_i,\mathbf{y}_j$ 为 one-hot 向量；$\alpha$ 控制混合强度的分布。$\alpha\to0$ 时 $\lambda$ 集中在 0 与 1，混合退化为恒等；$\alpha=1$ 时 $\lambda$ 服从均匀分布；$\alpha$ 增大时 $\lambda$ 向 $0.5$ 集中。

交叉熵对目标线性，因此软标签与两项损失加权严格等价：

$$\ell\big(f_{\boldsymbol\theta}(\tilde{\mathbf{x}}),\,\lambda\mathbf{y}_i+(1-\lambda)\mathbf{y}_j\big)=-\sum_k\big(\lambda y_{i,k}+(1-\lambda)y_{j,k}\big)\log p_k=\lambda\ell\big(f,\mathbf{y}_i\big)+(1-\lambda)\ell\big(f,\mathbf{y}_j\big)$$

梯度形式同样保持：$\partial L/\partial\mathbf{z}=\mathbf{p}-\tilde{\mathbf{y}}$，即把预测拉向混合目标。实现时既可以用软标签直接算交叉熵，也可以对两个硬标签的损失加权求和，二者数值相同；用硬标签加 `argmax` 则会丢弃混合信息，与原始目标不一致。

Mixup 的有效性来自邻域线性先验：它假设在样本对之间的连线上，标签随输入线性变化。该假设在类别边界附近近似成立，在流形弯曲处不成立，因此 Mixup 对类内多样性高的数据收益更大，对类别由局部细节决定的任务收益有限。副作用有三点：训练损失的下界抬高，因为混合样本的目标本身带有不确定性；批归一化的批统计量包含混合样本，均值与方差偏离单类分布；需要更多训练轮数才能收敛。

$\lambda$ 的分布在实践中影响明显。取 $\alpha=0.2$ 时，$\lambda$ 落在 $[0.2,0.8]$ 之外的比例约为 $78.4\%$，即大多数批只做轻微混合或几乎不混合，少数批做接近对半的混合；取 $\alpha=1.0$ 时该比例约为 $39.7\%$。前者的行为接近「偶尔强增广」，后者接近「持续中等混合」，选择应结合训练轮数与数据量。

### 4. CutMix

CutMix 用另一张图的矩形区域替换当前图的对应区域，标签按面积比例混合：

$$\tilde{\mathbf{x}}=\mathbf{M}\odot\mathbf{x}_i+(\mathbf{1}-\mathbf{M})\odot\mathbf{x}_j,\qquad \tilde{\mathbf{y}}=\lambda'\,\mathbf{y}_i+(1-\lambda')\,\mathbf{y}_j$$

$$\lambda'=1-\frac{r_wr_h}{WH},\qquad r_w=W\sqrt{1-\lambda},\qquad r_h=H\sqrt{1-\lambda}$$

掩码 $\mathbf{M}$ 在矩形区域内取 1，其余取 0。矩形中心 $(c_x,c_y)$ 从画幅内均匀采样，边界裁剪到 $[0,W]\times[0,H]$，因此实际面积比 $\lambda'$ 与采样时的 $\lambda$ 不完全相等。取 $W=H=32$、$\lambda=0.6$，则 $r_w=r_h=32\sqrt{0.4}\approx20.24$，取整后为 $20$，边界裁剪后框为 $(5,6,25,26)$，面积 $400$，$\lambda'=1-400/1024=0.609375$。这一偏差在训练中可忽略，但在复现论文数值时必须使用 $\lambda'$ 而不是 $\lambda$。

CutMix 与 Mixup 的差别在于替换方式。Mixup 产生整幅叠加的像素，图像统计量偏离自然图像；CutMix 保留两块自然纹理，局部统计量与自然图像一致，因此对依赖局部特征的模型更友好，对定位与检测任务的迁移也更好。代价是 CutMix 引入的边界是人为的直线，模型可能学到边界伪影；两种方法交替使用是常见做法。

| 维度 | Mixup | CutMix |
|---|---|---|
| 混合方式 | 全图凸组合 | 矩形区域替换 |
| 标签系数 | $\lambda$ | $\lambda'=1-r_wr_h/(WH)$ |
| 图像统计量 | 偏离自然图像 | 局部保持自然 |
| 主要收益 | 决策边界线性化、校准 | 局部特征学习、定位能力 |
| 典型 $\alpha$ | $0.1$ 到 $0.4$ | $1.0$，$\lambda\sim\operatorname{Beta}(1,1)$ |

### 5. 自然语言处理的增广

文本增广比图像增广更难，因为离散符号的微小改动可能改变语义或语法。

同义替换用外部词典或词向量近邻替换部分词。风险有三类：替换词改变情感极性，如把「不差」中的「差」替换为「好」；替换词改变实体，如人名、地名被同义替换为普通词；领域词不在通用词典中，替换失败或替换为不相关词。词向量近邻替换还引入分布偏移：近邻在通用语料上相近，在目标任务上未必可互换。

回译把句子翻译为中间语言再译回，用双语模型的重写能力生成 paraphrase。它倾向产生通顺但保守的改写，语法破坏少；风险是翻译腔、实体译名漂移、时态与单复数改变，以及中间语言选择带来的系统性偏差。回译的成本与延迟高于同义替换，通常只在低资源场景使用。

EDA 组合四种操作：同义替换、随机插入、随机交换、随机删除，每种以比例 $\alpha$ 作用于句中的词。它在小规模文本分类上稳定有效，但随机删除会删掉否定词与量词，随机交换会破坏依存结构，随机插入会引入无关词。对情感分析、自然语言推理这类对功能词敏感的任务，EDA 的错误标签比例不可忽略。

大语言模型改写是当前更可控的路径：给定原句与标签，要求模型生成同义改写，再用语义相似度与标签一致性过滤。其成本高于规则方法，但可以通过提示词约束「保持否定词、实体、数字不变」。无论使用哪种方法，都必须在小规模人工标注集上估计增广后的标签一致率；一致率低于约 $95\%$ 时，增广注入的噪声会抵消数据扩张的收益。

### 6. 语音增广

语音的标签（转写文本或说话人身份）对多数声学变换不变，因此增广空间较大。

- 加性噪声：从噪声库中采样，按信噪比 $5$ 到 $20$ dB 混合，模拟信道与背景差异。
- 混响：用房间冲激响应与语音卷积，模拟远场拾音；冲激响应需与目标场景匹配，否则引入不存在的声学条件。
- 速度扰动：把语速变为 $0.9$、$1.0$、$1.1$ 倍，同时改变时长与音高；对基于 CTC 的识别，时长变化不需要重新对齐，对基于帧级交叉熵的声学模型则需要对状态序列做相应伸缩。
- 音高平移：独立于时长改变基频，用于说话人无关的识别。
- SpecAugment：在梅尔谱上做时间掩码、频率掩码与时间扭曲，不改变波形，计算成本低；掩码宽度是主要超参数，过宽会遮蔽整个音素。

语音增广的强度通常按信噪比与掩码比例设定，而非按图像中的几何参数。识别任务中，加噪与混响的收益随训练集与测试集信道差异增大而增大；当训练集已覆盖测试信道时，增广收益接近于零。

### 7. 增广强度与数据量的关系

增广强度与数据量呈反向关系，与训练轮数呈正向关系。数据量小时，模型容易记住训练样本，强增广提供的额外约束收益大；数据量大时，经验风险本身的估计方差已经很小，强增广反而使训练分布偏离测试分布，验证误差上升。训练轮数增加时，模型有更多机会拟合增广后的分布，可承受的强度随之提高；这也是 RandAugment 的强度随训练预算线性缩放的依据。

| 数据量（相对） | 推荐强度 | 图像典型设置 | 备注 |
|---|---|---|---|
| 每类少于 100 | 强 | 裁剪 $0.5$ 到 $1.0$、颜色抖动 $0.4$、RandAugment $N=2,M=12$ | 需检查标签保持 |
| 每类 100 到 1000 | 中 | 裁剪 $0.3$ 到 $1.0$、翻转、RandAugment $N=2,M=9$ | 默认设置 |
| 每类超过 10000 | 弱 | 翻转、轻微裁剪、RandAugment $N=1,M=5$ | 增广收益接近饱和 |
| 预训练微调 | 弱到中 | 翻转、小角度旋转 | 预训练分布已含多样性 |

强度与正则化强度会相互补偿。若同时增大增广与权重衰减，验证曲线可能先改善后恶化，且无法判断是哪一项导致；正确做法是固定其中一项，单独扫描另一项，再在最优组合附近做二维细扫。[[正则化与调参]] 第 10 小节的调参顺序同样适用于此：先建立无增广基线，再逐项加入变换。

### 8. 测试时增广

测试时对同一输入生成 $m$ 个视图，聚合预测：

$$\hat{\mathbf{y}}=\frac{1}{m}\sum_{j=1}^{m}f_{\boldsymbol\theta}\big(T_j(\mathbf{x})\big)$$

对分类任务，$\hat{\mathbf{y}}$ 是概率向量的平均，取 argmax 得到类别；对回归任务取数值平均。TTA 的收益来自两方面：平均降低预测方差；若模型对变换近似不变，各视图的误差部分独立，平均后误差下降。收益量级通常为 $0.5$ 到 $2$ 个百分点，成本为 $m$ 倍推理计算。

TTA 有效的条件是变换属于训练时使用过的、标签保持的变换族。训练时使用随机裁剪与翻转，测试时使用中心裁剪加翻转即可；若测试时引入训练时未见的变换，例如大角度旋转，模型在该视图上的预测不可靠，平均后被拖累。TTA 与模型集成不同：所有视图共享同一组参数，视图之间的相关性高，增益小于同等数量的独立模型集成。

## 关键直觉

> [!tip] 机制性表述
> 数据增广把「已知的、标签不变的变换」写进训练分布，用样本表达先验：模型在等价类内被强制给出相同输出，所需独立样本数由商空间的复杂度决定，而不是由输入空间的复杂度决定。变换族选对时，增广降低方差且几乎不引入偏差；变换族选错时，增广等价于按一定比例注入标签噪声。强度与数据量成反比、与训练轮数成正比，是因为它调节的是「约束强度」与「拟合机会」之间的平衡。

该表述与严格定义的关系：定义中的「保持标签语义」对应 $\mathcal{T}\subseteq G$ 的条件，第 1 小节给出了无偏性的证明框架；「扩充训练分布」对应 $\tilde R$ 的表达式；「不变性或等变性」对应 $f(g\cdot\mathbf{x})=f(\mathbf{x})$ 与 $f(g\cdot\mathbf{x})=g\cdot f(\mathbf{x})$ 两种目标。因此判断一种增广是否适用，只需要回答两个问题：变换是否属于真实不变群，模型是否被要求在变换下保持不变。

## 例子与代码

### 示例 1：torchvision 的变换组合

以下代码构造训练与评估两条变换流水线。训练流水线包含几何变换、光度变换、张量化、归一化与随机擦除；评估流水线只包含确定性的缩放、中心裁剪与归一化。`RandAugment` 需要 torchvision 0.12 及以上，`RandomErasing` 需要 0.8 及以上。

```python
from torchvision import transforms

# 训练流水线：顺序影响结果，几何变换在前，张量化与归一化在后
train_tf = transforms.Compose([
    transforms.RandomResizedCrop(224, scale=(0.35, 1.0), ratio=(3 / 4, 4 / 3)),
    transforms.RandomHorizontalFlip(p=0.5),
    transforms.ColorJitter(brightness=0.4, contrast=0.4,
                           saturation=0.4, hue=0.1),
    transforms.RandAugment(num_ops=2, magnitude=9),   # 每条样本随机 2 个操作
    transforms.ToTensor(),                            # PIL -> float32 CHW, [0,1]
    transforms.Normalize(mean=(0.485, 0.456, 0.406),
                         std=(0.229, 0.224, 0.225)),
    transforms.RandomErasing(p=0.25, scale=(0.02, 0.33), value=0),
])

# 评估流水线：确定性变换，不做随机增广
eval_tf = transforms.Compose([
    transforms.Resize(256),
    transforms.CenterCrop(224),
    transforms.ToTensor(),
    transforms.Normalize(mean=(0.485, 0.456, 0.406),
                         std=(0.229, 0.224, 0.225)),
])
```

三点说明：

- 顺序的作用：`RandomResizedCrop` 先执行，后续的颜色抖动与 RandAugment 作用在裁剪后的区域，变换的语义一致；若先做颜色抖动再裁剪，被裁掉的区域也消耗了随机数，且同一图像的不同裁剪会继承同一颜色变换，多样性下降。`RandomErasing` 必须在 `ToTensor` 与 `Normalize` 之后，因为它按张量的面积比例采样矩形并用常数填充，作用在 PIL 图像上无法保证填充值的尺度正确。
- 参数的作用：`scale=(0.35, 1.0)` 限制裁剪区域占原图的比例，下限过低会裁掉主体；`ratio` 限制长宽比，防止极端形变；`magnitude=9` 是 RandAugment 的强度等级，取值 $0$ 到 $30$；`RandomErasing` 的 `value=0` 在归一化之后对应数据集的均值像素，若在归一化之前擦除则应填 $0$ 到 $1$ 之间的值。
- 去掉会怎样：去掉 `RandomResizedCrop` 与 `RandomHorizontalFlip` 后，模型只能看到固定视角，验证集上的位置与视角偏移会导致明显掉点；去掉 `Normalize` 后，输入尺度与预训练权重的假设不符，若从零训练则收敛变慢；把 `eval_tf` 也写成 `train_tf`，验证指标会随随机种子波动，早停与模型选择失效。

### 示例 2：Mixup 的 NumPy 实现

以下代码实现第 3 小节的公式，并打印混合系数、置换索引、混合后的输入与软标签。`np.random.default_rng` 的随机流与 `np.random.seed` 不同，结果可复现。

```python
import numpy as np

np.set_printoptions(precision=4, suppress=True)
rng = np.random.default_rng(0)


def mixup(x, y, alpha=1.0, rng=None):
    """x: (N, D) 输入；y: (N, K) one-hot 标签。返回混合样本、软标签、lambda、置换索引。"""
    lam = rng.beta(alpha, alpha)          # 每个批采样一次
    idx = rng.permutation(len(x))         # 批内随机配对
    x_mix = lam * x + (1.0 - lam) * x[idx]
    y_mix = lam * y + (1.0 - lam) * y[idx]
    return x_mix, y_mix, lam, idx


x = np.arange(12, dtype=np.float64).reshape(4, 3)   # 4 个样本，每个 3 维
y = np.eye(3)[np.array([2, 0, 1, 0])]                # one-hot，类别依次为 2,0,1,0
x_mix, y_mix, lam, idx = mixup(x, y, alpha=1.0, rng=rng)
print("lam =", lam)
print("idx =", idx)
print("混合输入第 0 行 =", x_mix[0])
print("混合标签第 0 行 =", y_mix[0])
print("各行标签和 =", y_mix.sum(axis=1))
```

预期输出：

```text
lam = 0.7024679465208304
idx = [3 2 1 0]
混合输入第 0 行 = [2.6778 3.6778 4.6778]
混合标签第 0 行 = [0.2975 0.     0.7025]
各行标签和 = [1. 1. 1. 1.]
```

三点说明：

- 第 0 个样本的类别为 2，配对的第 3 个样本类别为 0。$\lambda=0.7025$ 时软标签为 $(0.2975,\,0,\,0.7025)$：类别 2 的权重为 $0.7025$，类别 0 的权重为 $0.2975$，两者之和为 1。若把 $\lambda$ 用在标签上却用 $1-\lambda$ 用在输入上，标签与输入的对应关系反转，训练目标自相矛盾。
- 输入 $[0,1,2]$ 与 $[9,10,11]$ 的凸组合为 $[2.6778,\,3.6778,\,4.6778]$，逐元素线性。这意味着混合样本落在两类样本的连线上，模型在这些位置没有真实数据，其预测由邻域插值决定，这正是 Mixup 施加的线性先验。
- `idx` 是置换而非随机重采样，每个样本恰好作为一次「主样本」与一次「配对样本」出现，批内配对无放回；若改用 `rng.integers` 有放回采样，同一批内可能出现自配对，$\lambda$ 接近 1 时该样本退化为自身。

在训练循环中使用软标签时，损失应写成对 $\log p$ 的加权求和，而不是对硬标签的交叉熵：

```python
import torch.nn.functional as F

logits = model(x_mix)                       # (B, K)
loss = -(y_mix * F.log_softmax(logits, dim=1)).sum(dim=1).mean()
```

### 示例 3：CutMix 的矩形采样

以下代码实现第 4 小节的框采样与面积修正，并给出混合后的标签。注意 $\lambda'$ 与采样时的 $\lambda$ 不同。

```python
import numpy as np

np.set_printoptions(precision=4, suppress=True)


def cutmix_box(H, W, lam, rng):
    r = np.sqrt(1.0 - lam)
    cut_w, cut_h = int(W * r), int(H * r)
    cx, cy = rng.integers(W), rng.integers(H)
    x1, x2 = np.clip([cx - cut_w // 2, cx + cut_w // 2], 0, W)
    y1, y2 = np.clip([cy - cut_h // 2, cy + cut_h // 2], 0, H)
    lam_adj = 1.0 - (x2 - x1) * (y2 - y1) / (W * H)
    return int(x1), int(y1), int(x2), int(y2), lam_adj


x1, y1, x2, y2, lam_adj = cutmix_box(32, 32, 0.6, np.random.default_rng(1))
print("框 =", (x1, y1, x2, y2), "面积 =", (x2 - x1) * (y2 - y1))
print("lam_adj =", lam_adj)

y = np.eye(3)[np.array([2, 0, 1, 0])]
idx = np.array([3, 2, 1, 0])
y_cm = lam_adj * y + (1.0 - lam_adj) * y[idx]
print("CutMix 标签第 0 行 =", y_cm[0])
print("各行标签和 =", y_cm.sum(axis=1))
```

预期输出：

```text
框 = (5, 6, 25, 26) 面积 = 400
lam_adj = 0.609375
CutMix 标签第 0 行 = [0.3906 0.     0.6094]
各行标签和 = [1. 1. 1. 1.]
```

三点说明：

- 采样时 $\lambda=0.6$，按公式 $r=32\sqrt{0.4}=20.24$，取整后框为 $20\times20$，面积 $400$ 小于 $0.4\times1024=409.6$，故 $\lambda'=0.609375$ 略大于 $0.6$。若直接用 $\lambda=0.6$ 做标签混合，标签与图像的实际面积比不一致，误差约为 $1.5\%$。
- 框的中心 $(15,16)$ 靠近画幅中心，是因为中心在 $[0,32)$ 上均匀采样；边界裁剪保证框不越界，代价是靠近边界的采样得到的实际面积小于目标面积，$\lambda'$ 的分布因此向 1 偏移。
- `y[idx]` 中的 `idx` 与图像置换使用同一顺序，保证第 $i$ 个样本的替换区域来自第 $idx_i$ 个样本。若标签置换与图像置换不一致，混合标签指向错误的类别，训练损失无法下降。

### 示例 4：测试时增广

以下代码对同一批图像做原图与水平翻转两个视图，平均概率后取类别。`model.eval()` 必须在推理前调用，否则 Dropout 与 BatchNorm 的行为与训练一致，TTA 的方差估计失真。

```python
import torch

@torch.no_grad()
def tta_predict(model, x, views=2):
    model.eval()
    probs = []
    for j in range(views):
        xj = torch.flip(x, dims=[3]) if j % 2 == 1 else x
        probs.append(torch.softmax(model(xj), dim=1))
    return torch.stack(probs).mean(dim=0)
```

视图数与增益不是线性关系：两个视图通常取得大部分收益，继续增加视图的边际收益迅速下降，而计算成本线性增长。若验证集上单视图准确率为 $97.8\%$，双视图 TTA 的典型结果为 $98.1\%$ 到 $98.3\%$；若变换与训练不一致，例如训练未使用翻转而测试使用翻转，结果可能低于单视图。

## 易错点

> [!warning] 具体错误
> - 对标签会改变的类别使用几何变换。MNIST 数字 6 旋转 $180^{\circ}$ 后接近 9，医学图像的左右翻转会交换器官位置，文本的随机删除会删掉否定词；这些变换注入的是错误标签，表现为训练损失下降而验证精度停滞。
> - 在归一化之后做颜色抖动，或在归一化之前做随机擦除。归一化把像素变换到零均值、单位方差的空间，颜色抖动的幅度参数在该空间中没有对应的物理含义；随机擦除在归一化之前填充 0 会得到黑色块，在归一化之后填充 0 才对应均值像素。
> - Mixup 用硬标签计算交叉熵。把混合输入送入模型后仍用 `CrossEntropyLoss(logits, y_i)`，只有主样本的标签参与，配对的 $1-\lambda$ 部分被丢弃，等效于在混合图像上训练错误标签；必须使用软标签或两项损失加权。
> - 混合系数在输入与标签上取反。`x_mix = lam * x + (1-lam) * x[idx]` 与 `y_mix = (1-lam) * y + lam * y[idx]` 同时出现时，标签指向的类别与图像主成分不符，训练损失下不去，且难以从形状或数值上发现。
> - 在验证集与测试集上使用随机增广。验证指标随随机种子波动，早停与超参数选择被噪声主导；正确做法是评估流水线只保留确定性的缩放、中心裁剪与归一化。
> - 认为增广可以替代真实数据。$k$ 个视图高度相关，有效样本量低于 $kn$；在类别不平衡时，对少数类做过强增广会进一步改变类先验，使预测偏向多数类。

## 关联笔记

- 前置：[[正则化与调参]] —— 过拟合的来源、正则强度与验证曲线的读法，是判断增广是否有效的框架；本篇的强度调节沿用该篇的消融顺序。
- 前置：[[卷积神经网络CNN]] —— 卷积与池化提供平移等变性，增广提供其他变换的不变性，两者共同决定模型对几何变换的响应。
- 后续：[[PyTorch实战入门]] —— `Dataset` 的 `transform`、`DataLoader` 的多进程加载与 `collate_fn` 是增广的工程落点，随机种子与 worker 的交互在该篇说明。
- 对照：[[模型评估与交叉验证]] —— TTA 改变推理口径，评估时必须与训练口径分离，交叉验证的划分也需保证同一原图不跨折。
- 对照：[[损失函数]] —— 软标签交叉熵与标签平滑的形式相同，区别在于前者的软目标由样本混合产生，后者由固定系数产生。

## 达标检测

- [ ] 写出增广后的期望风险 $\tilde R(\boldsymbol\theta)$，说明 $\mathcal{T}\subseteq G$ 时它为何是无偏估计、$\mathcal{T}\not\subseteq G$ 时偏差从何而来；并用二维平移的例子说明商空间 $\mathcal{X}/G$ 如何降低样本复杂度、为何 $k$ 个视图的有效样本量低于 $kn$。
- [ ] 写出 Mixup 的输入与标签公式，证明软标签交叉熵与两项硬标签损失加权相等，并说明 $\alpha=0.2$ 时 $\lambda$ 的分布特征。
- [ ] 推导 CutMix 的 $\lambda'$，对 $32\times32$、$\lambda=0.6$ 手算框尺寸与 $\lambda'$，解释它为何不等于 $0.6$。
- [ ] 运行示例 2 与示例 3，把标签与输入的混合系数取反，观察训练损失的变化，并说明为何该错误难以从形状上发现。
- [ ] 为一个每类 50 张图像的数据集设计增广方案，给出强度、变换组合与验证方式，并说明如何判断增广过强。
- [ ] 写出 TTA 的聚合公式，说明其与模型集成的差别，并给出一个 TTA 反而降低准确率的场景。

## 参考来源

- d2l.ai《动手学深度学习》，第 13 章「计算机视觉」中的图像增广一节 —— 对应图像增广的实现、`transforms` 流水线与训练/评估流水线的分离。
- Zhang, Cisse, Dauphin, Lopez-Paz, "mixup: Beyond Empirical Risk Minimization", arXiv:1710.09412 —— 对应 Mixup 的公式、$\lambda$ 的 Beta 先验与邻域线性化的动机。
- Yun, Oh, Heo, Han, Kim, "CutMix: Regularization Strategy to Train Strong Classifiers with Localizable Features", arXiv:1905.04899 —— 对应 CutMix 的掩码采样、面积比标签与和 Mixup 的对比。
- Goodfellow, Bengio, Courville, *Deep Learning*, 2016, 第 7.4 节「Dataset Augmentation」 —— 对应增广作为正则化手段的一般论述、噪声注入与等价的权重衰减。
- PyTorch 官方文档，`torchvision.transforms` 中的 `RandomResizedCrop`、`RandAugment`、`RandomErasing` 与 `Compose` —— 对应示例 1 的接口语义、参数范围与执行顺序。
