MOC · 深度学习核心
本阶段地图
本阶段解决一个核心问题:由多层非线性变换构成的模型,如何通过梯度从数据中学习。阅读顺序遵循「表示 → 求导 → 目标 → 非线性 → 更新 → 约束 → 工具 → 结构」的依赖链。本阶段的每一项都在 05 阶段被复用:反向传播用于 Transformer 训练,交叉熵用于语言建模,Adam 与 LayerNorm 用于大规模训练,残差连接用于深层网络。
flowchart LR
NN[[神经网络与前向传播]] --> BP[[反向传播详解]]
BP --> LOSS[[损失函数]]
LOSS --> ACT[[激活函数]]
ACT --> OPT[[优化器与学习率]]
OPT --> REG[[正则化与调参]]
REG --> PT[[PyTorch实战入门]]
PT --> CNN[[卷积神经网络CNN]]
PT --> RNN[[循环神经网络RNN]]
RNN --> LSTM[[LSTM与GRU]]
PT --> DA[[数据增广]]
学习顺序与理由
- 神经网络与前向传播:先明确模型在算什么:仿射变换、非线性、层堆叠与初始化。
- 反向传播详解:本阶段重心。必须手推两层网络的完整梯度,并与 PyTorch autograd 数值对照;不做这一步,后续所有训练都只是调用接口。
- 损失函数:反向传播需要一个标量目标;交叉熵的梯度 是理解语言模型训练的关键。
- 激活函数:非线性决定梯度流;GELU/SiLU 直接出现在 Transformer 中。
- 优化器与学习率:把梯度变成参数更新;Adam/AdamW 是 LLM 训练的默认选择。
- 正则化与调参:控制泛化;BatchNorm 与 LayerNorm 的差异决定 Transformer 的结构选择。
- PyTorch实战入门:把前六篇落到可运行的训练循环,后续所有代码以本篇的工程约定为模板。
- 卷积神经网络CNN:引入局部连接与权值共享,理解归纳偏置与残差连接。
- 循环神经网络RNN:序列建模与 BPTT,是 从RNN到注意力机制 的直接前驱。
- LSTM与GRU:门控机制与长程依赖,理解「门」的设计动机。
- 数据增广:在不改变标签语义的前提下扩张数据分布,与正则化互补。
笔记索引
| 笔记 | 难度 | 核心内容 | 前置 |
|---|---|---|---|
| [[神经网络与前向传播]] | ★★☆ | 神经元、层、初始化、参数量 | [[线性代数]] |
| [[反向传播详解]] | ★★★ | 计算图、链式法则、手推梯度、梯度检验 | [[微积分与梯度]] |
| [[损失函数]] | ★★☆ | MSE、交叉熵、KL、标签平滑 | [[概率与统计]] |
| [[激活函数]] | ★★☆ | sigmoid/ReLU/GELU 及梯度性质 | [[神经网络与前向传播]] |
| [[优化器与学习率]] | ★★★ | SGD、Momentum、Adam、AdamW、调度 | [[优化算法-梯度下降与Adam]] |
| [[正则化与调参]] | ★★★ | L1/L2、Dropout、BN、LayerNorm、早停 | [[损失函数]] |
| [[PyTorch实战入门]] | ★★☆ | autograd、Module、DataLoader、训练循环 | [[反向传播详解]] |
| [[卷积神经网络CNN]] | ★★★ | 卷积、感受野、池化、ResNet | [[PyTorch实战入门]] |
| [[循环神经网络RNN]] | ★★★ | 递推、BPTT、梯度消失 | [[PyTorch实战入门]] |
| [[LSTM与GRU]] | ★★★ | 门控、细胞状态、参数量 | [[循环神经网络RNN]] |
| [[数据增广]] | ★★☆ | 图像增广、Mixup、CutMix | [[正则化与调参]] |
训练工程约定
- 每次实验固定随机种子,记录数据版本、超参数、显存峰值与单步耗时。
- 先在小批量上过拟合,确认模型与损失实现无误,再扩展到全量数据。
- 监控训练损失、验证损失、梯度范数与学习率四条曲线;验证损失回升即触发早停或正则化调整。
- 所有自定义层必须通过梯度检验或与框架实现对照后再使用。
达标清单
- [ ] 能手推两层 MLP 的四个参数梯度,并解释每个矩阵的维度。
- [ ] 能写出 softmax 与交叉熵组合的梯度,并说明数值稳定实现。
- [ ] 能解释 Adam 偏差修正的必要性,并写出 AdamW 与 Adam 的差异。
- [ ] 能说明 BatchNorm 训练与推理阶段的差异,以及为何 Transformer 使用 LayerNorm。
- [ ] 能计算卷积层输出尺寸与感受野,解释残差连接对梯度流的作用。
- [ ] 能写出 LSTM 三个门的公式,并解释细胞状态为何缓解梯度消失。
- [ ] 能独立编写完整的 PyTorch 训练与评估循环,正确定位形状错误。
阶段项目
在 CIFAR-10 或 MNIST 上完成一次受控实验:
- 实现一个三层 MLP 与一个小型 CNN,参数量控制在同一量级。
- 手写 NumPy 版单隐藏层网络,与 PyTorch 版本在同一初始化下对比前 10 步损失。
- 对比 SGD、Momentum、Adam 的收敛曲线,固定其他变量。
- 消融 Dropout、BatchNorm、数据增广,报告每组验证准确率。
- 输出实验报告,包含曲线、参数量、训练时间与失效分析。
验收标准:所有对比只改变一个变量;曲线可由脚本重绘;报告能解释每个组件带来的增益或损失。
参考来源
- Goodfellow, Bengio, Courville, Deep Learning, 2016 —— 第 6–10 章。
- d2l.ai《动手学深度学习》—— 多层感知机、卷积、循环网络章节。
- Stanford CS231n 课程笔记 —— 反向传播、CNN、训练技巧。
- Kingma & Ba, "Adam: A Method for Stochastic Optimization", arXiv:1412.6980。
- Ioffe & Szegedy, "Batch Normalization", arXiv:1502.03167。
- He et al., "Deep Residual Learning for Image Recognition", arXiv:1512.03385。