---
tags: [AI, MOC, 深度学习]
阶段: 04-深度学习核心
难度: ★★☆
created: 2026-10-18
related: "[[00-MOC]], [[反向传播详解]], [[MOC-LLM原理]]"
---

# MOC · 深度学习核心

> [!summary] 本阶段地图
> 本阶段解决一个核心问题：由多层非线性变换构成的模型，如何通过梯度从数据中学习。阅读顺序遵循「表示 → 求导 → 目标 → 非线性 → 更新 → 约束 → 工具 → 结构」的依赖链。本阶段的每一项都在 05 阶段被复用：反向传播用于 Transformer 训练，交叉熵用于语言建模，Adam 与 LayerNorm 用于大规模训练，残差连接用于深层网络。

```mermaid
flowchart LR
    NN[[神经网络与前向传播]] --> BP[[反向传播详解]]
    BP --> LOSS[[损失函数]]
    LOSS --> ACT[[激活函数]]
    ACT --> OPT[[优化器与学习率]]
    OPT --> REG[[正则化与调参]]
    REG --> PT[[PyTorch实战入门]]
    PT --> CNN[[卷积神经网络CNN]]
    PT --> RNN[[循环神经网络RNN]]
    RNN --> LSTM[[LSTM与GRU]]
    PT --> DA[[数据增广]]
```

## 学习顺序与理由

1. [[神经网络与前向传播]]：先明确模型在算什么：仿射变换、非线性、层堆叠与初始化。
2. [[反向传播详解]]：本阶段重心。必须手推两层网络的完整梯度，并与 PyTorch autograd 数值对照；不做这一步，后续所有训练都只是调用接口。
3. [[损失函数]]：反向传播需要一个标量目标；交叉熵的梯度 $p-y$ 是理解语言模型训练的关键。
4. [[激活函数]]：非线性决定梯度流；GELU/SiLU 直接出现在 Transformer 中。
5. [[优化器与学习率]]：把梯度变成参数更新；Adam/AdamW 是 LLM 训练的默认选择。
6. [[正则化与调参]]：控制泛化；BatchNorm 与 LayerNorm 的差异决定 Transformer 的结构选择。
7. [[PyTorch实战入门]]：把前六篇落到可运行的训练循环，后续所有代码以本篇的工程约定为模板。
8. [[卷积神经网络CNN]]：引入局部连接与权值共享，理解归纳偏置与残差连接。
9. [[循环神经网络RNN]]：序列建模与 BPTT，是 [[从RNN到注意力机制]] 的直接前驱。
10. [[LSTM与GRU]]：门控机制与长程依赖，理解「门」的设计动机。
11. [[数据增广]]：在不改变标签语义的前提下扩张数据分布，与正则化互补。

## 笔记索引

| 笔记 | 难度 | 核心内容 | 前置 |
|---|---|---|---|
| [[神经网络与前向传播]] | ★★☆ | 神经元、层、初始化、参数量 | [[线性代数]] |
| [[反向传播详解]] | ★★★ | 计算图、链式法则、手推梯度、梯度检验 | [[微积分与梯度]] |
| [[损失函数]] | ★★☆ | MSE、交叉熵、KL、标签平滑 | [[概率与统计]] |
| [[激活函数]] | ★★☆ | sigmoid/ReLU/GELU 及梯度性质 | [[神经网络与前向传播]] |
| [[优化器与学习率]] | ★★★ | SGD、Momentum、Adam、AdamW、调度 | [[优化算法-梯度下降与Adam]] |
| [[正则化与调参]] | ★★★ | L1/L2、Dropout、BN、LayerNorm、早停 | [[损失函数]] |
| [[PyTorch实战入门]] | ★★☆ | autograd、Module、DataLoader、训练循环 | [[反向传播详解]] |
| [[卷积神经网络CNN]] | ★★★ | 卷积、感受野、池化、ResNet | [[PyTorch实战入门]] |
| [[循环神经网络RNN]] | ★★★ | 递推、BPTT、梯度消失 | [[PyTorch实战入门]] |
| [[LSTM与GRU]] | ★★★ | 门控、细胞状态、参数量 | [[循环神经网络RNN]] |
| [[数据增广]] | ★★☆ | 图像增广、Mixup、CutMix | [[正则化与调参]] |

## 训练工程约定

- 每次实验固定随机种子，记录数据版本、超参数、显存峰值与单步耗时。
- 先在小批量上过拟合，确认模型与损失实现无误，再扩展到全量数据。
- 监控训练损失、验证损失、梯度范数与学习率四条曲线；验证损失回升即触发早停或正则化调整。
- 所有自定义层必须通过梯度检验或与框架实现对照后再使用。

## 达标清单

- [ ] 能手推两层 MLP 的四个参数梯度，并解释每个矩阵的维度。
- [ ] 能写出 softmax 与交叉熵组合的梯度，并说明数值稳定实现。
- [ ] 能解释 Adam 偏差修正的必要性，并写出 AdamW 与 Adam 的差异。
- [ ] 能说明 BatchNorm 训练与推理阶段的差异，以及为何 Transformer 使用 LayerNorm。
- [ ] 能计算卷积层输出尺寸与感受野，解释残差连接对梯度流的作用。
- [ ] 能写出 LSTM 三个门的公式，并解释细胞状态为何缓解梯度消失。
- [ ] 能独立编写完整的 PyTorch 训练与评估循环，正确定位形状错误。

## 阶段项目

在 CIFAR-10 或 MNIST 上完成一次受控实验：

1. 实现一个三层 MLP 与一个小型 CNN，参数量控制在同一量级。
2. 手写 NumPy 版单隐藏层网络，与 PyTorch 版本在同一初始化下对比前 10 步损失。
3. 对比 SGD、Momentum、Adam 的收敛曲线，固定其他变量。
4. 消融 Dropout、BatchNorm、数据增广，报告每组验证准确率。
5. 输出实验报告，包含曲线、参数量、训练时间与失效分析。

验收标准：所有对比只改变一个变量；曲线可由脚本重绘；报告能解释每个组件带来的增益或损失。

## 参考来源

- Goodfellow, Bengio, Courville, *Deep Learning*, 2016 —— 第 6–10 章。
- d2l.ai《动手学深度学习》—— 多层感知机、卷积、循环网络章节。
- Stanford CS231n 课程笔记 —— 反向传播、CNN、训练技巧。
- Kingma & Ba, "Adam: A Method for Stochastic Optimization", arXiv:1412.6980。
- Ioffe & Szegedy, "Batch Normalization", arXiv:1502.03167。
- He et al., "Deep Residual Learning for Image Recognition", arXiv:1512.03385。
