w wyl123ly 的博客
MD

MOC-深度学习

6 KB 2026.10.18 原文件

MOC · 深度学习核心

本阶段地图

本阶段解决一个核心问题:由多层非线性变换构成的模型,如何通过梯度从数据中学习。阅读顺序遵循「表示 → 求导 → 目标 → 非线性 → 更新 → 约束 → 工具 → 结构」的依赖链。本阶段的每一项都在 05 阶段被复用:反向传播用于 Transformer 训练,交叉熵用于语言建模,Adam 与 LayerNorm 用于大规模训练,残差连接用于深层网络。

flowchart LR
    NN[[神经网络与前向传播]] --> BP[[反向传播详解]]
    BP --> LOSS[[损失函数]]
    LOSS --> ACT[[激活函数]]
    ACT --> OPT[[优化器与学习率]]
    OPT --> REG[[正则化与调参]]
    REG --> PT[[PyTorch实战入门]]
    PT --> CNN[[卷积神经网络CNN]]
    PT --> RNN[[循环神经网络RNN]]
    RNN --> LSTM[[LSTM与GRU]]
    PT --> DA[[数据增广]]

学习顺序与理由

  1. 神经网络与前向传播:先明确模型在算什么:仿射变换、非线性、层堆叠与初始化。
  2. 反向传播详解:本阶段重心。必须手推两层网络的完整梯度,并与 PyTorch autograd 数值对照;不做这一步,后续所有训练都只是调用接口。
  3. 损失函数:反向传播需要一个标量目标;交叉熵的梯度 是理解语言模型训练的关键。
  4. 激活函数:非线性决定梯度流;GELU/SiLU 直接出现在 Transformer 中。
  5. 优化器与学习率:把梯度变成参数更新;Adam/AdamW 是 LLM 训练的默认选择。
  6. 正则化与调参:控制泛化;BatchNorm 与 LayerNorm 的差异决定 Transformer 的结构选择。
  7. PyTorch实战入门:把前六篇落到可运行的训练循环,后续所有代码以本篇的工程约定为模板。
  8. 卷积神经网络CNN:引入局部连接与权值共享,理解归纳偏置与残差连接。
  9. 循环神经网络RNN:序列建模与 BPTT,是 从RNN到注意力机制 的直接前驱。
  10. LSTM与GRU:门控机制与长程依赖,理解「门」的设计动机。
  11. 数据增广:在不改变标签语义的前提下扩张数据分布,与正则化互补。

笔记索引

笔记难度核心内容前置
[[神经网络与前向传播]]★★☆神经元、层、初始化、参数量[[线性代数]]
[[反向传播详解]]★★★计算图、链式法则、手推梯度、梯度检验[[微积分与梯度]]
[[损失函数]]★★☆MSE、交叉熵、KL、标签平滑[[概率与统计]]
[[激活函数]]★★☆sigmoid/ReLU/GELU 及梯度性质[[神经网络与前向传播]]
[[优化器与学习率]]★★★SGD、Momentum、Adam、AdamW、调度[[优化算法-梯度下降与Adam]]
[[正则化与调参]]★★★L1/L2、Dropout、BN、LayerNorm、早停[[损失函数]]
[[PyTorch实战入门]]★★☆autograd、Module、DataLoader、训练循环[[反向传播详解]]
[[卷积神经网络CNN]]★★★卷积、感受野、池化、ResNet[[PyTorch实战入门]]
[[循环神经网络RNN]]★★★递推、BPTT、梯度消失[[PyTorch实战入门]]
[[LSTM与GRU]]★★★门控、细胞状态、参数量[[循环神经网络RNN]]
[[数据增广]]★★☆图像增广、Mixup、CutMix[[正则化与调参]]

训练工程约定

  • 每次实验固定随机种子,记录数据版本、超参数、显存峰值与单步耗时。
  • 先在小批量上过拟合,确认模型与损失实现无误,再扩展到全量数据。
  • 监控训练损失、验证损失、梯度范数与学习率四条曲线;验证损失回升即触发早停或正则化调整。
  • 所有自定义层必须通过梯度检验或与框架实现对照后再使用。

达标清单

  • [ ] 能手推两层 MLP 的四个参数梯度,并解释每个矩阵的维度。
  • [ ] 能写出 softmax 与交叉熵组合的梯度,并说明数值稳定实现。
  • [ ] 能解释 Adam 偏差修正的必要性,并写出 AdamW 与 Adam 的差异。
  • [ ] 能说明 BatchNorm 训练与推理阶段的差异,以及为何 Transformer 使用 LayerNorm。
  • [ ] 能计算卷积层输出尺寸与感受野,解释残差连接对梯度流的作用。
  • [ ] 能写出 LSTM 三个门的公式,并解释细胞状态为何缓解梯度消失。
  • [ ] 能独立编写完整的 PyTorch 训练与评估循环,正确定位形状错误。

阶段项目

在 CIFAR-10 或 MNIST 上完成一次受控实验:

  1. 实现一个三层 MLP 与一个小型 CNN,参数量控制在同一量级。
  2. 手写 NumPy 版单隐藏层网络,与 PyTorch 版本在同一初始化下对比前 10 步损失。
  3. 对比 SGD、Momentum、Adam 的收敛曲线,固定其他变量。
  4. 消融 Dropout、BatchNorm、数据增广,报告每组验证准确率。
  5. 输出实验报告,包含曲线、参数量、训练时间与失效分析。

验收标准:所有对比只改变一个变量;曲线可由脚本重绘;报告能解释每个组件带来的增益或损失。

参考来源

  • Goodfellow, Bengio, Courville, Deep Learning, 2016 —— 第 6–10 章。
  • d2l.ai《动手学深度学习》—— 多层感知机、卷积、循环网络章节。
  • Stanford CS231n 课程笔记 —— 反向传播、CNN、训练技巧。
  • Kingma & Ba, "Adam: A Method for Stochastic Optimization", arXiv:1412.6980。
  • Ioffe & Szegedy, "Batch Normalization", arXiv:1502.03167。
  • He et al., "Deep Residual Learning for Image Recognition", arXiv:1512.03385。