MOC · 数学基础
本阶段地图
本阶段提供后续所有阶段共用的最小数学工具集:用线性代数描述参数与表示,用微积分描述变化率与梯度,用概率论描述不确定性与估计,用矩阵分解描述结构与低秩近似,用优化算法把前四者合成为可执行的训练过程。五篇笔记存在严格依赖,建议顺序阅读,不要跳读推导。
flowchart LR
LA[[线性代数]] --> MC[[微积分与梯度]]
LA --> MF[[矩阵分解-SVD与特征分解]]
MC --> PR[[概率与统计]]
PR --> OPT[[优化算法-梯度下降与Adam]]
MF --> OPT
OPT --> ML[[线性回归]]
学习顺序与理由
- 线性代数:后续一切模型都把输入与参数表示为向量和矩阵。矩阵乘法、秩、特征值、投影是理解线性回归闭式解、PCA、LoRA 的前提。
- 微积分与梯度:梯度是训练的驱动力。必须先掌握导数定义与链式法则,才能在 反向传播详解 中完成逐层求导。
- 概率与统计:损失函数的合法性来自似然,评估的置信度来自统计推断。MLE/MAP 把 线性回归 的 MSE 与正则化解释为概率假设的推论。
- 矩阵分解-SVD与特征分解:在特征值基础上给出任意矩阵的结构分解,连接 PCA与降维、推荐系统矩阵分解与 LoRA与QLoRA 的低秩参数化。
- 优化算法-梯度下降与Adam:把梯度、凸性与步长组合为迭代算法,是 优化器与学习率 的数学原型。
笔记索引
| 笔记 | 难度 | 核心内容 | 前置 |
|---|---|---|---|
| [[线性代数]] | ★★☆ | 向量空间、矩阵映射、秩与投影、特征值 | 无 |
| [[微积分与梯度]] | ★★☆ | 导数、偏导、梯度方向、雅可比、Hessian、凸性 | [[线性代数]] |
| [[概率与统计]] | ★★☆ | 贝叶斯、分布、MLE/MAP、假设检验、熵与 KL | [[微积分与梯度]] |
| [[矩阵分解-SVD与特征分解]] | ★★★ | 谱定理、SVD、Eckart–Young、伪逆、条件数 | [[线性代数]] |
| [[优化算法-梯度下降与Adam]] | ★★★ | GD 收敛分析、动量、AdaGrad、Adam、调度 | [[微积分与梯度]] |
符号约定
- 标量 ,向量 (默认列向量),矩阵 。
- 数据集 ,损失 ,参数 。
- 梯度 与参数同形;批处理中矩阵第一维为样本维。
- 范数 默认欧氏范数, 为 Frobenius 范数。
达标清单
- [ ] 能写出矩阵乘法的两种视角,并计算一个 与 矩阵相乘的结果与复杂度。
- [ ] 能不查资料推出投影矩阵 ,并验证 。
- [ ] 能说明梯度方向为最速上升方向的证明,并解释负梯度下降的成立条件。
- [ ] 能独立完成伯努利分布与高斯分布的 MLE 推导。
- [ ] 能写出 SVD 与特征分解的关系,并说明截断 SVD 的最优性含义。
- [ ] 能写出 Adam 的完整更新式与偏差修正项,并解释 的作用。
- [ ] 能用 NumPy 对上述结论做数值验证,误差在合理范围内。
阶段项目
实现 math_lab.py:在不使用 scikit-learn 的前提下,用 NumPy 完成以下四件事,并输出对照表。
- 用正规方程与梯度下降分别拟合一个二维线性回归,比较参数差异与迭代次数。
- 对同一目标函数实现中心差分梯度检验,报告相对误差。
- 用 SVD 对一张灰度图做秩 的截断重构,报告相对重构误差。
- 在 Rosenbrock 函数上比较 SGD、Momentum、Adam 的收敛轨迹。
验收标准:四项均可运行,输出数值可解释;梯度检验相对误差小于 ;报告中每项结论引用对应的数学结论。
参考来源
- Goodfellow, Bengio, Courville, Deep Learning, 2016,第 2–4 章 —— 线性代数、概率、数值计算。
- Hastie, Tibshirani, Friedman, The Elements of Statistical Learning, 2009,第 2、3、14 章 —— 统计学习基础、回归、无监督方法。
- d2l.ai《动手学深度学习》预备知识章 —— 线性代数、微分、概率的代码实现。
- Stanford CS229 课程讲义 —— 线性代数与概率复习、广义线性模型。