w wyl123ly 的博客
MD

MOC-数学基础

5 KB 2026.10.18 原文件

MOC · 数学基础

本阶段地图

本阶段提供后续所有阶段共用的最小数学工具集:用线性代数描述参数与表示,用微积分描述变化率与梯度,用概率论描述不确定性与估计,用矩阵分解描述结构与低秩近似,用优化算法把前四者合成为可执行的训练过程。五篇笔记存在严格依赖,建议顺序阅读,不要跳读推导。

flowchart LR
    LA[[线性代数]] --> MC[[微积分与梯度]]
    LA --> MF[[矩阵分解-SVD与特征分解]]
    MC --> PR[[概率与统计]]
    PR --> OPT[[优化算法-梯度下降与Adam]]
    MF --> OPT
    OPT --> ML[[线性回归]]

学习顺序与理由

  1. 线性代数:后续一切模型都把输入与参数表示为向量和矩阵。矩阵乘法、秩、特征值、投影是理解线性回归闭式解、PCA、LoRA 的前提。
  2. 微积分与梯度:梯度是训练的驱动力。必须先掌握导数定义与链式法则,才能在 反向传播详解 中完成逐层求导。
  3. 概率与统计:损失函数的合法性来自似然,评估的置信度来自统计推断。MLE/MAP 把 线性回归 的 MSE 与正则化解释为概率假设的推论。
  4. 矩阵分解-SVD与特征分解:在特征值基础上给出任意矩阵的结构分解,连接 PCA与降维、推荐系统矩阵分解与 LoRA与QLoRA 的低秩参数化。
  5. 优化算法-梯度下降与Adam:把梯度、凸性与步长组合为迭代算法,是 优化器与学习率 的数学原型。

笔记索引

笔记难度核心内容前置
[[线性代数]]★★☆向量空间、矩阵映射、秩与投影、特征值无
[[微积分与梯度]]★★☆导数、偏导、梯度方向、雅可比、Hessian、凸性[[线性代数]]
[[概率与统计]]★★☆贝叶斯、分布、MLE/MAP、假设检验、熵与 KL[[微积分与梯度]]
[[矩阵分解-SVD与特征分解]]★★★谱定理、SVD、Eckart–Young、伪逆、条件数[[线性代数]]
[[优化算法-梯度下降与Adam]]★★★GD 收敛分析、动量、AdaGrad、Adam、调度[[微积分与梯度]]

符号约定

  • 标量 ,向量 (默认列向量),矩阵 。
  • 数据集 ,损失 ,参数 。
  • 梯度 与参数同形;批处理中矩阵第一维为样本维。
  • 范数 默认欧氏范数, 为 Frobenius 范数。

达标清单

  • [ ] 能写出矩阵乘法的两种视角,并计算一个 与 矩阵相乘的结果与复杂度。
  • [ ] 能不查资料推出投影矩阵 ,并验证 。
  • [ ] 能说明梯度方向为最速上升方向的证明,并解释负梯度下降的成立条件。
  • [ ] 能独立完成伯努利分布与高斯分布的 MLE 推导。
  • [ ] 能写出 SVD 与特征分解的关系,并说明截断 SVD 的最优性含义。
  • [ ] 能写出 Adam 的完整更新式与偏差修正项,并解释 的作用。
  • [ ] 能用 NumPy 对上述结论做数值验证,误差在合理范围内。

阶段项目

实现 math_lab.py:在不使用 scikit-learn 的前提下,用 NumPy 完成以下四件事,并输出对照表。

  1. 用正规方程与梯度下降分别拟合一个二维线性回归,比较参数差异与迭代次数。
  2. 对同一目标函数实现中心差分梯度检验,报告相对误差。
  3. 用 SVD 对一张灰度图做秩 的截断重构,报告相对重构误差。
  4. 在 Rosenbrock 函数上比较 SGD、Momentum、Adam 的收敛轨迹。

验收标准:四项均可运行,输出数值可解释;梯度检验相对误差小于 ;报告中每项结论引用对应的数学结论。

参考来源

  • Goodfellow, Bengio, Courville, Deep Learning, 2016,第 2–4 章 —— 线性代数、概率、数值计算。
  • Hastie, Tibshirani, Friedman, The Elements of Statistical Learning, 2009,第 2、3、14 章 —— 统计学习基础、回归、无监督方法。
  • d2l.ai《动手学深度学习》预备知识章 —— 线性代数、微分、概率的代码实现。
  • Stanford CS229 课程讲义 —— 线性代数与概率复习、广义线性模型。