---
tags: [AI, MOC, 数学基础]
阶段: 01-数学基础
难度: ★★☆
created: 2026-10-18
related: "[[00-MOC]], [[线性代数]], [[优化算法-梯度下降与Adam]]"
---

# MOC · 数学基础

> [!summary] 本阶段地图
> 本阶段提供后续所有阶段共用的最小数学工具集：用线性代数描述参数与表示，用微积分描述变化率与梯度，用概率论描述不确定性与估计，用矩阵分解描述结构与低秩近似，用优化算法把前四者合成为可执行的训练过程。五篇笔记存在严格依赖，建议顺序阅读，不要跳读推导。

```mermaid
flowchart LR
    LA[[线性代数]] --> MC[[微积分与梯度]]
    LA --> MF[[矩阵分解-SVD与特征分解]]
    MC --> PR[[概率与统计]]
    PR --> OPT[[优化算法-梯度下降与Adam]]
    MF --> OPT
    OPT --> ML[[线性回归]]
```

## 学习顺序与理由

1. [[线性代数]]：后续一切模型都把输入与参数表示为向量和矩阵。矩阵乘法、秩、特征值、投影是理解线性回归闭式解、PCA、LoRA 的前提。
2. [[微积分与梯度]]：梯度是训练的驱动力。必须先掌握导数定义与链式法则，才能在 [[反向传播详解]] 中完成逐层求导。
3. [[概率与统计]]：损失函数的合法性来自似然，评估的置信度来自统计推断。MLE/MAP 把 [[线性回归]] 的 MSE 与正则化解释为概率假设的推论。
4. [[矩阵分解-SVD与特征分解]]：在特征值基础上给出任意矩阵的结构分解，连接 [[PCA与降维]]、推荐系统矩阵分解与 [[LoRA与QLoRA]] 的低秩参数化。
5. [[优化算法-梯度下降与Adam]]：把梯度、凸性与步长组合为迭代算法，是 [[优化器与学习率]] 的数学原型。

## 笔记索引

| 笔记 | 难度 | 核心内容 | 前置 |
|---|---|---|---|
| [[线性代数]] | ★★☆ | 向量空间、矩阵映射、秩与投影、特征值 | 无 |
| [[微积分与梯度]] | ★★☆ | 导数、偏导、梯度方向、雅可比、Hessian、凸性 | [[线性代数]] |
| [[概率与统计]] | ★★☆ | 贝叶斯、分布、MLE/MAP、假设检验、熵与 KL | [[微积分与梯度]] |
| [[矩阵分解-SVD与特征分解]] | ★★★ | 谱定理、SVD、Eckart–Young、伪逆、条件数 | [[线性代数]] |
| [[优化算法-梯度下降与Adam]] | ★★★ | GD 收敛分析、动量、AdaGrad、Adam、调度 | [[微积分与梯度]] |

## 符号约定

- 标量 $a$，向量 $\mathbf{x}\in\mathbb{R}^{n}$（默认列向量），矩阵 $\mathbf{X}\in\mathbb{R}^{m\times n}$。
- 数据集 $\mathcal{D}=\{(\mathbf{x}_i,y_i)\}_{i=1}^{n}$，损失 $L$，参数 $\boldsymbol{\theta}$。
- 梯度 $\nabla_{\boldsymbol{\theta}}L$ 与参数同形；批处理中矩阵第一维为样本维。
- 范数 $\lVert\cdot\rVert_2$ 默认欧氏范数，$\lVert\cdot\rVert_F$ 为 Frobenius 范数。

## 达标清单

- [ ] 能写出矩阵乘法的两种视角，并计算一个 $2\times3$ 与 $3\times2$ 矩阵相乘的结果与复杂度。
- [ ] 能不查资料推出投影矩阵 $\mathbf{P}=\mathbf{A}(\mathbf{A}^{\top}\mathbf{A})^{-1}\mathbf{A}^{\top}$，并验证 $\mathbf{P}^2=\mathbf{P}$。
- [ ] 能说明梯度方向为最速上升方向的证明，并解释负梯度下降的成立条件。
- [ ] 能独立完成伯努利分布与高斯分布的 MLE 推导。
- [ ] 能写出 SVD 与特征分解的关系，并说明截断 SVD 的最优性含义。
- [ ] 能写出 Adam 的完整更新式与偏差修正项，并解释 $\varepsilon$ 的作用。
- [ ] 能用 NumPy 对上述结论做数值验证，误差在合理范围内。

## 阶段项目

实现 `math_lab.py`：在不使用 scikit-learn 的前提下，用 NumPy 完成以下四件事，并输出对照表。

1. 用正规方程与梯度下降分别拟合一个二维线性回归，比较参数差异与迭代次数。
2. 对同一目标函数实现中心差分梯度检验，报告相对误差。
3. 用 SVD 对一张灰度图做秩 $k\in\{1,5,20,50\}$ 的截断重构，报告相对重构误差。
4. 在 Rosenbrock 函数上比较 SGD、Momentum、Adam 的收敛轨迹。

验收标准：四项均可运行，输出数值可解释；梯度检验相对误差小于 $10^{-6}$；报告中每项结论引用对应的数学结论。

## 参考来源

- Goodfellow, Bengio, Courville, *Deep Learning*, 2016，第 2–4 章 —— 线性代数、概率、数值计算。
- Hastie, Tibshirani, Friedman, *The Elements of Statistical Learning*, 2009，第 2、3、14 章 —— 统计学习基础、回归、无监督方法。
- d2l.ai《动手学深度学习》预备知识章 —— 线性代数、微分、概率的代码实现。
- Stanford CS229 课程讲义 —— 线性代数与概率复习、广义线性模型。
