---
tags: [AI, 数学基础, 线性代数]
阶段: 01-数学基础
难度: ★★☆
created: 2026-10-18
related: "[[微积分与梯度]], [[矩阵分解-SVD与特征分解]], [[线性回归]]"
---

# 线性代数

## 定义

线性代数研究**向量空间**及其上的线性映射：给定实数域 $\mathbb{R}$ 上的集合 $V$ 与向量加法、标量乘法，若运算满足加法交换律与结合律、存在零元与负元、标量乘法满足结合律与两条分配律且 $1\mathbf{v}=\mathbf{v}$，则称 $V$ 为向量空间，其元素称为**向量**；若映射 $T$ 满足 $T(\alpha\mathbf{x}+\beta\mathbf{y})=\alpha T(\mathbf{x})+\beta T(\mathbf{y})$，则称为线性映射，取定基后由矩阵唯一表示。

本篇符号约定如下。

| 符号 | 含义 |
|---|---|
| $\mathbb{R}$、$\mathbb{C}$ | 实数域、复数域 |
| $\mathbf{x}\in\mathbb{R}^{n}$ | $n$ 维实向量，默认写作列向量 |
| $\mathbf{A}\in\mathbb{R}^{m\times n}$ | $m$ 行 $n$ 列实矩阵，$A_{ij}$ 为第 $i$ 行第 $j$ 列元素 |
| $\mathbf{A}^{\top}$ | 转置，$(\mathbf{A}^{\top})_{ij}=A_{ji}$ |
| $\mathbf{I}_{n}$ | $n$ 阶单位矩阵 |
| $\langle\mathbf{x},\mathbf{y}\rangle$ | 内积，实向量下等于 $\mathbf{x}^{\top}\mathbf{y}$ |
| $\lVert\cdot\rVert_{p}$ | $L_{p}$ 范数 |
| $\operatorname{rank}(\mathbf{A})$ | 秩，列空间的维数 |
| $\det(\mathbf{A})$ | 行列式 |
| $\lambda,\mathbf{v}$ | 特征值及其对应的特征向量 |
| $\mathcal{C}(\mathbf{A})$ | 列空间，即全部列的线性组合构成的集合 |
| $\mathcal{N}(\mathbf{A})$ | 零空间，即 $\{\mathbf{x}:\mathbf{A}\mathbf{x}=\mathbf{0}\}$ |

其余术语在正文首次出现处定义：**线性组合**为形如 $\sum_{i}c_{i}\mathbf{v}_{i}$ 的有限和；**张成**为全体线性组合构成的集合；**线性无关**指 $\sum_{i}c_{i}\mathbf{v}_{i}=\mathbf{0}$ 只有零系数解；**基**为线性无关的生成组；**维数**为基所含向量个数，与基的选取无关。

## 为什么重要

深度学习模型的每一层是仿射映射 $\mathbf{y}=\mathbf{W}\mathbf{x}+\mathbf{b}$，其计算量与表示能力由 $\mathbf{W}$ 的形状与秩决定；反向传播传递的梯度是线性映射的转置作用；线性回归的闭式解由正规方程给出；向量检索按余弦相似度排序；LoRA 的低秩约束、PCA 的主成分、SVD 的降维都建立在特征分解之上。缺少这套语言会产生三类具体后果：无法判断张量形状错误；无法推导闭式解及其复杂度；无法解释低秩、正交初始化、白化等工程选择的动机。

在本库中，本篇是 01 阶段的第一块基石，直接支撑 [[线性回归]] 的正规方程、[[矩阵分解-SVD与特征分解]] 的谱分析、[[优化算法-梯度下降与Adam]] 的二次型收敛分析，以及 [[Embedding与向量检索]] 的相似度度量。对应学习目标中的「懂原理」与「能复现」：读懂公式并写出向量化实现。

## 原理与推导

### 1 线性组合、张成与基

给定 $\mathbf{v}_{1},\dots,\mathbf{v}_{k}\in\mathbb{R}^{n}$ 与标量 $c_{1},\dots,c_{k}$，称 $\sum_{i=1}^{k}c_{i}\mathbf{v}_{i}$ 为该向量组的线性组合，全体组合构成 $\operatorname{span}\{\mathbf{v}_{1},\dots,\mathbf{v}_{k}\}$。若 $\sum_{i}c_{i}\mathbf{v}_{i}=\mathbf{0}$ 只有平凡解，则向量组线性无关；否则线性相关，其中至少一个向量可写成其余向量的组合。

基是线性无关的生成组，空间内每个向量都能唯一地写成基向量的组合，系数称为该向量在该基下的坐标。唯一性由线性无关保证：若两组坐标不同，其差给出非平凡零组合。维数是基的大小，该定义良定：由 Steinitz 替换定理，若向量组 $\{\mathbf{u}_{1},\dots,\mathbf{u}_{m}\}$ 张成空间，则其中任一线性无关组的长度不超过 $m$，对两组基互相应用即得等长。

矩阵的秩与维数由**秩-零化度定理**联系：

$$
\operatorname{rank}(\mathbf{A})+\dim\mathcal{N}(\mathbf{A})=n,\qquad \mathbf{A}\in\mathbb{R}^{m\times n}.
$$

该式表明映射 $\mathbf{x}\mapsto\mathbf{A}\mathbf{x}$ 把 $n$ 维输入空间压缩为秩维的输出空间，被压掉的维数等于零空间维数。

### 2 内积、范数与余弦相似度

实向量内积 $\langle\mathbf{x},\mathbf{y}\rangle=\mathbf{x}^{\top}\mathbf{y}=\sum_{i}x_{i}y_{i}$ 满足双线性、对称性与正定性。**范数**是满足正定性、绝对齐次性 $\lVert\alpha\mathbf{x}\rVert=|\alpha|\lVert\mathbf{x}\rVert$ 与三角不等式的函数，常用的三种如下。

| 范数 | 定义 | 主要性质 | 典型用途 |
|---|---|---|---|
| $L_{1}$ | $\lVert\mathbf{x}\rVert_{1}=\sum_{i}|x_{i}|$ | 原点不可微，诱导稀疏解 | Lasso、特征选择 |
| $L_{2}$ | $\lVert\mathbf{x}\rVert_{2}=\sqrt{\sum_{i}x_{i}^{2}}$ | 由内积诱导，除原点外可微 | 权重衰减、距离度量 |
| $L_{\infty}$ | $\lVert\mathbf{x}\rVert_{\infty}=\max_{i}|x_{i}|$ | 只由最大分量决定 | 对抗扰动上界、误差上界 |

**Cauchy–Schwarz 不等式**：$|\langle\mathbf{x},\mathbf{y}\rangle|\le\lVert\mathbf{x}\rVert_{2}\lVert\mathbf{y}\rVert_{2}$，等号当且仅当 $\mathbf{x},\mathbf{y}$ 线性相关。证明：对任意 $t$，$\lVert\mathbf{x}-t\mathbf{y}\rVert^{2}=t^{2}\lVert\mathbf{y}\rVert^{2}-2t\langle\mathbf{x},\mathbf{y}\rangle+\lVert\mathbf{x}\rVert^{2}\ge0$，关于 $t$ 的二次函数判别式非正，即 $\langle\mathbf{x},\mathbf{y}\rangle^{2}\le\lVert\mathbf{x}\rVert^{2}\lVert\mathbf{y}\rVert^{2}$；取等时该二次函数有唯一零点，对应 $\mathbf{x}$ 为 $\mathbf{y}$ 的倍数。

据此定义夹角 $\theta\in[0,\pi]$：$\cos\theta=\langle\mathbf{x},\mathbf{y}\rangle/(\lVert\mathbf{x}\rVert_{2}\lVert\mathbf{y}\rVert_{2})$。**余弦相似度**即该余弦值，取值于 $[-1,1]$，与向量长度无关。它与欧氏距离存在精确关系：

$$
\lVert\mathbf{x}-\mathbf{y}\rVert_{2}^{2}=\lVert\mathbf{x}\rVert_{2}^{2}+\lVert\mathbf{y}\rVert_{2}^{2}-2\langle\mathbf{x},\mathbf{y}\rangle .
$$

当 $\lVert\mathbf{x}\rVert_{2}=\lVert\mathbf{y}\rVert_{2}=1$ 时化为 $2-2\cos\theta$，故最小化欧氏距离与最大化余弦相似度等价。这是检索前对 embedding 做 $L_{2}$ 归一化的依据，见 [[Embedding与向量检索]]；归一化的向量化实现见 [[NumPy向量化]]。

### 3 矩阵作为线性映射

矩阵 $\mathbf{A}\in\mathbb{R}^{m\times n}$ 定义映射 $\mathbf{x}\mapsto\mathbf{A}\mathbf{x}$，线性性由乘法对加法与标量乘法的分配律得到。反向理解更关键：$\mathbf{A}$ 的第 $j$ 列等于基向量 $\mathbf{e}_{j}$ 的像，$\mathbf{A}\mathbf{e}_{j}=\mathbf{a}_{:j}$，故矩阵的列完整记录了基向量的去向，秩就是像空间的维数。

设 $\mathbf{A}\in\mathbb{R}^{m\times k}$，$\mathbf{B}\in\mathbb{R}^{k\times n}$，$\mathbf{C}=\mathbf{A}\mathbf{B}\in\mathbb{R}^{m\times n}$，有两种等价视角。

- 行点积视角：$C_{ij}=\sum_{p=1}^{k}A_{ip}B_{pj}=\mathbf{a}_{i:}^{\top}\mathbf{b}_{:j}$，即每个元素是 $\mathbf{A}$ 第 $i$ 行与 $\mathbf{B}$ 第 $j$ 列的内积。
- 列组合视角：$\mathbf{C}_{:j}=\sum_{p=1}^{k}B_{pj}\mathbf{a}_{:p}$，即 $\mathbf{C}$ 第 $j$ 列是 $\mathbf{A}$ 各列以 $\mathbf{B}$ 第 $j$ 列为系数的线性组合。

两者等价，因为乘法对每个输出位置做同一件事：以右矩阵的一列为系数，对左矩阵的列加权求和。矩阵乘法对应线性映射的复合：若 $\mathbf{y}=\mathbf{B}\mathbf{x}$、$\mathbf{z}=\mathbf{A}\mathbf{y}$，则 $\mathbf{z}=(\mathbf{A}\mathbf{B})\mathbf{x}$。

形状规则为 $(m\times k)(k\times n)\to(m\times n)$，相邻维度 $k$ 必须相等。复杂度由定义直接得出：$mn$ 个输出元素各需 $k$ 次乘加，时间 $O(mnk)$，内存 $O(mn)$；批量矩阵乘的时间为 $O(Bmnk)$。这解释了注意力中 $n\times n$ 分数矩阵为何是长上下文的主要开销，见 [[注意力机制与QKV]]。

| 运算 | 输入形状 | 时间复杂度 |
|---|---|---|
| 矩阵乘 | $(m\times k)$、$(k\times n)$ | $O(mnk)$ |
| 逐元素乘 | 两个 $(m\times n)$ | $O(mn)$ |
| 高斯消元解方程 | $n\times n$ | $O(n^{3})$ |
| 显式求逆 | $n\times n$ | $O(n^{3})$ |
| 对称特征分解 | $n\times n$ | $O(n^{3})$，常数约为 SVD 的一半 |
| 完全 SVD | $m\times n$ | $O(mn\min(m,n))$ |

**单位矩阵** $\mathbf{I}_{n}$ 满足 $\mathbf{I}\mathbf{A}=\mathbf{A}\mathbf{I}=\mathbf{A}$，对应恒等映射。注意区分矩阵乘法与 Hadamard 积 $\mathbf{A}\odot\mathbf{B}$：NumPy 中前者是 `@`，后者是 `*`，混用不会报错但结果错误。

### 4 逆、秩与正交矩阵

方阵 $\mathbf{A}$ 若存在 $\mathbf{A}^{-1}$ 使 $\mathbf{A}^{-1}\mathbf{A}=\mathbf{A}\mathbf{A}^{-1}=\mathbf{I}$，则称可逆。等价条件：$\det(\mathbf{A})\neq0$；$\operatorname{rank}(\mathbf{A})=n$；列向量线性无关；$\mathbf{A}\mathbf{x}=\mathbf{0}$ 只有零解；奇异值全非零。逆满足 $(\mathbf{A}\mathbf{B})^{-1}=\mathbf{B}^{-1}\mathbf{A}^{-1}$ 与 $(\mathbf{A}^{\top})^{-1}=(\mathbf{A}^{-1})^{\top}$。

秩等于列空间维数，也等于行空间维数，并等于非零奇异值个数。基本不等式：$\operatorname{rank}(\mathbf{A})\le\min(m,n)$，$\operatorname{rank}(\mathbf{A}\mathbf{B})\le\min(\operatorname{rank}\mathbf{A},\operatorname{rank}\mathbf{B})$；后者说明乘法只会降秩，对应深层网络权重矩阵的秩塌缩。

**正交矩阵** $\mathbf{Q}$ 满足 $\mathbf{Q}^{\top}\mathbf{Q}=\mathbf{Q}\mathbf{Q}^{\top}=\mathbf{I}$，即列向量构成标准正交基 $\mathbf{q}_{i}^{\top}\mathbf{q}_{j}=\delta_{ij}$。它保内积：

$$
\langle\mathbf{Q}\mathbf{x},\mathbf{Q}\mathbf{y}\rangle=(\mathbf{Q}\mathbf{x})^{\top}(\mathbf{Q}\mathbf{y})=\mathbf{x}^{\top}\mathbf{Q}^{\top}\mathbf{Q}\mathbf{y}=\mathbf{x}^{\top}\mathbf{y},
$$

故保长度与夹角，且 $\det(\mathbf{Q})=\pm1$。正交初始化正是利用这一性质维持前向方差稳定。

### 5 投影矩阵

设 $\mathbf{A}\in\mathbb{R}^{m\times n}$ 列满秩（$m\ge n$），$\mathcal{C}(\mathbf{A})$ 为 $\mathbb{R}^{m}$ 的 $n$ 维子空间。任给 $\mathbf{b}$，求 $\mathcal{C}(\mathbf{A})$ 中距 $\mathbf{b}$ 最近的点。由于该点可写为 $\mathbf{A}\mathbf{x}$，问题化为

$$
\min_{\mathbf{x}}\ \lVert\mathbf{b}-\mathbf{A}\mathbf{x}\rVert_{2}^{2}
=\mathbf{b}^{\top}\mathbf{b}-2\mathbf{x}^{\top}\mathbf{A}^{\top}\mathbf{b}+\mathbf{x}^{\top}\mathbf{A}^{\top}\mathbf{A}\mathbf{x}.
$$

对 $\mathbf{x}$ 求梯度并令其为零（梯度法则见 [[微积分与梯度]]）：

$$
\nabla_{\mathbf{x}}\lVert\mathbf{b}-\mathbf{A}\mathbf{x}\rVert_{2}^{2}
=-2\mathbf{A}^{\top}\mathbf{b}+2\mathbf{A}^{\top}\mathbf{A}\mathbf{x}=\mathbf{0}
\ \Longrightarrow\ \mathbf{A}^{\top}\mathbf{A}\mathbf{x}=\mathbf{A}^{\top}\mathbf{b}.
$$

该式称为正规方程。$\mathbf{A}^{\top}\mathbf{A}$ 可逆的充要条件是 $\mathbf{A}$ 列满秩：若 $\mathbf{A}^{\top}\mathbf{A}\mathbf{x}=\mathbf{0}$，左乘 $\mathbf{x}^{\top}$ 得 $\lVert\mathbf{A}\mathbf{x}\rVert^{2}=0$，故 $\mathbf{A}\mathbf{x}=\mathbf{0}$，列满秩推出 $\mathbf{x}=\mathbf{0}$。于是

$$
\hat{\mathbf{x}}=(\mathbf{A}^{\top}\mathbf{A})^{-1}\mathbf{A}^{\top}\mathbf{b},
\qquad
\mathbf{p}=\mathbf{A}\hat{\mathbf{x}}=\mathbf{A}(\mathbf{A}^{\top}\mathbf{A})^{-1}\mathbf{A}^{\top}\mathbf{b}.
$$

记 $\mathbf{P}=\mathbf{A}(\mathbf{A}^{\top}\mathbf{A})^{-1}\mathbf{A}^{\top}$，称为到 $\mathcal{C}(\mathbf{A})$ 的**投影矩阵**。两个关键性质：

- 幂等：$\mathbf{P}^{2}=\mathbf{A}(\mathbf{A}^{\top}\mathbf{A})^{-1}\mathbf{A}^{\top}\mathbf{A}(\mathbf{A}^{\top}\mathbf{A})^{-1}\mathbf{A}^{\top}=\mathbf{P}$，即对列空间内向量再次作用不改变结果。
- 对称：$\mathbf{P}^{\top}=\mathbf{A}\big((\mathbf{A}^{\top}\mathbf{A})^{-1}\big)^{\top}\mathbf{A}^{\top}=\mathbf{A}(\mathbf{A}^{\top}\mathbf{A})^{-1}\mathbf{A}^{\top}=\mathbf{P}$，其中用到 $\mathbf{A}^{\top}\mathbf{A}$ 对称故其逆对称。

残差 $\mathbf{r}=\mathbf{b}-\mathbf{p}$ 满足 $\mathbf{A}^{\top}\mathbf{r}=\mathbf{0}$，即残差与列空间正交，这是「最近」的等价刻画：若存在可行方向 $\mathbf{d}\in\mathcal{C}(\mathbf{A})$ 使 $\mathbf{p}+\mathbf{d}$ 更近，则 $\lVert\mathbf{r}-\mathbf{d}\rVert^{2}=\lVert\mathbf{r}\rVert^{2}-2\mathbf{r}^{\top}\mathbf{d}+\lVert\mathbf{d}\rVert^{2}=\lVert\mathbf{r}\rVert^{2}+\lVert\mathbf{d}\rVert^{2}>\lVert\mathbf{r}\rVert^{2}$，与假设矛盾。

当 $n<m$ 时 $\operatorname{rank}(\mathbf{P})=n<m$，$\det(\mathbf{P})=0$，$\mathbf{P}$ 不可逆；$\operatorname{tr}(\mathbf{P})=n$。$\mathbf{I}-\mathbf{P}$ 是到 $\mathcal{C}(\mathbf{A})$ 正交补的投影。

### 6 特征值与特征向量

若存在 $\lambda\in\mathbb{C}$ 与非零向量 $\mathbf{v}$ 使 $\mathbf{A}\mathbf{v}=\lambda\mathbf{v}$，则称 $\lambda$ 为**特征值**，$\mathbf{v}$ 为对应的**特征向量**。几何含义是 $\mathbf{A}$ 在 $\mathbf{v}$ 方向上只做伸缩，倍数为 $\lambda$。

将定义改写为 $(\mathbf{A}-\lambda\mathbf{I})\mathbf{v}=\mathbf{0}$，非零解存在当且仅当 $\mathbf{A}-\lambda\mathbf{I}$ 奇异，即

$$
p(\lambda)=\det(\mathbf{A}-\lambda\mathbf{I})=0 .
$$

$p$ 是 $n$ 次多项式，在复数域内恰有 $n$ 个根（计重数），称为**特征多项式**。由此得到 $\sum_{i}\lambda_{i}=\operatorname{tr}(\mathbf{A})$ 与 $\prod_{i}\lambda_{i}=\det(\mathbf{A})$。

属于不同特征值的特征向量线性无关：设 $\mathbf{A}\mathbf{v}_{1}=\lambda_{1}\mathbf{v}_{1}$，$\mathbf{A}\mathbf{v}_{2}=\lambda_{2}\mathbf{v}_{2}$，$\lambda_{1}\neq\lambda_{2}$，若 $c_{1}\mathbf{v}_{1}+c_{2}\mathbf{v}_{2}=\mathbf{0}$，左乘 $\mathbf{A}$ 得 $c_{1}\lambda_{1}\mathbf{v}_{1}+c_{2}\lambda_{2}\mathbf{v}_{2}=\mathbf{0}$，两式相减得 $c_{2}(\lambda_{2}-\lambda_{1})\mathbf{v}_{2}=\mathbf{0}$，故 $c_{2}=0$，同理 $c_{1}=0$。

若 $\mathbf{A}$ 有 $n$ 个线性无关的特征向量，令 $\mathbf{V}=[\mathbf{v}_{1},\dots,\mathbf{v}_{n}]$，则**对角化**：

$$
\mathbf{A}=\mathbf{V}\boldsymbol{\Lambda}\mathbf{V}^{-1},\qquad \boldsymbol{\Lambda}=\operatorname{diag}(\lambda_{1},\dots,\lambda_{n}),
$$

于是 $\mathbf{A}^{k}=\mathbf{V}\boldsymbol{\Lambda}^{k}\mathbf{V}^{-1}$，矩阵幂化为标量幂，这是分析线性动力系统的常用手段。特征值有重根时几何重数可能小于代数重数，此时不可对角化，例如 $\begin{bmatrix}1&1\\0&1\end{bmatrix}$ 只有一维特征空间。

**谱定理**：实对称矩阵必可正交对角化，

$$
\mathbf{A}=\mathbf{Q}\boldsymbol{\Lambda}\mathbf{Q}^{\top},\qquad \mathbf{Q}^{\top}\mathbf{Q}=\mathbf{I},
$$

且特征值全为实数，不同特征值的特征向量互相正交。证明要点：对 $\mathbf{A}\mathbf{v}=\lambda\mathbf{v}$ 左乘 $\mathbf{v}^{*}$ 并取共轭转置，由 $\mathbf{A}=\mathbf{A}^{\top}$ 得 $\lambda=\bar{\lambda}$；正交性由 $\lambda_{1}\mathbf{v}_{1}^{\top}\mathbf{v}_{2}=(\mathbf{A}\mathbf{v}_{1})^{\top}\mathbf{v}_{2}=\mathbf{v}_{1}^{\top}\mathbf{A}\mathbf{v}_{2}=\lambda_{2}\mathbf{v}_{1}^{\top}\mathbf{v}_{2}$ 推出；重特征值情形在特征空间内取标准正交基即可补全。

**正定矩阵**：对称矩阵若对任意 $\mathbf{x}\neq\mathbf{0}$ 有 $\mathbf{x}^{\top}\mathbf{A}\mathbf{x}>0$，则称正定，记 $\mathbf{A}\succ\mathbf{0}$；把 $>$ 换成 $\ge$ 得半正定。等价判据：特征值全为正；全部顺序主子式为正（Sylvester 判据）；存在列满秩 $\mathbf{B}$ 使 $\mathbf{A}=\mathbf{B}^{\top}\mathbf{B}$。

**二次型**是 $q(\mathbf{x})=\mathbf{x}^{\top}\mathbf{A}\mathbf{x}=\sum_{i,j}A_{ij}x_{i}x_{j}$。由于 $\mathbf{x}^{\top}\mathbf{A}\mathbf{x}=\mathbf{x}^{\top}\big((\mathbf{A}+\mathbf{A}^{\top})/2\big)\mathbf{x}$，只有对称部分影响取值，讨论二次型时可假定 $\mathbf{A}$ 对称。正定性决定二次型的几何形状，也决定 Hessian 正定与凸性的关系。

### 7 线性方程组与最小二乘的几何解释

对 $\mathbf{A}\mathbf{x}=\mathbf{b}$，解存在当且仅当 $\mathbf{b}\in\mathcal{C}(\mathbf{A})$。按形状与秩分三种情形。

| 情形 | 条件 | 解的情况 |
|---|---|---|
| 方阵满秩 | $m=n$，$\operatorname{rank}=n$ | 唯一解 $\mathbf{x}=\mathbf{A}^{-1}\mathbf{b}$ |
| 欠定 | $\operatorname{rank}<n$ | 相容时无穷多解，通解为特解加零空间任意向量 |
| 超定 | $m>n$，$\operatorname{rank}=n$ | 一般无精确解，最小二乘解唯一 |

超定情形下 $\mathbf{b}$ 一般不在列空间内，只能求使残差范数最小的近似解，其几何含义是把 $\mathbf{b}$ 正交投影到列空间：投影点 $\mathbf{p}=\mathbf{P}\mathbf{b}$ 是列空间内距 $\mathbf{b}$ 最近的点，对应系数 $\hat{\mathbf{x}}=(\mathbf{A}^{\top}\mathbf{A})^{-1}\mathbf{A}^{\top}\mathbf{b}$。这正是 [[线性回归]] 的最小二乘估计：设计矩阵的列空间由各特征方向张成，拟合值是观测向量在该空间的投影，残差垂直于每个特征方向，因而与各特征不相关。

数值上，显式构造 $\mathbf{A}^{\top}\mathbf{A}$ 会使条件数平方，放大舍入误差；实践中用 QR 分解或 SVD 求解，NumPy 的 `np.linalg.lstsq` 默认采用 SVD 路径。

## 关键直觉

> [!tip] 矩阵是线性映射的坐标记录：乘积对应映射复合，第 $j$ 列记录基向量 $\mathbf{e}_{j}$ 的像，秩给出像空间维数。投影矩阵把向量分解为列空间分量与正交补分量，幂等性 $\mathbf{P}^{2}=\mathbf{P}$ 表示对列空间分量再次作用不改变结果，对称性保证该分解在欧氏内积下无偏。特征向量是映射作用下方向不变的轴，特征值是该轴上的伸缩倍数，谱定理说明对称矩阵总存在一组正交的这类轴。

与严格定义的关系：两种乘法视角由 $\sum_{p}A_{ip}B_{pj}$ 的求和顺序重排得到；幂等与对称由 $\mathbf{A}^{\top}\mathbf{A}$ 可逆直接推出；特征方向的存在性由特征多项式在复数域内的根定理保证，正交性由谱定理保证，均无额外假设。

## 例子与代码

### 例 1：$2\times2$ 矩阵的特征分解

取 $\mathbf{A}=\begin{bmatrix}4&1\\2&3\end{bmatrix}$。特征多项式为

$$
\det(\mathbf{A}-\lambda\mathbf{I})=(4-\lambda)(3-\lambda)-2=\lambda^{2}-7\lambda+10=(\lambda-5)(\lambda-2),
$$

故 $\lambda_{1}=5$，$\lambda_{2}=2$。校验：$\lambda_{1}+\lambda_{2}=7=\operatorname{tr}(\mathbf{A})$，$\lambda_{1}\lambda_{2}=10=\det(\mathbf{A})$。

对 $\lambda_{1}=5$，解 $(\mathbf{A}-5\mathbf{I})\mathbf{v}=\mathbf{0}$，即 $\begin{bmatrix}-1&1\\2&-2\end{bmatrix}\mathbf{v}=\mathbf{0}$，得 $-v_{1}+v_{2}=0$，取 $\mathbf{v}_{1}=(1,1)^{\top}$。对 $\lambda_{2}=2$，解 $\begin{bmatrix}2&1\\2&1\end{bmatrix}\mathbf{v}=\mathbf{0}$，得 $2v_{1}+v_{2}=0$，取 $\mathbf{v}_{2}=(1,-2)^{\top}$。验证：

$$
\mathbf{A}\mathbf{v}_{1}=\begin{bmatrix}5\\5\end{bmatrix}=5\mathbf{v}_{1},\qquad
\mathbf{A}\mathbf{v}_{2}=\begin{bmatrix}2\\-4\end{bmatrix}=2\mathbf{v}_{2}.
$$

两特征值不同，故两特征向量线性无关，$\mathbf{A}$ 可对角化，单位化后分别为 $(1,1)^{\top}/\sqrt{2}$ 与 $(1,-2)^{\top}/\sqrt{5}$。

### 例 2：$3\times2$ 矩阵的投影矩阵

取 $\mathbf{A}=\begin{bmatrix}1&0\\0&1\\1&1\end{bmatrix}$。先算

$$
\mathbf{A}^{\top}\mathbf{A}=\begin{bmatrix}2&1\\1&2\end{bmatrix},
\qquad
(\mathbf{A}^{\top}\mathbf{A})^{-1}=\frac{1}{3}\begin{bmatrix}2&-1\\-1&2\end{bmatrix},
$$

再算

$$
\mathbf{P}=\mathbf{A}(\mathbf{A}^{\top}\mathbf{A})^{-1}\mathbf{A}^{\top}
=\frac{1}{3}\begin{bmatrix}2&-1&1\\-1&2&1\\1&1&2\end{bmatrix}.
$$

检查：$\operatorname{tr}(\mathbf{P})=2=\operatorname{rank}(\mathbf{P})$，矩阵对称，$\det(\mathbf{P})=0$ 故不满秩。

### 例 3：手算最小二乘

沿用上例的 $\mathbf{A}$，取 $\mathbf{b}=(1,2,4)^{\top}$，则 $\mathbf{A}^{\top}\mathbf{b}=(5,6)^{\top}$，正规方程为 $\begin{bmatrix}2&1\\1&2\end{bmatrix}\hat{\mathbf{x}}=\begin{bmatrix}5\\6\end{bmatrix}$，系数行列式为 3，解得 $\hat{x}_{1}=4/3$，$\hat{x}_{2}=7/3$。拟合值与残差为

$$
\mathbf{p}=\mathbf{A}\hat{\mathbf{x}}=\left(\tfrac{4}{3},\ \tfrac{7}{3},\ \tfrac{11}{3}\right)^{\top},\qquad
\mathbf{r}=\mathbf{b}-\mathbf{p}=\left(-\tfrac{1}{3},\ -\tfrac{1}{3},\ \tfrac{1}{3}\right)^{\top}.
$$

验证正交性：$\mathbf{A}^{\top}\mathbf{r}=\mathbf{0}$。残差范数 $\lVert\mathbf{r}\rVert_{2}=\sqrt{1/3}\approx0.5774$，为该列空间内可达到的最小误差；若取 $\hat{\mathbf{x}}=(1,2)^{\top}$，残差为 $(0,0,1)^{\top}$，范数为 1，大于最小二乘解。

### 例 4：NumPy 验证

以下代码在 Python 3.12 与 NumPy 2.3.5 下运行通过，依次验证乘法两种视角、秩与行列式、特征分解、投影矩阵性质、正定性。

```python
import numpy as np

np.set_printoptions(precision=4, suppress=True)

# 第 1 段：矩阵乘法的两种视角
A = np.array([[4.0, 1.0],
              [2.0, 3.0]])
B = np.array([[2.0, 0.0],
              [1.0, 3.0]])

C_row = A @ B                                    # 视角一：行点积
C_col = np.column_stack([B[0, j] * A[:, 0] + B[1, j] * A[:, 1]
                         for j in range(B.shape[1])])   # 视角二：列的线性组合
print("A @ B =\n", C_row)
print("两种视角一致：", np.allclose(C_row, C_col))

# 第 2 段：秩与行列式。det 非零等价于满秩、可逆
print("rank =", np.linalg.matrix_rank(A), " det =", round(float(np.linalg.det(A)), 6))

# 第 3 段：特征分解。先排序并固定符号，消除库函数在顺序与符号上的不确定性
w, V = np.linalg.eig(A)
idx = np.argsort(w)[::-1]
w, V = w[idx], V[:, idx]
V = V * np.sign(V[0])                            # 令每个特征向量首分量为正
print("特征值（降序）=", w)
print("特征向量（按列）=\n", V)
res = max(np.linalg.norm(A @ V[:, i] - w[i] * V[:, i]) for i in range(2))
print(f"最大特征方程残差 = {res:.2e}")

# 第 4 段：投影矩阵。幂等与对称可直接检验
A3 = np.array([[1.0, 0.0],
               [0.0, 1.0],
               [1.0, 1.0]])
P = A3 @ np.linalg.inv(A3.T @ A3) @ A3.T
print("P =\n", P)
print("幂等 P @ P == P：", np.allclose(P @ P, P))
print("对称 P == P.T：", np.allclose(P, P.T))
print("trace(P) =", np.trace(P), " rank(P) =", np.linalg.matrix_rank(P))

# 投影与最小二乘：残差应与列空间正交，lstsq 给出同一组系数
b = np.array([1.0, 2.0, 4.0])
p = P @ b
print("投影 p =", p)
print("残差正交性：", np.allclose(A3.T @ (b - p), 0.0))
x_hat, *_ = np.linalg.lstsq(A3, b, rcond=None)
print("lstsq 解 =", x_hat, " A3 @ x_hat =", A3 @ x_hat)

# 第 5 段：正定性与二次型。eigvalsh 专用于对称矩阵，返回实特征值且升序
Q = np.array([[2.0, 1.0],
              [1.0, 2.0]])
x = np.array([1.0, -1.0])
print("Q 的特征值 =", np.linalg.eigvalsh(Q))
print("x^T Q x =", x @ Q @ x)
```

预期输出（末几位随 BLAS 实现略有差异）：

```
A @ B =
 [[9. 3.]
 [7. 9.]]
两种视角一致： True
rank = 2  det = 10.0
特征值（降序）= [5. 2.]
特征向量（按列）=
 [[ 0.7071  0.4472]
 [ 0.7071 -0.8944]]
最大特征方程残差 = 2.22e-16
P =
 [[ 0.6667 -0.3333  0.3333]
 [-0.3333  0.6667  0.3333]
 [ 0.3333  0.3333  0.6667]]
幂等 P @ P == P： True
对称 P == P.T： True
trace(P) = 2.0  rank(P) = 2
投影 p = [1.3333 2.3333 3.6667]
残差正交性： True
lstsq 解 = [1.3333 2.3333]  A3 @ x_hat = [1.3333 2.3333 3.6667]
Q 的特征值 = [1. 3.]
x^T Q x = 2.0
```

要点说明。第 1 段用两种独立实现比较同一乘积：只写 `A @ B` 无法判断转置错误，`np.allclose` 使形状正确而数值错误的情形在断言处暴露。第 3 段先排序再统一符号，因为 `np.linalg.eig` 返回顺序由 LAPACK 决定，特征向量整体乘 $-1$ 仍是特征向量，直接比较会误判实现错误。第 4 段构造显式逆矩阵只为演示定义，实际求解应使用 `lstsq` 或 QR，原因见第 7 小节的条件数分析。第 5 段用 `eigvalsh` 而非 `eig`：前者只接受对称矩阵并假定对称，速度约为后者两倍且保证返回实数。

## 易错点

> [!warning] 以下错误在实现中不报错但结果错误，需逐项核对。
> 1. 混淆 `@` 与 `*`，或颠倒操作数顺序：`A * B` 是 Hadamard 积，要求形状相同或可广播，不要求内维相等；`A @ B` 要求 $\mathbf{A}$ 的列数等于 $\mathbf{B}$ 的行数，写成 `B @ A` 时若两者均为方阵不会报错，但结果不同。两类错误在形状恰好匹配时都只产生错误数值，不抛异常。
> 2. 认为 $\det(\mathbf{A})=0$ 等价于方程组无解：$\det=0$ 只说明不可逆。以 $\begin{bmatrix}1&1\\2&2\end{bmatrix}\mathbf{x}=\mathbf{b}$ 为例，$\mathbf{b}=(1,2)^{\top}$ 时有无穷多解，$\mathbf{b}=(1,3)^{\top}$ 时无解，判据是 $\mathbf{b}$ 是否属于列空间。非方阵没有行列式，`np.linalg.det` 会直接报错。
> 3. 把特征向量当作唯一：任意非零倍数仍是同一特征值的特征向量，`np.linalg.eig` 返回单位向量但符号任意；重特征值时特征空间的基不唯一，跨实现比较应比较子空间或余弦绝对值。
> 4. 假定实矩阵的特征值必为实数：旋转矩阵 $\begin{bmatrix}0&-1\\1&0\end{bmatrix}$ 的特征值为 $\pm i$，`eig` 返回复数数组；对称矩阵应改用 `eigvalsh` 或 `eigh`，否则后续比较可能失败。
> 5. 对投影矩阵求逆：$n<m$ 时 $\mathbf{P}$ 的秩为 $n$，行列式为零，$\mathbf{I}-\mathbf{P}$ 同样不可逆，二者都不是一般线性变换。
> 6. 以对角元符号判断正定性：$\begin{bmatrix}1&2\\2&1\end{bmatrix}$ 对角元均为正，特征值为 $3$ 与 $-1$，实际不定；判据是特征值符号或全部顺序主子式。

## 关联笔记

- [[微积分与梯度]]（后续）：正规方程由二次型求导得到，梯度与 Hessian 的定性分析依赖本篇的矩阵语言。
- [[矩阵分解-SVD与特征分解]]（后续）：本篇给出特征分解与谱定理，SVD 将其推广到任意 $m\times n$ 矩阵并给出低秩近似。
- [[线性回归]]（后续）：最小二乘的几何解释与正规方程直接构成线性回归的闭式解。
- [[优化算法-梯度下降与Adam]]（对照）：闭式解与迭代法解决同一类问题，二次型条件数决定二者收敛速度的差异。
- [[Embedding与向量检索]]（后续）：余弦相似度与归一化后的内积是向量检索的排序依据。

## 达标检测

- [ ] 写出 $(m\times k)(k\times n)$ 的形状规则，用 $\mathbf{A}\in\mathbb{R}^{3\times2}$、$\mathbf{B}\in\mathbb{R}^{2\times4}$ 手算 $C_{23}$，指出它对应哪一行与哪一列的内积，并给出乘法的浮点运算次数。
- [ ] 对 $\mathbf{A}=\begin{bmatrix}4&1\\2&3\end{bmatrix}$ 手写特征多项式、两个特征值与单位特征向量，并用 $\mathbf{A}\mathbf{v}=\lambda\mathbf{v}$ 逐分量验证。
- [ ] 从残差正交条件 $\mathbf{A}^{\top}(\mathbf{b}-\mathbf{A}\mathbf{x})=\mathbf{0}$ 推出正规方程与 $\mathbf{P}=\mathbf{A}(\mathbf{A}^{\top}\mathbf{A})^{-1}\mathbf{A}^{\top}$，并证明 $\mathbf{P}^{2}=\mathbf{P}$、$\mathbf{P}^{\top}=\mathbf{P}$、$\operatorname{tr}(\mathbf{P})=\operatorname{rank}(\mathbf{P})$。
- [ ] 运行本篇代码，解释为何 $\mathbf{P}$ 的迹等于 2，并说明删去第 3 段的排序与符号修正后输出可能在哪些位置变化。
- [ ] 构造一个 $2\times2$ 奇异矩阵与两个不同右端项，分别使方程组有无穷多解与无解，并用列空间语言说明判据。
- [ ] 判断 $\begin{bmatrix}1&2\\2&1\end{bmatrix}$ 是否正定，分别用特征值与顺序主子式两种判据给出结论，并写出对应二次型。

## 参考来源

- Goodfellow, Bengio, Courville, *Deep Learning*, 2016, 第 2 章 —— 对应本篇向量范数、矩阵乘法、特征分解与 SVD 的记号与结论。
- d2l.ai《动手学深度学习》，第 2 章 2.3 节「线性代数」—— 对应本篇矩阵运算的张量实现视角与范数小节。
- Stanford CS229 线性代数复习讲义（cs229-linalg）—— 对应本篇矩阵乘法两种视角、秩、逆与正交矩阵各节。
- Hastie, Tibshirani, Friedman, *The Elements of Statistical Learning*, 第 3 章 —— 对应本篇最小二乘的列空间投影解释。
