附录-矩阵分解总览
这一篇解决什么
线性代数的核心操作是把一个矩阵拆成几个结构简单的矩阵的乘积。每拆一次,就暴露一层结构。
本篇把 、、、 等分解放在一张表里对比,说明各自暴露什么结构、用在什么地方。
为什么需要分解
直接面对一个 矩阵,你几乎看不出任何东西。分解之后:
- 解方程变成两次三角回代()
- 最小二乘变成一个正交投影()
- 对称矩阵的"主轴"变成一组正交方向()
- 任意矩阵的"主方向"变成两组正交基加缩放()
一句话总结
分解 = 把矩阵翻译成几何。 每个分解都在回答"这个变换本质上做了什么"。
总对比表
| 分解 | 形式 | 存在条件 | 暴露的结构 | 主要用途 |
|---|---|---|---|---|
| LU | 消元不需要换行 | 主元、秩 | 解方程、求行列式 | |
| 带置换的 LU | 任意可逆矩阵 | 主元 + 行序 | 通用解方程 | |
| LDLᵀ | 对称且主子式非零 | 主元符号 | 判定正定 | |
| Cholesky | 对称正定 | 平方根 | 高效解正定系统 | |
| QR | 列线性无关 | 标准正交基 | 最小二乘、特征值算法 | |
| 对角化 | 有 个无关特征向量 | 特征值 | 矩阵幂、差分方程 | |
| 正交对角化 | 实对称 | 正交主轴 | 二次型、PCA | |
| SVD | 任意矩阵 | 奇异值、四个子空间 | 降维、压缩、伪逆 | |
| Jordan 形 | 任意方阵(复数域) | 特征值 + 广义特征向量 | 理论分析 | |
| 等价标准形 | 任意矩阵( 可逆) | 只有秩 | 判定矩阵等价、求秩 | |
| 合同标准形 | 实对称( 可逆) | 惯性指数 | 二次型的规范形 |
记住这张表的三行
如果只记三条:对称矩阵用 、任意矩阵用 、解方程用 。
最后两行是「国内教材」的视角
等价()、合同()、相似()是三种不同的"化简",各自保留不同的不变量:
| 关系 | 形式 | 保留什么 | 标准形 |
|---|---|---|---|
| 等价 | | 只保留秩 | |
| 相似 | | 特征值、迹、行列式 | Jordan 形(或对角形) |
| 合同 | | 惯性指数(正负项个数) | 规范形 |
三者的关系:相似 等价、合同 等价,但相似与合同互不包含。
完整证明与反例见 2-5-LU分解与转置置换 与 6-5-二次型与标准形。
一、:消元的产物
形式
来源:消元过程写成矩阵就是 ,两边取逆得 。 中的元素恰好就是消元乘数(不需要额外计算)。
暴露什么: 的对角元是主元,非零主元的个数就是秩 ;。
什么时候用:解 。一次分解、多次求解(换 不用重新分解):先解 (前代),再解 (回代),各 。
限制:主元为 0 时需要换行,得到 。见 2-5-LU分解与转置置换。
数值上的坑
即使主元不为 0,主元太小会导致误差放大。实际计算中必须做部分选主元(partial pivoting):每步选当前列绝对值最大的元素作主元。见 11-1-数值稳定性与LU。
二、:正交化的产物
形式
其中 的列标准正交(), 是上三角。
来源:对 的列做 Gram–Schmidt 正交化, 就是投影系数。
暴露什么: 的列是 的一组标准正交基; 反映列的"独立性程度", 意味着该列与前几列相关。
为什么重要:投影公式在正交基下大幅简化:
什么时候用:最小二乘(见 4-3-最小二乘逼近)。用 QR 比直接解法方程 数值上稳定得多——因为 的条件数是 的平方。
一个漂亮的推论
,即行列式的绝对值等于 Gram–Schmidt 过程中各列"新增部分"的长度之积。这也解释了为什么列相关时行列式为 0。
三、:对称矩阵的谱分解
形式( 实对称)
来源:谱定理——实对称矩阵的特征值全为实数,且存在一组标准正交的特征向量。
暴露什么: 是各主轴方向的伸缩倍数; 是主轴方向。对称矩阵本质上就是"沿一组正交轴各自缩放"。
几何直观:二次型 是不带交叉项的平方和——这正是"标准形"的含义。 全正则曲面是椭球,有正有负则是鞍面。
什么时候用:二次型与正定性判定(见 6-4-对称矩阵与正定矩阵、6-5-二次型与标准形)、PCA 的数学基础(协方差矩阵是对称半正定的,见 7-3-主成分分析PCA)。
与一般对角化的区别
一般矩阵 要求 可逆即可;对称矩阵要求更强—— 可以取成正交矩阵 ,于是 就是 。
这个差别在数值计算里是决定性的:求逆变成转置,稳定性天差地别。
四、:SVD
形式( 为 ,秩 )
- : 正交矩阵,列为 与 的标准正交基
- : 正交矩阵,列为 与 的标准正交基
- : 对角矩阵,对角元
来源:对 (对称半正定)做谱分解,其特征值开方就是奇异值。见 7-1-SVD的构造与几何意义。
几何直观(最重要的一段):
读作三个动作:先用 旋转到合适的方向 → 用 沿坐标轴伸缩 → 再用 旋转到输出空间。
任何矩阵变换,本质上就是"旋转—伸缩—旋转"。
暴露什么:SVD 一次性给出四个基本子空间的标准正交基,这是它无可替代的价值:
| 子空间 | 基 | 奇异值关系 |
|---|---|---|
| 的前 列 | ||
| 的后 列 | 对应 | |
| 的前 列 | ||
| 的后 列 | 对应 |
什么时候用:
- 低秩逼近:只保留前 个奇异值,得到秩 的最优近似(Eckart–Young 定理)→ 图像压缩,见 7-2-图像压缩与低秩逼近
- 降维:PCA 就是数据矩阵的 SVD,见 7-3-主成分分析PCA
- 伪逆:,用于求解列相关时的最小二乘
- 条件数:,见 11-2-范数与条件数
SVD 的普适性
要求消元顺利、 要求列无关、 要求对称——
只有 SVD 对任意矩阵都存在。这是它成为"线性代数终极工具"的原因。
五、把它们串起来
A(任意矩阵)
│
┌────────────────┴────────────────┐
│ │
需要解方程 需要看结构
│ │
PA = LU ┌─────────┴─────────┐
(主元、秩、det) │ │
A 对称? 任意
│ │
S = QΛQᵀ A = UΣVᵀ
(主轴、二次型) (奇异值、四子空间)
│ │
└─────────┬─────────┘
│
A = QR
(正交基、最小二乘)
关系速记:
- 总是对称半正定 → 它的谱分解给出 SVD 的 与
- 的谱分解给出 与
- 若 本身对称正定,则 SVD 与谱分解重合:,
- QR 是"经济版的正交化",Gram–Schmidt 是它背后的算法
六、选择指南
| 你的任务 | 用什么 | 为什么 |
|---|---|---|
| 解 (方阵、多次换 ) | 一次分解多次使用, | |
| 解正定系统 | Cholesky | 比 LU 快一倍,且无需选主元 |
| 超定方程最小二乘 | 避免 的条件数平方 | |
| 判断正定性 | 或顺序主子式 | 只看主元符号 |
| 求矩阵幂 | ||
| 二次型标准化 | 正交变换不改变几何形状 | |
| 降维 / 压缩 / 去噪 | 截断奇异值即最优低秩逼近 | |
| 分析稳定性 | SVD 的条件数 | 比 更能反映敏感性 |
三个易错点
1. 不要把"可对角化"和"可正交对角化"混为一谈。只有正规矩阵(含实对称、正交、Hermitian)才能正交对角化。
2. 不要以为奇异值等于特征值的绝对值。这只对对称矩阵成立;一般矩阵的奇异值是 特征值的平方根。
3. 不要用 判断矩阵是否接近奇异。 会随尺度变化(把 乘 10 倍, 阶矩阵的 变成 倍),判断"接近奇异"要看条件数 。
七、动手验证
用 numpy 一次看清四种分解
```python
import numpy as np
from scipy import linalg
A = np.array([[1., 2., 3.],
[4., 5., 6.],
[7., 8., 10.]])
# 1) 带置换的 LU:P A = L U
P, L, U = linalg.lu(A)
print("PA=LU 重建误差:", np.abs(P @ A - L @ U).max())
print("det(A) =", linalg.det(A), " 主元之积 =", np.prod(np.diag(U)))
# 2) QR:A = Q R
Q, R = linalg.qr(A)
print("QR 重建误差:", np.abs(A - Q @ R).max())
print("Q 正交性 ||Q^T Q - I|| =", np.abs(Q.T @ Q - np.eye(3)).max())
# 3) 对称矩阵的正交对角化
S = A.T @ A # 一定对称半正定
w, Qs = linalg.eigh(S)
print("谱分解误差:", np.abs(S - Qs @ np.diag(w) @ Qs.T).max())
# 4) SVD
U_, s, Vt = linalg.svd(A)
print("SVD 重建误差:", np.abs(A - U_ @ np.diag(s) @ Vt).max())
print("奇异值:", s, " 条件数:", s[0] / s[-1])
```
运行环境与依赖
示例需要 numpy 与 scipy:
```bash
pip install numpy scipy
```
其中
scipy.linalg.lu是 numpy 没有的(np.linalg不提供 LU 分解),其余函数都能在np.linalg里找到替代。不同版本的函数签名可能变化,以官方最新文档为准。
相关笔记
- 2-5-LU分解与转置置换: 的完整推导
- 4-4-标准正交基与Gram-Schmidt: 的构造方法
- 6-4-对称矩阵与正定矩阵: 的证明
- 7-1-SVD的构造与几何意义:SVD 的推导与几何解释
- 3-5-四大子空间的维数:为什么 SVD 能一次给出四个子空间的基
- 2-5-LU分解与转置置换:等价标准形与「等价 同秩」
- 6-5-二次型与标准形:合同、惯性定理与规范形
- 11-2-范数与条件数:用奇异值衡量矩阵的敏感性
- 常用公式速查:全库公式汇总
参考来源
- Gilbert Strang《Introduction to Linear Algebra》第 5 版,第 7 章(SVD)与第 2.6 节(LU)
- 陈维新《线性代数》(第二版),科学出版社 —— 等价标准形与合同标准形部分
- MIT 18.06 Linear Algebra 公开课:<https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/>
- SciPy 线性代数模块文档:<https://docs.scipy.org/doc/scipy/reference/linalg.html>
- NumPy 线性代数例程:<https://numpy.org/doc/stable/reference/routines.linalg.html>
关于教材差异
不同教材对分解的记号与章节安排不同(例如把 QR 放在最小二乘之前或之后、把 Cholesky 归入数值线性代数)。
本库按 Strang 第 5 版的顺序组织;符号与术语以 关于本笔记库 的约定为准。