w wyl123ly 的博客
MD

附录-矩阵分解总览

15 KB 2026.10.11 原文件

附录-矩阵分解总览

这一篇解决什么

线性代数的核心操作是把一个矩阵拆成几个结构简单的矩阵的乘积。每拆一次,就暴露一层结构。

本篇把 、、、 等分解放在一张表里对比,说明各自暴露什么结构、用在什么地方。

为什么需要分解

直接面对一个 矩阵,你几乎看不出任何东西。分解之后:

  • 解方程变成两次三角回代()
  • 最小二乘变成一个正交投影()
  • 对称矩阵的"主轴"变成一组正交方向()
  • 任意矩阵的"主方向"变成两组正交基加缩放()

一句话总结

分解 = 把矩阵翻译成几何。 每个分解都在回答"这个变换本质上做了什么"。


总对比表

分解形式存在条件暴露的结构主要用途
LU消元不需要换行主元、秩解方程、求行列式
带置换的 LU任意可逆矩阵主元 + 行序通用解方程
LDLᵀ对称且主子式非零主元符号判定正定
Cholesky对称正定平方根高效解正定系统
QR列线性无关标准正交基最小二乘、特征值算法
对角化有 个无关特征向量特征值矩阵幂、差分方程
正交对角化实对称正交主轴二次型、PCA
SVD任意矩阵奇异值、四个子空间降维、压缩、伪逆
Jordan 形任意方阵(复数域)特征值 + 广义特征向量理论分析
等价标准形任意矩阵( 可逆)只有秩判定矩阵等价、求秩
合同标准形实对称( 可逆)惯性指数 二次型的规范形

记住这张表的三行

如果只记三条:对称矩阵用 、任意矩阵用 、解方程用 。

最后两行是「国内教材」的视角

等价()、合同()、相似()是三种不同的"化简",各自保留不同的不变量:

| 关系 | 形式 | 保留什么 | 标准形 |

|---|---|---|---|

| 等价 | | 只保留秩 | |

| 相似 | | 特征值、迹、行列式 | Jordan 形(或对角形) |

| 合同 | | 惯性指数(正负项个数) | 规范形 |

三者的关系:相似 等价、合同 等价,但相似与合同互不包含。

完整证明与反例见 2-5-LU分解与转置置换 与 6-5-二次型与标准形。


一、:消元的产物

形式

来源:消元过程写成矩阵就是 ,两边取逆得 。 中的元素恰好就是消元乘数(不需要额外计算)。

暴露什么: 的对角元是主元,非零主元的个数就是秩 ;。

什么时候用:解 。一次分解、多次求解(换 不用重新分解):先解 (前代),再解 (回代),各 。

限制:主元为 0 时需要换行,得到 。见 2-5-LU分解与转置置换。

数值上的坑

即使主元不为 0,主元太小会导致误差放大。实际计算中必须做部分选主元(partial pivoting):每步选当前列绝对值最大的元素作主元。见 11-1-数值稳定性与LU。


二、:正交化的产物

形式

其中 的列标准正交(), 是上三角。

来源:对 的列做 Gram–Schmidt 正交化, 就是投影系数。

暴露什么: 的列是 的一组标准正交基; 反映列的"独立性程度", 意味着该列与前几列相关。

为什么重要:投影公式在正交基下大幅简化:

什么时候用:最小二乘(见 4-3-最小二乘逼近)。用 QR 比直接解法方程 数值上稳定得多——因为 的条件数是 的平方。

一个漂亮的推论

,即行列式的绝对值等于 Gram–Schmidt 过程中各列"新增部分"的长度之积。这也解释了为什么列相关时行列式为 0。


三、:对称矩阵的谱分解

形式( 实对称)

来源:谱定理——实对称矩阵的特征值全为实数,且存在一组标准正交的特征向量。

暴露什么: 是各主轴方向的伸缩倍数; 是主轴方向。对称矩阵本质上就是"沿一组正交轴各自缩放"。

几何直观:二次型 是不带交叉项的平方和——这正是"标准形"的含义。 全正则曲面是椭球,有正有负则是鞍面。

什么时候用:二次型与正定性判定(见 6-4-对称矩阵与正定矩阵、6-5-二次型与标准形)、PCA 的数学基础(协方差矩阵是对称半正定的,见 7-3-主成分分析PCA)。

与一般对角化的区别

一般矩阵 要求 可逆即可;对称矩阵要求更强—— 可以取成正交矩阵 ,于是 就是 。

这个差别在数值计算里是决定性的:求逆变成转置,稳定性天差地别。


四、:SVD

形式( 为 ,秩 )

  • : 正交矩阵,列为 与 的标准正交基
  • : 正交矩阵,列为 与 的标准正交基
  • : 对角矩阵,对角元

来源:对 (对称半正定)做谱分解,其特征值开方就是奇异值。见 7-1-SVD的构造与几何意义。

几何直观(最重要的一段):

读作三个动作:先用 旋转到合适的方向 → 用 沿坐标轴伸缩 → 再用 旋转到输出空间。

任何矩阵变换,本质上就是"旋转—伸缩—旋转"。

暴露什么:SVD 一次性给出四个基本子空间的标准正交基,这是它无可替代的价值:

子空间基奇异值关系
的前 列
的后 列对应
的前 列
的后 列对应

什么时候用:

  • 低秩逼近:只保留前 个奇异值,得到秩 的最优近似(Eckart–Young 定理)→ 图像压缩,见 7-2-图像压缩与低秩逼近
  • 降维:PCA 就是数据矩阵的 SVD,见 7-3-主成分分析PCA
  • 伪逆:,用于求解列相关时的最小二乘
  • 条件数:,见 11-2-范数与条件数

SVD 的普适性

要求消元顺利、 要求列无关、 要求对称——

只有 SVD 对任意矩阵都存在。这是它成为"线性代数终极工具"的原因。


五、把它们串起来

                    A(任意矩阵)
                         │
        ┌────────────────┴────────────────┐
        │                                 │
   需要解方程                          需要看结构
        │                                 │
      PA = LU                    ┌─────────┴─────────┐
   (主元、秩、det)               │                   │
                             A 对称?              任意
                                 │                   │
                          S = QΛQᵀ              A = UΣVᵀ
                        (主轴、二次型)      (奇异值、四子空间)
                                 │                   │
                                 └─────────┬─────────┘
                                           │
                                      A = QR
                                (正交基、最小二乘)

关系速记:

  • 总是对称半正定 → 它的谱分解给出 SVD 的 与
  • 的谱分解给出 与
  • 若 本身对称正定,则 SVD 与谱分解重合:,
  • QR 是"经济版的正交化",Gram–Schmidt 是它背后的算法

六、选择指南

你的任务用什么为什么
解 (方阵、多次换 )一次分解多次使用,
解正定系统Cholesky 比 LU 快一倍,且无需选主元
超定方程最小二乘避免 的条件数平方
判断正定性 或顺序主子式只看主元符号
求矩阵幂
二次型标准化正交变换不改变几何形状
降维 / 压缩 / 去噪截断奇异值即最优低秩逼近
分析稳定性SVD 的条件数比 更能反映敏感性

三个易错点

1. 不要把"可对角化"和"可正交对角化"混为一谈。只有正规矩阵(含实对称、正交、Hermitian)才能正交对角化。

2. 不要以为奇异值等于特征值的绝对值。这只对对称矩阵成立;一般矩阵的奇异值是 特征值的平方根。

3. 不要用 判断矩阵是否接近奇异。 会随尺度变化(把 乘 10 倍, 阶矩阵的 变成 倍),判断"接近奇异"要看条件数 。

七、动手验证

用 numpy 一次看清四种分解

```python

import numpy as np

from scipy import linalg

A = np.array([[1., 2., 3.],

[4., 5., 6.],

[7., 8., 10.]])

# 1) 带置换的 LU:P A = L U

P, L, U = linalg.lu(A)

print("PA=LU 重建误差:", np.abs(P @ A - L @ U).max())

print("det(A) =", linalg.det(A), " 主元之积 =", np.prod(np.diag(U)))

# 2) QR:A = Q R

Q, R = linalg.qr(A)

print("QR 重建误差:", np.abs(A - Q @ R).max())

print("Q 正交性 ||Q^T Q - I|| =", np.abs(Q.T @ Q - np.eye(3)).max())

# 3) 对称矩阵的正交对角化

S = A.T @ A # 一定对称半正定

w, Qs = linalg.eigh(S)

print("谱分解误差:", np.abs(S - Qs @ np.diag(w) @ Qs.T).max())

# 4) SVD

U_, s, Vt = linalg.svd(A)

print("SVD 重建误差:", np.abs(A - U_ @ np.diag(s) @ Vt).max())

print("奇异值:", s, " 条件数:", s[0] / s[-1])

```

运行环境与依赖

示例需要 numpy 与 scipy:

```bash

pip install numpy scipy

```

其中 scipy.linalg.lu 是 numpy 没有的(np.linalg 不提供 LU 分解),其余函数都能在 np.linalg 里找到替代。

不同版本的函数签名可能变化,以官方最新文档为准。

相关笔记

  • 2-5-LU分解与转置置换: 的完整推导
  • 4-4-标准正交基与Gram-Schmidt: 的构造方法
  • 6-4-对称矩阵与正定矩阵: 的证明
  • 7-1-SVD的构造与几何意义:SVD 的推导与几何解释
  • 3-5-四大子空间的维数:为什么 SVD 能一次给出四个子空间的基
  • 2-5-LU分解与转置置换:等价标准形与「等价 同秩」
  • 6-5-二次型与标准形:合同、惯性定理与规范形
  • 11-2-范数与条件数:用奇异值衡量矩阵的敏感性
  • 常用公式速查:全库公式汇总

参考来源

  • Gilbert Strang《Introduction to Linear Algebra》第 5 版,第 7 章(SVD)与第 2.6 节(LU)
  • 陈维新《线性代数》(第二版),科学出版社 —— 等价标准形与合同标准形部分
  • MIT 18.06 Linear Algebra 公开课:<https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/>
  • SciPy 线性代数模块文档:<https://docs.scipy.org/doc/scipy/reference/linalg.html>
  • NumPy 线性代数例程:<https://numpy.org/doc/stable/reference/routines.linalg.html>

关于教材差异

不同教材对分解的记号与章节安排不同(例如把 QR 放在最小二乘之前或之后、把 Cholesky 归入数值线性代数)。

本库按 Strang 第 5 版的顺序组织;符号与术语以 关于本笔记库 的约定为准。