---
title: 附录-矩阵分解总览
aliases:
  - 矩阵分解
  - Matrix Factorizations
  - 分解总览
tags:
  - 元/速查
  - 线代/应用
created: 2026-10-11
updated: 2026-10-12
level: 进阶
chapter: "附录"
prerequisites:
  - "[[3-5-四大子空间的维数]]"
  - "[[4-4-标准正交基与Gram-Schmidt]]"
sources:
  - https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/
  - https://docs.scipy.org/doc/scipy/reference/linalg.html
  - https://numpy.org/doc/stable/reference/routines.linalg.html
---

# 附录-矩阵分解总览

> [!abstract] 这一篇解决什么
> 线性代数的核心操作是**把一个矩阵拆成几个结构简单的矩阵的乘积**。每拆一次，就暴露一层结构。
> 本篇把 $A=LU$、$A=QR$、$S=Q\Lambda Q^{\mathrm{T}}$、$A=U\Sigma V^{\mathrm{T}}$ 等分解放在一张表里对比，说明**各自暴露什么结构、用在什么地方**。

## 为什么需要分解

直接面对一个 $n \times n$ 矩阵，你几乎看不出任何东西。分解之后：

- 解方程变成**两次三角回代**（$A = LU$）
- 最小二乘变成**一个正交投影**（$A = QR$）
- 对称矩阵的"主轴"变成**一组正交方向**（$S = Q\Lambda Q^{\mathrm{T}}$）
- 任意矩阵的"主方向"变成**两组正交基加缩放**（$A = U\Sigma V^{\mathrm{T}}$）

> [!important] 一句话总结
> **分解 = 把矩阵翻译成几何。** 每个分解都在回答"这个变换本质上做了什么"。

---

## 总对比表

| 分解 | 形式 | 存在条件 | 暴露的结构 | 主要用途 |
|---|---|---|---|---|
| **LU** | $A = LU$ | 消元不需要换行 | 主元、秩 | 解方程、求行列式 |
| **带置换的 LU** | $PA = LU$ | 任意可逆矩阵 | 主元 + 行序 | 通用解方程 |
| **LDLᵀ** | $S = LDL^{\mathrm{T}}$ | 对称且主子式非零 | 主元符号 | 判定正定 |
| **Cholesky** | $S = R^{\mathrm{T}}R$ | 对称正定 | 平方根 | 高效解正定系统 |
| **QR** | $A = QR$ | 列线性无关 | 标准正交基 | 最小二乘、特征值算法 |
| **对角化** | $A = S\Lambda S^{-1}$ | 有 $n$ 个无关特征向量 | 特征值 | 矩阵幂、差分方程 |
| **正交对角化** | $S = Q\Lambda Q^{\mathrm{T}}$ | **实对称** | 正交主轴 | 二次型、PCA |
| **SVD** | $A = U\Sigma V^{\mathrm{T}}$ | **任意矩阵** | 奇异值、四个子空间 | 降维、压缩、伪逆 |
| **Jordan 形** | $A = MJM^{-1}$ | 任意方阵（复数域） | 特征值 + 广义特征向量 | 理论分析 |
| **等价标准形** | $B = P\begin{bmatrix} I_r & O \\ O & O \end{bmatrix}Q$ | **任意矩阵**（$P,Q$ 可逆） | **只有秩** | 判定矩阵等价、求秩 |
| **合同标准形** | $A = C^{\mathrm{T}}\Lambda C$ | 实对称（$C$ 可逆） | 惯性指数 $p,q$ | 二次型的规范形 |

> [!tip] 记住这张表的三行
> 如果只记三条：**对称矩阵用 $Q\Lambda Q^{\mathrm{T}}$、任意矩阵用 $U\Sigma V^{\mathrm{T}}$、解方程用 $LU$。**

> [!important] 最后两行是「国内教材」的视角
> **等价**（$B=PAQ$）、**合同**（$B=C^{\mathrm{T}}AC$）、**相似**（$B=P^{-1}AP$）是三种不同的"化简"，各自保留不同的不变量：
>
> | 关系 | 形式 | 保留什么 | 标准形 |
> |---|---|---|---|
> | 等价 | $B = PAQ$ | **只保留秩** | $\begin{bmatrix} I_r & O \\ O & O \end{bmatrix}$ |
> | 相似 | $B = P^{-1}AP$ | 特征值、迹、行列式 | Jordan 形（或对角形） |
> | 合同 | $B = C^{\mathrm{T}}AC$ | 惯性指数（正负项个数） | 规范形 |
>
> 三者的关系：**相似 $\Rightarrow$ 等价**、**合同 $\Rightarrow$ 等价**，但**相似与合同互不包含**。
> 完整证明与反例见 [[2-5-LU分解与转置置换]] 与 [[6-5-二次型与标准形]]。

---

## 一、$A = LU$：消元的产物

**形式**

$$
A = LU, \qquad L = \begin{bmatrix} 1 & 0 & 0 \\ \ell_{21} & 1 & 0 \\ \ell_{31} & \ell_{32} & 1 \end{bmatrix}, \qquad U = \begin{bmatrix} u_{11} & u_{12} & u_{13} \\ 0 & u_{22} & u_{23} \\ 0 & 0 & u_{33} \end{bmatrix}
$$

**来源**：消元过程写成矩阵就是 $E_{32}E_{31}E_{21}A = U$，两边取逆得 $A = E_{21}^{-1}E_{31}^{-1}E_{32}^{-1}U = LU$。$L$ 中的元素**恰好就是消元乘数**（不需要额外计算）。

**暴露什么**：$U$ 的对角元是主元，非零主元的个数就是秩 $r$；$\det A = \det L \det U = u_{11}u_{22}\cdots u_{nn}$。

**什么时候用**：解 $A\mathbf{x}=\mathbf{b}$。一次分解、多次求解（换 $\mathbf{b}$ 不用重新分解）：先解 $L\mathbf{c}=\mathbf{b}$（前代），再解 $U\mathbf{x}=\mathbf{c}$（回代），各 $O(n^2)$。

**限制**：主元为 0 时需要换行，得到 $PA = LU$。见 [[2-5-LU分解与转置置换]]。

> [!warning] 数值上的坑
> 即使主元不为 0，**主元太小会导致误差放大**。实际计算中必须做**部分选主元**（partial pivoting）：每步选当前列绝对值最大的元素作主元。见 [[11-1-数值稳定性与LU]]。

---

## 二、$A = QR$：正交化的产物

**形式**

$$
A = QR, \qquad Q = \begin{bmatrix} \mathbf{q}_1 & \mathbf{q}_2 & \mathbf{q}_3 \end{bmatrix}, \qquad R = \begin{bmatrix} r_{11} & r_{12} & r_{13} \\ 0 & r_{22} & r_{23} \\ 0 & 0 & r_{33} \end{bmatrix}
$$

其中 $Q$ 的列**标准正交**（$Q^{\mathrm{T}}Q = I$），$R$ 是上三角。

**来源**：对 $A$ 的列做 **Gram–Schmidt 正交化**，$r_{ij} = \mathbf{q}_i^{\mathrm{T}}\mathbf{a}_j$ 就是投影系数。

**暴露什么**：$Q$ 的列是 $\mathbf{C}(A)$ 的一组**标准正交基**；$|r_{ii}|$ 反映列的"独立性程度"，$r_{ii} = 0$ 意味着该列与前几列相关。

**为什么重要**：投影公式在正交基下大幅简化：

$$
P = A(A^{\mathrm{T}}A)^{-1}A^{\mathrm{T}} \quad\longrightarrow\quad P = QQ^{\mathrm{T}}
$$

**什么时候用**：最小二乘（见 [[4-3-最小二乘逼近]]）。用 QR 比直接解法方程 $A^{\mathrm{T}}A\hat{\mathbf{x}} = A^{\mathrm{T}}\mathbf{b}$ **数值上稳定得多**——因为 $A^{\mathrm{T}}A$ 的条件数是 $A$ 的平方。

> [!note] 一个漂亮的推论
> $\det A = \det Q \det R = \pm r_{11}r_{22}\cdots r_{nn}$，即**行列式的绝对值等于 Gram–Schmidt 过程中各列"新增部分"的长度之积**。这也解释了为什么列相关时行列式为 0。

---

## 三、$S = Q\Lambda Q^{\mathrm{T}}$：对称矩阵的谱分解

**形式**（$S$ 实对称）

$$
S = Q\Lambda Q^{\mathrm{T}} = \lambda_1\mathbf{q}_1\mathbf{q}_1^{\mathrm{T}} + \lambda_2\mathbf{q}_2\mathbf{q}_2^{\mathrm{T}} + \cdots + \lambda_n\mathbf{q}_n\mathbf{q}_n^{\mathrm{T}}
$$

**来源**：**谱定理**——实对称矩阵的特征值全为实数，且存在一组**标准正交**的特征向量。

**暴露什么**：$\lambda_i$ 是各主轴方向的伸缩倍数；$\mathbf{q}_i$ 是主轴方向。**对称矩阵本质上就是"沿一组正交轴各自缩放"**。

**几何直观**：二次型 $\mathbf{x}^{\mathrm{T}}S\mathbf{x} = \sum_i \lambda_i (\mathbf{q}_i^{\mathrm{T}}\mathbf{x})^2$ 是**不带交叉项**的平方和——这正是"标准形"的含义。$\lambda_i$ 全正则曲面是椭球，有正有负则是鞍面。

**什么时候用**：二次型与正定性判定（见 [[6-4-对称矩阵与正定矩阵]]、[[6-5-二次型与标准形]]）、PCA 的数学基础（协方差矩阵是对称半正定的，见 [[7-3-主成分分析PCA]]）。

> [!important] 与一般对角化的区别
> 一般矩阵 $A = S\Lambda S^{-1}$ 要求 $S$ 可逆即可；对称矩阵要求更强——$S$ **可以取成正交矩阵** $Q$，于是 $S^{-1}$ 就是 $S^{\mathrm{T}}$。
> 这个差别在数值计算里是决定性的：求逆变成转置，稳定性天差地别。

---

## 四、$A = U\Sigma V^{\mathrm{T}}$：SVD

**形式**（$A$ 为 $m\times n$，秩 $r$）

$$
A = U\Sigma V^{\mathrm{T}} = \sum_{i=1}^{r} \sigma_i \mathbf{u}_i \mathbf{v}_i^{\mathrm{T}}
$$

- $U$：$m\times m$ 正交矩阵，列为 $\mathbf{C}(A)$ 与 $\mathbf{N}(A^{\mathrm{T}})$ 的标准正交基
- $V$：$n\times n$ 正交矩阵，列为 $\mathbf{C}(A^{\mathrm{T}})$ 与 $\mathbf{N}(A)$ 的标准正交基
- $\Sigma$：$m\times n$ 对角矩阵，对角元 $\sigma_1 \ge \sigma_2 \ge \cdots \ge \sigma_r > 0$

**来源**：对 $A^{\mathrm{T}}A$（对称半正定）做谱分解，其特征值开方就是奇异值。见 [[7-1-SVD的构造与几何意义]]。

**几何直观（最重要的一段）**：

$$
A\mathbf{x} = U\Sigma V^{\mathrm{T}}\mathbf{x}
$$

读作三个动作：**先用 $V^{\mathrm{T}}$ 旋转到合适的方向 → 用 $\Sigma$ 沿坐标轴伸缩 → 再用 $U$ 旋转到输出空间**。
任何矩阵变换，本质上就是"旋转—伸缩—旋转"。

**暴露什么**：SVD 一次性给出**四个基本子空间的标准正交基**，这是它无可替代的价值：

| 子空间 | 基 | 奇异值关系 |
|---|---|---|
| $\mathbf{C}(A)$ | $U$ 的前 $r$ 列 | $\sigma_1,\dots,\sigma_r$ |
| $\mathbf{N}(A^{\mathrm{T}})$ | $U$ 的后 $m-r$ 列 | 对应 $\sigma = 0$ |
| $\mathbf{C}(A^{\mathrm{T}})$ | $V$ 的前 $r$ 列 | $\sigma_1,\dots,\sigma_r$ |
| $\mathbf{N}(A)$ | $V$ 的后 $n-r$ 列 | 对应 $\sigma = 0$ |

**什么时候用**：
- **低秩逼近**：只保留前 $k$ 个奇异值，得到秩 $k$ 的最优近似（Eckart–Young 定理）→ 图像压缩，见 [[7-2-图像压缩与低秩逼近]]
- **降维**：PCA 就是数据矩阵的 SVD，见 [[7-3-主成分分析PCA]]
- **伪逆**：$A^{+} = V\Sigma^{+}U^{\mathrm{T}}$，用于求解列相关时的最小二乘
- **条件数**：$\kappa(A) = \sigma_1/\sigma_r$，见 [[11-2-范数与条件数]]

> [!important] SVD 的普适性
> $A=LU$ 要求消元顺利、$A=QR$ 要求列无关、$S=Q\Lambda Q^{\mathrm{T}}$ 要求对称——
> **只有 SVD 对任意矩阵都存在**。这是它成为"线性代数终极工具"的原因。

---

## 五、把它们串起来

```
                    A（任意矩阵）
                         │
        ┌────────────────┴────────────────┐
        │                                 │
   需要解方程                          需要看结构
        │                                 │
      PA = LU                    ┌─────────┴─────────┐
   （主元、秩、det）               │                   │
                             A 对称？              任意
                                 │                   │
                          S = QΛQᵀ              A = UΣVᵀ
                        （主轴、二次型）      （奇异值、四子空间）
                                 │                   │
                                 └─────────┬─────────┘
                                           │
                                      A = QR
                                （正交基、最小二乘）
```

**关系速记**：

- $A^{\mathrm{T}}A$ 总是对称半正定 → 它的谱分解给出 SVD 的 $V$ 与 $\Sigma$
- $AA^{\mathrm{T}}$ 的谱分解给出 $U$ 与 $\Sigma$
- 若 $A$ 本身对称正定，则 SVD 与谱分解**重合**：$U = V = Q$，$\sigma_i = \lambda_i$
- QR 是"经济版的正交化"，Gram–Schmidt 是它背后的算法

## 六、选择指南

| 你的任务 | 用什么 | 为什么 |
|---|---|---|
| 解 $A\mathbf{x}=\mathbf{b}$（方阵、多次换 $\mathbf{b}$） | $PA = LU$ | 一次分解多次使用，$O(n^3) + kO(n^2)$ |
| 解正定系统 | Cholesky $S=R^{\mathrm{T}}R$ | 比 LU 快一倍，且无需选主元 |
| 超定方程最小二乘 | $A = QR$ | 避免 $A^{\mathrm{T}}A$ 的条件数平方 |
| 判断正定性 | $S = LDL^{\mathrm{T}}$ 或顺序主子式 | 只看主元符号 |
| 求矩阵幂 $A^k$ | $A = S\Lambda S^{-1}$ | $A^k = S\Lambda^k S^{-1}$ |
| 二次型标准化 | $S = Q\Lambda Q^{\mathrm{T}}$ | 正交变换不改变几何形状 |
| 降维 / 压缩 / 去噪 | $A = U\Sigma V^{\mathrm{T}}$ | 截断奇异值即最优低秩逼近 |
| 分析稳定性 | SVD 的条件数 | 比 $\det$ 更能反映敏感性 |

> [!warning] 三个易错点
> 1. **不要把"可对角化"和"可正交对角化"混为一谈**。只有正规矩阵（含实对称、正交、Hermitian）才能正交对角化。
> 2. **不要以为奇异值等于特征值的绝对值**。这只对**对称矩阵**成立；一般矩阵的奇异值是 $A^{\mathrm{T}}A$ 特征值的平方根。
> 3. **不要用 $\det A$ 判断矩阵是否接近奇异**。$\det$ 会随尺度变化（把 $A$ 乘 10 倍，$n$ 阶矩阵的 $\det$ 变成 $10^n$ 倍），判断"接近奇异"要看条件数 $\sigma_{\max}/\sigma_{\min}$。

## 七、动手验证

> [!example] 用 numpy 一次看清四种分解
> ```python
> import numpy as np
> from scipy import linalg
>
> A = np.array([[1., 2., 3.],
>               [4., 5., 6.],
>               [7., 8., 10.]])
>
> # 1) 带置换的 LU：P A = L U
> P, L, U = linalg.lu(A)
> print("PA=LU 重建误差:", np.abs(P @ A - L @ U).max())
> print("det(A) =", linalg.det(A), " 主元之积 =", np.prod(np.diag(U)))
>
> # 2) QR：A = Q R
> Q, R = linalg.qr(A)
> print("QR 重建误差:", np.abs(A - Q @ R).max())
> print("Q 正交性 ||Q^T Q - I|| =", np.abs(Q.T @ Q - np.eye(3)).max())
>
> # 3) 对称矩阵的正交对角化
> S = A.T @ A                      # 一定对称半正定
> w, Qs = linalg.eigh(S)
> print("谱分解误差:", np.abs(S - Qs @ np.diag(w) @ Qs.T).max())
>
> # 4) SVD
> U_, s, Vt = linalg.svd(A)
> print("SVD 重建误差:", np.abs(A - U_ @ np.diag(s) @ Vt).max())
> print("奇异值:", s, " 条件数:", s[0] / s[-1])
> ```

> [!note] 运行环境与依赖
> 示例需要 **numpy** 与 **scipy**：
> ```bash
> pip install numpy scipy
> ```
> 其中 `scipy.linalg.lu` 是 numpy 没有的（`np.linalg` 不提供 LU 分解），其余函数都能在 `np.linalg` 里找到替代。
> 不同版本的函数签名可能变化，**以官方最新文档为准**。

## 相关笔记

- [[2-5-LU分解与转置置换]]：$A=LU$ 的完整推导
- [[4-4-标准正交基与Gram-Schmidt]]：$A=QR$ 的构造方法
- [[6-4-对称矩阵与正定矩阵]]：$S=Q\Lambda Q^{\mathrm{T}}$ 的证明
- [[7-1-SVD的构造与几何意义]]：SVD 的推导与几何解释
- [[3-5-四大子空间的维数]]：为什么 SVD 能一次给出四个子空间的基
- [[2-5-LU分解与转置置换]]：等价标准形与「等价 $\iff$ 同秩」
- [[6-5-二次型与标准形]]：合同、惯性定理与规范形
- [[11-2-范数与条件数]]：用奇异值衡量矩阵的敏感性
- [[常用公式速查]]：全库公式汇总

## 参考来源

- Gilbert Strang《Introduction to Linear Algebra》第 5 版，第 7 章（SVD）与第 2.6 节（LU）
- 陈维新《线性代数》（第二版），科学出版社 —— 等价标准形与合同标准形部分
- MIT 18.06 Linear Algebra 公开课：<https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/>
- SciPy 线性代数模块文档：<https://docs.scipy.org/doc/scipy/reference/linalg.html>
- NumPy 线性代数例程：<https://numpy.org/doc/stable/reference/routines.linalg.html>

> [!note] 关于教材差异
> 不同教材对分解的记号与章节安排不同（例如把 QR 放在最小二乘之前或之后、把 Cholesky 归入数值线性代数）。
> 本库按 Strang 第 5 版的顺序组织；符号与术语以 [[关于本笔记库]] 的约定为准。
