---
title: 7-3-主成分分析PCA
aliases:
  - 主成分分析
  - PCA
  - Principal Component Analysis
  - 降维
  - 主成分
tags:
  - 线代/奇异值分解
  - 类型/教程
created: 2026-10-11
updated: 2026-10-11
level: 进阶
chapter: "7.3"
prerequisites:
  - "[[7-1-SVD的构造与几何意义]]"
  - "[[6-4-对称矩阵与正定矩阵]]"
sources:
  - https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/resources/lecture-29-singular-value-decomposition/
  - https://math.mit.edu/~gs/linearalgebra/
  - https://numpy.org/doc/stable/reference/generated/numpy.linalg.svd.html
  - https://mathworld.wolfram.com/PrincipalComponentAnalysis.html
  - https://mathworld.wolfram.com/CovarianceMatrix.html
---

# 7-3-主成分分析PCA

> [!abstract] 一句话概括
> 把 $m$ 个样本、$n$ 个特征的数据排成矩阵 $X\in\mathbb{R}^{m\times n}$，**先对每一列中心化**（减去列均值），再对它做奇异值分解
> $$X = U\Sigma V^{\mathrm{T}},$$
> 那么：$V$ 的列就是**主方向**（principal direction），$XV=U\Sigma$ 的列就是**主成分得分**（principal component score），第 $i$ 个主成分的**方差**是 $\sigma_i^2/(m-1)$。
> **主成分分析（principal component analysis, PCA）就是数据矩阵的 SVD**——它把"高维数据的降维与去相关"这件事，变成了一个纯粹的线性代数问题。
>
> 本篇覆盖：PCA 要解决的问题、数据矩阵的构造与中心化的必要性、协方差矩阵 $S=X^{\mathrm{T}}X/(m-1)$、PCA 与 SVD 的完整对应关系、方差最大化与重构误差最小化两种等价视角、主成分个数的选择、一道完全手算的数值例题、PCA 与特征值分解的等价性与数值取舍、可运行的 numpy 代码、五条注意事项（含"不要用 PCA 做特征选择"）、Eigenfaces 与多元高斯的联系。

## 一、定义与问题设定

### 1.1 PCA 要解决什么问题

**问题一：降维。** 数据有 $n$ 个特征，但其中很多特征**高度相关**（信息重复）。能不能用少数几个"综合指标"来代表原来的 $n$ 个特征，并且尽量不丢失信息？

**问题二：可视化。** 人只能直接看懂 $2$ 维或 $3$ 维的散点图。若数据有 $50$ 个特征，如何把它"摊平"到 2 维平面上看一眼？

**问题三：去相关。** 原始特征之间往往相关（例如"身高"与"体重"），这会让很多统计方法与数值算法变复杂。能不能找到一组**互不相关**的新特征？

**问题四：去噪。** 数据中的噪声通常散布在所有方向上，而信号集中在少数方向上。能不能把噪声方向压掉？

**PCA 用一个统一的动作同时回答这四个问题**：找到一组标准正交的新坐标轴，按"数据在这个方向上变化多大"排序，然后**只保留前几个**。

### 1.2 数据矩阵的构造

**定义 7.3.1（数据矩阵，data matrix）** 设收集了 $m$ 个样本，每个样本观测了 $n$ 个特征。把第 $i$ 个样本的 $n$ 个特征值写成**一行**，得到矩阵

$$X_{\text{raw}} = \begin{bmatrix} \leftarrow \mathbf{x}_1^{\mathrm{T}} \rightarrow \\ \leftarrow \mathbf{x}_2^{\mathrm{T}} \rightarrow \\ \vdots \\ \leftarrow \mathbf{x}_m^{\mathrm{T}} \rightarrow \end{bmatrix} = \begin{bmatrix} x_{11} & x_{12} & \cdots & x_{1n} \\ x_{21} & x_{22} & \cdots & x_{2n} \\ \vdots & \vdots & & \vdots \\ x_{m1} & x_{m2} & \cdots & x_{mn} \end{bmatrix} \in \mathbb{R}^{m\times n}.$$

约定：**行 = 样本，列 = 特征**。$x_{ij}$ 是第 $i$ 个样本的第 $j$ 个特征取值。

> [!warning] 约定冲突的提醒
> 有些统计学教材用**列 = 样本**的约定（$X\in\mathbb{R}^{n\times m}$），写成 $S=\frac{1}{m-1}XX^{\mathrm{T}}$。本库统一采用 **行 = 样本**（与 Strang 教材及机器学习惯例一致），因此协方差矩阵写成 $S=\frac{1}{m-1}X^{\mathrm{T}}X$。**看到公式时先确认约定**，否则转置会全错，这是本主题最常见的低级错误。

### 1.3 第一步必须是中心化

**定义 7.3.2（中心化，centering）** 记第 $j$ 个特征的样本均值为

$$\bar x_j = \frac{1}{m}\sum_{i=1}^{m}x_{ij}, \qquad j = 1, 2, \dots, n.$$

定义**中心化数据矩阵**（centered data matrix）

$$X = X_{\text{raw}} - \mathbf{1}_m\,\bar{\mathbf{x}}^{\mathrm{T}}, \qquad \bar{\mathbf{x}} = \begin{bmatrix} \bar x_1 \\ \bar x_2 \\ \vdots \\ \bar x_n \end{bmatrix}, \qquad \mathbf{1}_m = \begin{bmatrix} 1 \\ 1 \\ \vdots \\ 1 \end{bmatrix}\in\mathbb{R}^m.$$

也就是说：**每一列减去该列的均值**。中心化后每一列的均值都是 $0$：

$$\sum_{i=1}^{m}x_{ij} = 0, \qquad j = 1,\dots,n.$$

> [!important] 为什么必须先中心化
> PCA 追求的是"**方差**最大的方向"。方差衡量的是数据围绕**均值**的散布。如果不中心化，原点就不在数据的"重心"上，第一条主成分会被**均值方向**（从原点到数据重心那条线）抢走——因为那个方向的"未中心化二阶矩"最大，但它与"数据如何散布"毫无关系。
>
> 本篇第七节的数值例题会给出实际对比：同一组数据，中心化后第一主成分占 **90.00%** 的方差；不中心化时第一主成分占 **98.18%**，看起来"更好"，但它指向的几乎就是均值方向——**这个结果没有任何统计意义**。
>
> 一句话：**不中心化的 PCA 是错的，不是"另一种做法"。**

### 1.4 样本协方差矩阵

**定义 7.3.3（样本协方差矩阵，sample covariance matrix）** 设 $X\in\mathbb{R}^{m\times n}$ 已中心化，定义

$$S = \frac{1}{m-1}X^{\mathrm{T}}X \in \mathbb{R}^{n\times n}.$$

按元素写出来：

$$S_{jk} = \frac{1}{m-1}\sum_{i=1}^{m}x_{ij}x_{ik} = \frac{1}{m-1}\sum_{i=1}^{m}(x_{ij}-\bar x_j)(x_{ik}-\bar x_k).$$

（第二个等号用了中心化，$\bar x_j=\bar x_k=0$。）

**对角线元** $S_{jj}=\dfrac{1}{m-1}\sum_i x_{ij}^2$ 是第 $j$ 个特征的**样本方差**；**非对角元** $S_{jk}$（$j\ne k$）是第 $j$ 与第 $k$ 个特征的**样本协方差**。协方差矩阵的完整讨论见 [[12-2-协方差矩阵]]。

**基本性质（来自 [[12-2-协方差矩阵]] 与 [[6-4-对称矩阵与正定矩阵]]）：**

1. **对称**：$S^{\mathrm{T}}=\frac{1}{m-1}(X^{\mathrm{T}}X)^{\mathrm{T}}=\frac{1}{m-1}X^{\mathrm{T}}X=S$；
2. **半正定**：对任意 $\mathbf{a}\in\mathbb{R}^n$，
   $$\mathbf{a}^{\mathrm{T}}S\mathbf{a} = \frac{1}{m-1}\mathbf{a}^{\mathrm{T}}X^{\mathrm{T}}X\mathbf{a} = \frac{\|X\mathbf{a}\|^2}{m-1}\ge 0;$$
3. **特征值非负**：$\lambda_1\ge\lambda_2\ge\cdots\ge\lambda_n\ge 0$，且 $\operatorname{tr}(S)=\sum_j S_{jj}=$ 全部特征方差之和（**总方差**）；
4. **秩**：$\operatorname{rank}(S)=\operatorname{rank}(X)\le\min(m-1,n)$（中心化使每列之和为 $0$，故 $\mathbf{1}_m\in\mathbf{N}(X^{\mathrm{T}})$，秩最多 $m-1$）。

### 1.5 主成分的定义

**定义 7.3.4（主成分，principal component）** 设 $S$ 是中心化数据矩阵 $X$ 的样本协方差矩阵，$S$ 的单位特征向量为 $\mathbf{v}_1,\dots,\mathbf{v}_n$（标准正交），对应特征值 $\lambda_1\ge\lambda_2\ge\cdots\ge\lambda_n\ge 0$。定义

- **第 $i$ 个主方向**（principal direction / loading）：$\mathbf{v}_i$；
- **第 $i$ 个主成分得分**（principal component score）：把每个样本投影到 $\mathbf{v}_i$ 上得到的向量
  $$\mathbf{z}_i = X\mathbf{v}_i\in\mathbb{R}^m;$$
- **第 $i$ 个主成分的方差**：$\lambda_i$；
- **累计方差贡献率**（cumulative variance explained）：$\dfrac{\lambda_1+\cdots+\lambda_k}{\lambda_1+\cdots+\lambda_n}$。

> [!important] 主成分是"线性组合"
> $\mathbf{z}_i=X\mathbf{v}_i$ 的第 $r$ 个分量是 $\mathbf{z}_i[r]=\mathbf{x}_r^{\mathrm{T}}\mathbf{v}_i=\sum_{j=1}^{n}v_{ij}x_{rj}$。
> 也就是说，**第 $i$ 个主成分是原始 $n$ 个特征的线性组合**，组合系数就是 $\mathbf{v}_i$ 的分量。
> 这一点有两个直接推论：**(1)** 主成分一般没有直接物理含义（是"混合"出来的指标）；**(2)** PCA 只能捕捉**线性**结构，无法处理非线性流形（见第十节的注意事项）。

---

## 二、几何直观

### 2.1 数据是 $n$ 维空间里的一团点云

把每个样本 $\mathbf{x}_r\in\mathbb{R}^n$ 看作 $n$ 维空间中的一个点。$m$ 个样本就是**一团点云**。中心化相当于把整团点云的**重心平移到了原点**——这是让"方向"这个概念有意义的前提（否则"哪个方向散布最大"这件事会被原点位置干扰）。

PCA 的几何问题可以这样问：

> **在这团点云中，哪一个方向的"伸展"最长？**

"伸展最长"用数学语言说就是：在所有单位向量 $\mathbf{v}$（$\|\mathbf{v}\|=1$）中，找使**投影的方差最大**的那一个，即

$$\max_{\|\mathbf{v}\|=1}\ \frac{1}{m-1}\sum_{r=1}^{m}\bigl(\mathbf{x}_r^{\mathrm{T}}\mathbf{v}\bigr)^2 = \max_{\|\mathbf{v}\|=1}\ \frac{\|X\mathbf{v}\|^2}{m-1} = \max_{\|\mathbf{v}\|=1}\ \mathbf{v}^{\mathrm{T}}S\mathbf{v}.$$

### 2.2 二次型在单位球上的最大值

$$\max_{\|\mathbf{v}\|=1}\mathbf{v}^{\mathrm{T}}S\mathbf{v}$$

这是一个纯粹的线性代数问题（**Rayleigh 商**的最大值，见 [[6-5-二次型与标准形]]）：由于 $S$ 对称半正定，设 $S=Q\Lambda Q^{\mathrm{T}}$，令 $\mathbf{y}=Q^{\mathrm{T}}\mathbf{v}$（正交变换保持 $\|\mathbf{v}\|$），则

$$\mathbf{v}^{\mathrm{T}}S\mathbf{v} = \mathbf{y}^{\mathrm{T}}\Lambda\mathbf{y} = \sum_{i=1}^{n}\lambda_i y_i^2 \le \lambda_1\sum_{i=1}^{n}y_i^2 = \lambda_1\|\mathbf{y}\|^2 = \lambda_1,$$

等号在 $\mathbf{y}=(1,0,\dots,0)^{\mathrm{T}}$、即 $\mathbf{v}=\mathbf{q}_1$（最大特征值的特征向量）时成立。

**几何结论：**

> [!important] 请记住这幅图像
> 1. **第一主方向 $\mathbf{v}_1$ = 点云伸展最长的方向**，对应的方差恰好是 $S$ 的最大特征值 $\lambda_1$。
> 2. **第二主方向 $\mathbf{v}_2$ = 在与 $\mathbf{v}_1$ 垂直的所有方向中伸展最长的**，方差 $\lambda_2$。依此类推。
> 3. 因为 $S$ 对称，**全部主方向两两正交**——新坐标轴是一组**标准正交基**。
> 4. 于是 PCA 的几何动作是：**把原来的坐标轴整体旋转一下**，让新坐标轴依次对准点云的主轴方向。旋转不改变任何一个点到原点的距离，也不改变任何两点之间的距离——**它只是换了个"看"数据的方向。**

这样一来，"去相关"就有了几何解释：在原始坐标系下，点云是**斜的**（特征相关）；旋转到主轴方向后，点云沿着新坐标轴方向"对齐"了——**在新坐标系下样本协方差矩阵是对角的**，即新特征之间协方差为 $0$。

### 2.3 降维 = 把不够重要的方向压扁

旋转之后，点云在各新坐标轴上的伸展长度是 $\sqrt{\lambda_1}\ge\sqrt{\lambda_2}\ge\cdots$。若某几个方向的伸展极小，说明**数据在这几个方向上几乎没有变化**——把这些方向压成 $0$ 损失很小。

"降到 $k$ 维"的几何动作就是：

1. 把点云旋转到主轴方向；
2. **把第 $k+1,\dots,n$ 个坐标一律置为 $0$**（即把点云投影到前 $k$ 个主轴张成的 $k$ 维子空间上）；
3. 投影后每个点只剩 $k$ 个坐标——这就是"降维后的数据"。

> [!tip] 投影误差的几何意义
> 第 2 步把点"拍"到 $k$ 维子空间上，每个点移动的距离就是它到该子空间的**垂直距离**。"压掉的方向伸展越小" ⟺ "点离 $k$ 维子空间越近" ⟺ "投影误差越小"。这就把"保留方差最大"与"重构误差最小"两件事在几何上统一起来了——第四节会给出代数证明。

---

## 三、PCA 就是数据矩阵的 SVD

### 3.1 从 $X$ 的 SVD 直接读出 PCA

设中心化数据矩阵 $X\in\mathbb{R}^{m\times n}$ 的（缩减）SVD 为

$$X = U\Sigma V^{\mathrm{T}} = \sum_{i=1}^{r}\sigma_i\mathbf{u}_i\mathbf{v}_i^{\mathrm{T}}, \qquad r=\operatorname{rank}(X)\le\min(m,n).$$

**第一步：协方差矩阵的谱分解。** 由 [[7-1-SVD的构造与几何意义]] 第四节的恒等式，

$$S = \frac{1}{m-1}X^{\mathrm{T}}X = \frac{1}{m-1}V\Sigma^{\mathrm{T}}\Sigma V^{\mathrm{T}} = V\left(\frac{\Sigma^{\mathrm{T}}\Sigma}{m-1}\right)V^{\mathrm{T}}.$$

这正是 $S$ 的**谱分解**（[[6-4-对称矩阵与正定矩阵]]）：$S$ 的标准正交特征向量就是 $V$ 的列，特征值是

$$\lambda_i = \frac{\sigma_i^2}{m-1}.$$

**第二步：读出主方向。** 由定义 7.3.4，**主方向就是 $V$ 的列**：$\mathbf{v}_i$ 对应方差 $\lambda_i=\sigma_i^2/(m-1)$。由于 numpy 的 `np.linalg.svd` 已把奇异值**降序**排列，$V$ 的列也自动按方差降序排列——**不需要再排序**。

**第三步：读出主成分得分。** 由定义 $\mathbf{z}_i=X\mathbf{v}_i$，而 $X\mathbf{v}_i=\sigma_i\mathbf{u}_i$（这是 SVD 的基本关系），所以

$$XV = U\Sigma \qquad\Longleftrightarrow\qquad \mathbf{z}_i = \sigma_i\mathbf{u}_i.$$

也就是说：**主成分得分矩阵 $XV$ 恰好等于 $U\Sigma$**——这正是第 7-2 篇代码里 `(U[:, :k] * s[:k])` 那个广播写法的由来。

**第四步：验证得分的方差。** 得分的样本协方差矩阵是

$$\frac{1}{m-1}(XV)^{\mathrm{T}}(XV) = \frac{1}{m-1}V^{\mathrm{T}}X^{\mathrm{T}}XV = V^{\mathrm{T}}SV = \frac{\Sigma^{\mathrm{T}}\Sigma}{m-1} = \operatorname{diag}(\lambda_1,\dots,\lambda_n).$$

**结果是对角矩阵**——这就在代数上证明了"**主成分之间互不相关**"（协方差为 $0$），而且第 $i$ 个主成分的方差是 $\lambda_i=\sigma_i^2/(m-1)$。

### 3.2 对应关系总结表

| PCA 概念 | SVD 中的对象 | 数学表达式 | 维数 |
|---|---|---|---|
| 数据矩阵（已中心化） | $X$ | $X=U\Sigma V^{\mathrm{T}}$ | $m\times n$ |
| 样本数 | $U$ 的行数 | $m$ | — |
| 特征数 | $V$ 的行数 | $n$ | — |
| **主方向**（载荷 loading） | $V$ 的**列** $\mathbf{v}_i$ | $S\mathbf{v}_i=\lambda_i\mathbf{v}_i$ | $n$ |
| **主成分得分**（score） | $U\Sigma$ 的**列** | $\mathbf{z}_i=X\mathbf{v}_i=\sigma_i\mathbf{u}_i$ | $m$ |
| 第 $i$ 主成分的**方差** | $\sigma_i^2/(m-1)$ | $\lambda_i$ | 标量 |
| **总方差** | $\operatorname{tr}(S)$ | $\sum_j S_{jj}=\sum_i\sigma_i^2/(m-1)$ | 标量 |
| **累计方差贡献率**（前 $k$） | 能量占比 | $\sum_{i\le k}\sigma_i^2\big/\sum_i\sigma_i^2$ | 标量 |
| **$k$ 维得分矩阵** | $U_k\Sigma_k$ | $XV_k$ | $m\times k$ |
| **$k$ 维最佳重构** | 截断 SVD | $X_k=U_k\Sigma_kV_k^{\mathrm{T}}$ | $m\times n$ |
| **重构误差（F）** | 尾部奇异值 | $\lVert X-X_k\rVert_F=\sqrt{\sum_{i>k}\sigma_i^2}$ | 标量 |
| **重构误差（2）** | 下一个奇异值 | $\lVert X-X_k\rVert_2=\sigma_{k+1}$ | 标量 |
| 有效维数（秩） | 非零奇异值个数 | $r=\operatorname{rank}(X)$ | 标量 |

> [!important] 一张表记住 PCA
> **主方向看 $V$，得分看 $U\Sigma$，方差看 $\sigma^2/(m-1)$，降维就是截断 SVD。**
> 只要理解了 [[7-1-SVD的构造与几何意义]] 与 [[7-2-图像压缩与低秩逼近]]，PCA 就只剩下"统计解释"这一层新东西了。

### 3.3 为什么中心化会让秩少一个

中心化后每一列的和都是 $0$，即

$$X^{\mathrm{T}}\mathbf{1}_m = \mathbf{0} \quad\Longrightarrow\quad \mathbf{1}_m\in\mathbf{N}(X^{\mathrm{T}}).$$

$\mathbf{1}_m\ne\mathbf{0}$，故 $\dim\mathbf{N}(X^{\mathrm{T}})\ge 1$，由秩—零化度定理（[[3-5-四大子空间的维数]]）

$$\operatorname{rank}(X) = m-\dim\mathbf{N}(X^{\mathrm{T}})\le m-1.$$

**推论：中心化数据矩阵的秩最多是 $\min(m-1,n)$。** 这有两个实践含义：

1. **样本数少于特征数时（$m<n$，即"高维小样本"），有效维数最多 $m-1$。** 例如 $m=100$ 个样本、$n=10000$ 个基因特征，最多只能有 $99$ 个非零奇异值。经典做法是在 $n\times n$ 的 $S$ 上做特征分解（$10^8$ 个元素）还是转为在 $m\times m$ 的 $XX^{\mathrm{T}}$ 上做（$10^4$ 个元素）——后者快得多，且由 [[7-1-SVD的构造与几何意义]] 定理 7.1.14，两者非零特征值相同。
2. **$\lambda_n=0$ 是正常的**（当 $n>m-1$ 时必然出现），不是数值错误。

---

## 四、两种等价视角

PCA 有两种看起来完全不同的表述，而它们给出**完全相同**的结果。理解这种等价性是真正掌握 PCA 的关键。

### 4.1 视角一：方差最大化

**表述。** 依次求

$$\mathbf{v}_1 = \arg\max_{\|\mathbf{v}\|=1}\ \operatorname{Var}(X\mathbf{v}), \qquad \mathbf{v}_k = \arg\max_{\substack{\|\mathbf{v}\|=1\\ \mathbf{v}\perp\mathbf{v}_1,\dots,\mathbf{v}_{k-1}}}\ \operatorname{Var}(X\mathbf{v}),$$

其中 $\operatorname{Var}(\mathbf{z})=\dfrac{1}{m-1}\sum_{r=1}^{m}(z_r-\bar z)^2=\dfrac{\|\mathbf{z}\|^2}{m-1}$（因为 $X$ 已中心化，得分的均值也是 $0$）。

**直觉。** "保留信息"就是"保留变化"。**变化最大的方向就是信息最多的方向**，所以第一个主方向应该对准点云伸展最长的方向；第二个主方向在剩余的正交方向中再找伸展最长的，如此类推。

### 4.2 视角二：重构误差最小化

**表述。** 找一组 $k$ 维标准正交基 $W_k=\begin{bmatrix}\mathbf{w}_1&\cdots&\mathbf{w}_k\end{bmatrix}\in\mathbb{R}^{n\times k}$，使得数据被投影到 $\operatorname{span}(W_k)$ 后再"升回" $n$ 维的误差最小：

$$\min_{W_k^{\mathrm{T}}W_k=I_k}\ \bigl\|X-XW_kW_k^{\mathrm{T}}\bigr\|_F^2.$$

这里 $XW_k$ 是得分（$m\times k$），$XW_kW_k^{\mathrm{T}}$ 是重构（$m\times n$）——**先降维再升维**。

**直觉。** "降维损失最小"就是"投影后每个点到子空间的距离平方和最小"。**把点云压到某个 $k$ 维平面上，希望压得最轻。**

### 4.3 为什么两者等价

**定理 7.3.5（PCA 的两种视角等价）** 记 $W_k=\begin{bmatrix}\mathbf{w}_1&\cdots&\mathbf{w}_k\end{bmatrix}$，$W_k^{\mathrm{T}}W_k=I_k$。则

$$\bigl\|X-XW_kW_k^{\mathrm{T}}\bigr\|_F^2 = \|X\|_F^2 - \bigl\|XW_k\bigr\|_F^2.$$

因此"最小化重构误差"与"最大化保留的方差 $\|XW_k\|_F^2$"**是同一个优化问题**。

**证明。** 记 $P=W_kW_k^{\mathrm{T}}$。由 $W_k^{\mathrm{T}}W_k=I_k$ 得

$$P^2 = W_kW_k^{\mathrm{T}}W_kW_k^{\mathrm{T}} = W_k(W_k^{\mathrm{T}}W_k)W_k^{\mathrm{T}} = W_kW_k^{\mathrm{T}} = P, \qquad P^{\mathrm{T}}=P,$$

即 $P$ 是一个**正交投影矩阵**（见 [[4-2-投影与投影矩阵]]）。于是

$$\|X-XP\|_F^2 + \|XP\|_F^2 = \operatorname{tr}\bigl((X-XP)^{\mathrm{T}}(X-XP)\bigr)+\operatorname{tr}\bigl((XP)^{\mathrm{T}}(XP)\bigr).$$

把两项展开：

$$\operatorname{tr}\bigl(X^{\mathrm{T}}X - X^{\mathrm{T}}XP - P^{\mathrm{T}}X^{\mathrm{T}}X + P^{\mathrm{T}}X^{\mathrm{T}}XP\bigr)+\operatorname{tr}\bigl(P^{\mathrm{T}}X^{\mathrm{T}}XP\bigr).$$

用 $P^{\mathrm{T}}=P$、$P^2=P$，并注意交叉项 $X^{\mathrm{T}}XP$ 与 $P^{\mathrm{T}}X^{\mathrm{T}}X$ 的迹相等（迹的轮换性），两者与 $2\operatorname{tr}(P^{\mathrm{T}}X^{\mathrm{T}}XP)=2\operatorname{tr}(X^{\mathrm{T}}XP)$ 相消：

$$= \operatorname{tr}(X^{\mathrm{T}}X) - 2\operatorname{tr}(X^{\mathrm{T}}XP) + \operatorname{tr}(X^{\mathrm{T}}XP) + \operatorname{tr}(X^{\mathrm{T}}XP) = \operatorname{tr}(X^{\mathrm{T}}X) = \|X\|_F^2. \qquad \blacksquare$$

（这个恒等式其实是**勾股定理在矩阵上的版本**：投影残差与投影结果正交，所以平方和相加。）

**结论。** 因为 $\|X\|_F^2$ 是常数，

$$\min_{W_k}\bigl\|X-XW_kW_k^{\mathrm{T}}\bigr\|_F^2 \iff \max_{W_k}\bigl\|XW_k\bigr\|_F^2.$$

而 $\|XW_k\|_F^2=\sum_{i=1}^{k}\|X\mathbf{w}_i\|^2=(m-1)\sum_{i=1}^k\operatorname{Var}(X\mathbf{w}_i)$，所以**最大化保留方差 = 最小化重构误差**。$\blacksquare$

> [!important] 两种视角的取舍
> - **数学上完全等价**，选哪个纯看讲哪个方便。方差最大化的解释更直观（"保留信息"），重构误差最小化的形式更容易与 [[7-2-图像压缩与低秩逼近]] 的 Eckart–Young 定理衔接。
> - **由 Eckart–Young 定理**（[[7-2-图像压缩与低秩逼近]] 定理 7.2.4），最优的 $W_k$ **就是** $V_k=\begin{bmatrix}\mathbf{v}_1&\cdots&\mathbf{v}_k\end{bmatrix}$，且最小误差是 $\sqrt{\sum_{i>k}\sigma_i^2}$。所以 **PCA 的最优性不需要另证——它就是 Eckart–Young 定理的统计版本**。
> - 这两种视角的等价性也解释了 PCA 的一个常见混淆点：**"保留最多方差"和"损失最少信息"是同一句话**，不是两种不同的方法。

---

## 五、主成分个数的选择

### 5.1 累计方差贡献率

**定义 7.3.6（方差贡献率）** 第 $i$ 个主成分的**方差贡献率**（proportion of variance explained）为

$$\text{PVE}_i = \frac{\lambda_i}{\lambda_1+\cdots+\lambda_n} = \frac{\sigma_i^2}{\sigma_1^2+\cdots+\sigma_r^2},$$

前 $k$ 个主成分的**累计方差贡献率**为

$$\text{CVE}(k) = \sum_{i=1}^{k}\text{PVE}_i.$$

> [!note] 分母为什么可以换
> $\sum_{i=1}^{n}\lambda_i=\operatorname{tr}(S)=\sum_j S_{jj}=$ 全部特征方差之和；而 $\lambda_i=\sigma_i^2/(m-1)$，所以分子分母中的 $m-1$ 相消。**用奇异值平方的占比计算，与用特征值的占比计算，结果完全相同。** 这带来一个方便的结论：**累计方差贡献率恰好等于第 7-2 篇的"能量占比"**（见 [[7-2-图像压缩与低秩逼近]] 5.5 节）。

**常用阈值：**

| 阈值 $\text{CVE}(k)\ge$ | 适用场景 |
|---|---|
| $0.80$ | 探索性分析、快速可视化 |
| $0.90$ | 一般工程应用 |
| $0.95$ | 需要较完整信息的建模 |
| $0.99$ | 近似无损的降维、数值预处理 |

**注意：** 阈值没有普适标准。**$95\%$ 是习惯，不是定理。** 选 $k$ 必须结合后续任务（模型的精度、可解释性要求、计算预算）来决定。

### 5.2 碎石图

**碎石图**（scree plot）是把 $\lambda_i$（或 $\sigma_i$）对序号 $i$ 作图。"scree"是地质学里"山坡下的碎石堆"的意思，指曲线陡降之后那段平缓的"碎石坡"。

**读法：**

- **陡降段**：这些主成分承载了主要结构，应当保留；
- **拐点（elbow）**：曲线由陡变缓的位置，取 $k$ 为拐点的横坐标；
- **平缓段**：这些方向上的方差接近"噪声水平"，应丢弃。

若纵轴取对数 $\log\lambda_i$，平缓段若近似为一条直线，说明方差按指数衰减。

**辅助判据（Kaiser 准则）。** 若数据已经**标准化**（每个特征的方差都为 $1$），则总方差 $=n$，平均每个主成分的方差是 $1$。此时保留 $\lambda_i>1$ 的主成分——即"比一个原始特征平均贡献还大"的成分。注意：**这个准则只在标准化之后才有意义**，未标准化时 $\lambda_i$ 的量纲取决于原始单位，比较毫无意义。

### 5.3 按目标误差反解 $k$

若已知允许的重构误差上限，可用 [[7-2-图像压缩与低秩逼近]] 的误差公式反解：

$$\|X-X_k\|_F = \sqrt{\sum_{i>k}\sigma_i^2}\le\varepsilon\|X\|_F \quad\Longleftrightarrow\quad \text{CVE}(k)\ge 1-\varepsilon^2.$$

**注意平方关系！** 要求"相对重构误差不超过 $10\%$"，等价于"累计方差贡献率不低于 $1-0.1^2=99\%$"。这一步经常被搞错（把 $\varepsilon$ 直接当成 $1-\text{CVE}$）。

### 5.4 选择 $k$ 的完整建议

> [!tip] 实践中的四条建议
> 1. **同时画三条曲线**：碎石图、累计方差贡献率、重构误差——只看一个指标容易误判。
> 2. **先看拐点，再用阈值微调**。拐点给出"有结构性"的 $k$ 的上界；阈值给出"任务需要"的 $k$。取两者中较小的那个通常比较稳妥。
> 3. **把 $k$ 当作超参数，用下游任务的验证集来定。** 这是最可靠的做法：降维只是中间步骤，最终指标（分类准确率、重构误差、聚类质量）才是判据。
> 4. **警惕"方差大"与"有用"不是一回事。** PCA 是无监督的，它只看 $X$ 内部的方差，**完全不知道标签 $y$**。若某个方差很小的方向恰恰是区分两类样本的关键，PCA 会把它丢掉。这就是"PCA 不能当特征选择用"的根本原因（详见第九节）。

---

## 六、计算方法与步骤

### 6.1 手算流程

> [!important] 手算七步
> 1. **算每列均值** $\bar x_1,\dots,\bar x_n$。
> 2. **中心化**：$X = X_{\text{raw}} - \mathbf{1}_m\bar{\mathbf{x}}^{\mathrm{T}}$，验证每列和为 $0$。
> 3. **算协方差矩阵** $S=\dfrac{1}{m-1}X^{\mathrm{T}}X$，验证 $S$ 对称。
> 4. **求 $S$ 的特征值**：解 $\det(S-\lambda I)=0$，排序 $\lambda_1\ge\cdots\ge\lambda_n\ge 0$。**校验：$\sum\lambda_i=\operatorname{tr}(S)$、$\prod\lambda_i=\det S\ge 0$。**
> 5. **求单位特征向量**：对每个 $\lambda_i$ 解 $(S-\lambda_i I)\mathbf{v}=\mathbf{0}$ 并单位化；遇到重根要在该特征空间内做 Gram–Schmidt 正交化。得到主方向 $\mathbf{v}_1,\dots,\mathbf{v}_n$。
> 6. **算得分**：$\mathbf{z}_i=X\mathbf{v}_i$；**校验** $\sum_{r}z_{ir}=0$ 且 $\dfrac{1}{m-1}\|\mathbf{z}_i\|^2=\lambda_i$。
> 7. **算贡献率与降维结果**：$\text{PVE}_i=\lambda_i/\sum_j\lambda_j$；取前 $k$ 个得分为降维后的数据，取前 $k$ 个主方向做重构 $\hat X=X_k=X V_kV_k^{\mathrm{T}}$。

**快捷校验技巧（强烈推荐）：** 由第三节，$S$ 的特征值就是 $\sigma_i^2/(m-1)$，其中 $\sigma_i$ 是 $X$ 的奇异值，而

$$\sum_i\sigma_i^2 = \|X\|_F^2 = \sum_{i,j}x_{ij}^2.$$

所以 **$\sum_i\lambda_i=\dfrac{1}{m-1}\sum_{i,j}x_{ij}^2$**——把中心化后所有元素平方求和再除以 $m-1$，就得到总方差。这是一个**独立于特征值计算**的校验，能立刻发现算术错误。

### 6.2 数值实践：优先用 SVD，不要用 $S$ 的特征分解

**两种做法在数学上等价：**

| 做法 | 步骤 | 结果 |
|---|---|---|
| **A：对 $S$ 特征分解** | 算 $S$（$n\times n$）→ `np.linalg.eigh(S)` | 特征向量 $=V$，特征值 $=\sigma_i^2/(m-1)$ |
| **B：对 $X$ 做 SVD** | 直接用 `np.linalg.svd(X, full_matrices=False)` | 右奇异向量 $=V$，$\sigma_i^2/(m-1)$ 即方差 |

**但数值上强烈推荐 B。** 原因：

1. **条件数平方问题。** $S=X^{\mathrm{T}}X/(m-1)$ 的条件数是 $X$ 的条件数的**平方**：$\kappa(S)=\kappa(X)^2$。若数据的特征尺度差异大（$\kappa(X)=10^4$ 很常见），$\kappa(S)=10^8$，双精度下小特征值会损失约 8 位有效数字，甚至算成 $0$ 或**小的负数**。
2. **负特征值的尴尬。** 理论上 $S$ 半正定，特征值 $\ge 0$；但由于舍入误差，`np.linalg.eigh(S)` 可能返回 $-10^{-16}$ 这样的小负数，导致 $\sqrt{\lambda_i}$ 变成 `nan`（如果错误地拿去开平方）。**用 SVD 则永远得到非负的 $\sigma_i$**。
3. **$m<n$ 时的效率。** 高维小样本（$m\ll n$）时 $S$ 是巨大的 $n\times n$ 矩阵，而对 $X$（$m\times n$）做 SVD 便宜得多。
4. **$S$ 的显式计算本身有开销。** 算一次 $X^{\mathrm{T}}X$ 需要 $O(mn^2)$ 次乘法；SVD 的双对角化过程是 $O(mn\min(m,n))$，并不更贵。

**结论：数学上可以走 A 路线（手算时更方便），工程上永远走 B 路线。**

---

## 七、例题（完整手算）

### 7.1 题目

某数据集有 $4$ 个样本、$2$ 个特征，原始数据为

$$X_{\text{raw}} = \begin{bmatrix} 1 & 2 \\ 2 & 1 \\ -1 & -2 \\ -2 & -1 \end{bmatrix}.$$

（这组数据恰好已经中心化，但第 1 步仍然完整做一遍以示范流程。）求：中心化数据、样本协方差矩阵、特征值与主方向、主成分得分、方差贡献率，以及降到 $1$ 维的结果与重构误差。

### 7.2 第 1 步：算列均值并中心化

$$\bar x_1 = \frac{1+2+(-1)+(-2)}{4} = \frac{0}{4} = 0, \qquad \bar x_2 = \frac{2+1+(-2)+(-1)}{4} = \frac{0}{4} = 0.$$

所以 $\bar{\mathbf{x}}=\mathbf{0}$，$X=X_{\text{raw}}$（**但实际数据一般不会这么巧，这一步不能省**）。校验每列和为 $0$ ✓。

### 7.3 第 2 步：算协方差矩阵

先算 $X^{\mathrm{T}}X$。$X^{\mathrm{T}}=\begin{bmatrix} 1 & 2 & -1 & -2 \\ 2 & 1 & -2 & -1 \end{bmatrix}$，于是

$$X^{\mathrm{T}}X = \begin{bmatrix} 1 & 2 & -1 & -2 \\ 2 & 1 & -2 & -1 \end{bmatrix}\begin{bmatrix} 1 & 2 \\ 2 & 1 \\ -1 & -2 \\ -2 & -1 \end{bmatrix}.$$

逐个元素（用"行乘列"）：

$$(X^{\mathrm{T}}X)_{11} = 1^2+2^2+(-1)^2+(-2)^2 = 1+4+1+4 = 10,$$

$$(X^{\mathrm{T}}X)_{12} = 1\cdot 2+2\cdot 1+(-1)(-2)+(-2)(-1) = 2+2+2+2 = 8,$$

$$(X^{\mathrm{T}}X)_{21} = 8 \quad(\text{对称}),$$

$$(X^{\mathrm{T}}X)_{22} = 2^2+1^2+(-2)^2+(-1)^2 = 4+1+4+1 = 10.$$

$$X^{\mathrm{T}}X = \begin{bmatrix} 10 & 8 \\ 8 & 10 \end{bmatrix}, \qquad S = \frac{1}{m-1}X^{\mathrm{T}}X = \frac{1}{3}\begin{bmatrix} 10 & 8 \\ 8 & 10 \end{bmatrix} = \begin{bmatrix} \dfrac{10}{3} & \dfrac{8}{3} \\[6pt] \dfrac{8}{3} & \dfrac{10}{3} \end{bmatrix}.$$

**校验总方差：** $\operatorname{tr}(S)=\dfrac{10}{3}+\dfrac{10}{3}=\dfrac{20}{3}$；而中心化后所有元素平方和 $=1+4+4+1+1+4+4+1=20$，除以 $m-1=3$ 得 $\dfrac{20}{3}$ ✓。

**含义：** $S_{11}=10/3$ 是特征 1 的方差，$S_{22}=10/3$ 是特征 2 的方差，$S_{12}=8/3$ 是两者的协方差。$S_{12}>0$ 说明两个特征**正相关**——特征 1 大的样本，特征 2 也倾向于大。这个相关性正是 PCA 要消除的东西。

### 7.4 第 3 步：求特征值

$$\det(S-\lambda I) = \begin{vmatrix} \dfrac{10}{3}-\lambda & \dfrac{8}{3} \\[6pt] \dfrac{8}{3} & \dfrac{10}{3}-\lambda \end{vmatrix} = \left(\frac{10}{3}-\lambda\right)^2-\left(\frac{8}{3}\right)^2 = 0.$$

（用了 $2\times2$ 行列式公式 $\begin{vmatrix} a & b \\ b & a \end{vmatrix}=a^2-b^2$。）于是

$$\frac{10}{3}-\lambda = \pm\frac{8}{3} \quad\Longrightarrow\quad \lambda_1 = \frac{10}{3}+\frac{8}{3} = 6, \qquad \lambda_2 = \frac{10}{3}-\frac{8}{3} = \frac{2}{3}.$$

**校验：**

- $\lambda_1+\lambda_2 = 6+\dfrac{2}{3} = \dfrac{20}{3} = \operatorname{tr}(S)$ ✓
- $\lambda_1\lambda_2 = 6\times\dfrac{2}{3} = 4 = \det S = \dfrac{100}{9}-\dfrac{64}{9} = \dfrac{36}{9} = 4$ ✓

**两个特征值都 $>0$，$S$ 正定**（[[6-4-对称矩阵与正定矩阵]]）。

### 7.5 第 4 步：求主方向（单位特征向量）

**对 $\lambda_1=6$：**

$$(S-6I)\mathbf{v} = \begin{bmatrix} \dfrac{10}{3}-6 & \dfrac{8}{3} \\[6pt] \dfrac{8}{3} & \dfrac{10}{3}-6 \end{bmatrix}\mathbf{v} = \begin{bmatrix} -\dfrac{8}{3} & \dfrac{8}{3} \\[6pt] \dfrac{8}{3} & -\dfrac{8}{3} \end{bmatrix}\mathbf{v} = \mathbf{0}.$$

第一行给出 $-v_1+v_2=0$，即 $v_1=v_2$。取 $(1,1)^{\mathrm{T}}$，单位化：

$$\mathbf{v}_1 = \frac{1}{\sqrt{2}}\begin{bmatrix} 1 \\ 1 \end{bmatrix} = \begin{bmatrix} \dfrac{\sqrt{2}}{2} \\[6pt] \dfrac{\sqrt{2}}{2} \end{bmatrix} \approx \begin{bmatrix} 0.7071 \\ 0.7071 \end{bmatrix}.$$

**对 $\lambda_2=\dfrac{2}{3}$：**

$$(S-\tfrac{2}{3}I)\mathbf{v} = \begin{bmatrix} \dfrac{8}{3} & \dfrac{8}{3} \\[6pt] \dfrac{8}{3} & \dfrac{8}{3} \end{bmatrix}\mathbf{v} = \mathbf{0} \quad\Longrightarrow\quad v_1+v_2=0 \quad\Longrightarrow\quad \mathbf{v}_2 = \frac{1}{\sqrt{2}}\begin{bmatrix} 1 \\ -1 \end{bmatrix} \approx \begin{bmatrix} 0.7071 \\ -0.7071 \end{bmatrix}.$$

**校验正交性：** $\mathbf{v}_1^{\mathrm{T}}\mathbf{v}_2 = \dfrac{1}{2}(1\cdot 1 + 1\cdot(-1)) = 0$ ✓

**主方向的几何含义：**

- $\mathbf{v}_1=\frac{1}{\sqrt{2}}(1,1)^{\mathrm{T}}$ 是 $45°$ 方向。点 $(1,2)$ 与 $(2,1)$ 都在这个方向附近，$(-1,-2)$ 与 $(-2,-1)$ 在相反方向——**点云主要沿这条对角线伸展**。
- $\mathbf{v}_2=\frac{1}{\sqrt{2}}(1,-1)^{\mathrm{T}}$ 是 $-45°$ 方向，垂直于 $\mathbf{v}_1$。

### 7.6 第 5 步：算主成分得分

$$\mathbf{z}_1 = X\mathbf{v}_1 = \frac{1}{\sqrt{2}}\begin{bmatrix} 1 & 2 \\ 2 & 1 \\ -1 & -2 \\ -2 & -1 \end{bmatrix}\begin{bmatrix} 1 \\ 1 \end{bmatrix} = \frac{1}{\sqrt{2}}\begin{bmatrix} 1+2 \\ 2+1 \\ -1-2 \\ -2-1 \end{bmatrix} = \frac{1}{\sqrt{2}}\begin{bmatrix} 3 \\ 3 \\ -3 \\ -3 \end{bmatrix} = \begin{bmatrix} 2.1213 \\ 2.1213 \\ -2.1213 \\ -2.1213 \end{bmatrix}.$$

$$\mathbf{z}_2 = X\mathbf{v}_2 = \frac{1}{\sqrt{2}}\begin{bmatrix} 1 & 2 \\ 2 & 1 \\ -1 & -2 \\ -2 & -1 \end{bmatrix}\begin{bmatrix} 1 \\ -1 \end{bmatrix} = \frac{1}{\sqrt{2}}\begin{bmatrix} 1-2 \\ 2-1 \\ -1+2 \\ -2+1 \end{bmatrix} = \frac{1}{\sqrt{2}}\begin{bmatrix} -1 \\ 1 \\ 1 \\ -1 \end{bmatrix} = \begin{bmatrix} -0.7071 \\ 0.7071 \\ 0.7071 \\ -0.7071 \end{bmatrix}.$$

**校验得分方差：**

$$\frac{\|\mathbf{z}_1\|^2}{m-1} = \frac{(2.1213^2)\times 4}{3} = \frac{9/2\times 4}{3} = \frac{18}{3} = 6 = \lambda_1 \ \checkmark$$

（精确计算：$\|\mathbf{z}_1\|^2 = 4\times\frac{9}{2} = 18$。）同理 $\|\mathbf{z}_2\|^2 = 4\times\frac{1}{2}=2$，$\dfrac{2}{3}=\lambda_2$ ✓

**校验去相关：** $\mathbf{z}_1^{\mathrm{T}}\mathbf{z}_2 = \dfrac{1}{2}\bigl(3(-1)+3(1)+(-3)(1)+(-3)(-1)\bigr) = \dfrac{1}{2}(-3+3-3+3) = 0$ ✓

**这就是"去相关"的具体体现**：原来两个特征高度正相关（协方差 $8/3$），换成主成分坐标后协方差为 $0$。

### 7.7 第 6 步：方差贡献率

$$S \text{ 的总方差} = \lambda_1+\lambda_2 = 6+\frac{2}{3} = \frac{20}{3}.$$

$$\text{PVE}_1 = \frac{6}{20/3} = \frac{18}{20} = 0.90 = 90\%, \qquad \text{PVE}_2 = \frac{2/3}{20/3} = \frac{2}{20} = 0.10 = 10\%.$$

**第一个主成分单独就解释了 90% 的总方差。** 这说明原来的 2 个特征信息高度冗余——**降到 1 维几乎不损失什么**。

### 7.8 第 7 步：降到 1 维、重构与误差

**降到 1 维的数据**就是 $\mathbf{z}_1=\begin{bmatrix} 2.1213 & 2.1213 & -2.1213 & -2.1213 \end{bmatrix}^{\mathrm{T}}$——每个样本从一个二维点变成一个数。

**重构回二维**（$\hat X = XV_1V_1^{\mathrm{T}}=\mathbf{z}_1\mathbf{v}_1^{\mathrm{T}}$）：

$$\hat X = \mathbf{z}_1\mathbf{v}_1^{\mathrm{T}} = \begin{bmatrix} 2.1213 \\ 2.1213 \\ -2.1213 \\ -2.1213 \end{bmatrix}\begin{bmatrix} 0.7071 & 0.7071 \end{bmatrix} = \begin{bmatrix} 1.5 & 1.5 \\ 1.5 & 1.5 \\ -1.5 & -1.5 \\ -1.5 & -1.5 \end{bmatrix}.$$

（精确值：$\mathbf{z}_1\mathbf{v}_1^{\mathrm{T}} = \frac{3}{\sqrt2}\cdot\frac{1}{\sqrt2}\begin{bmatrix}1\\1\\-1\\-1\end{bmatrix}\begin{bmatrix}1&1\end{bmatrix} = \frac{3}{2}\begin{bmatrix}1&1\\1&1\\-1&-1\\-1&-1\end{bmatrix} = \begin{bmatrix}1.5&1.5\\1.5&1.5\\-1.5&-1.5\\-1.5&-1.5\end{bmatrix}$。）

**残差矩阵：**

$$X-\hat X = \begin{bmatrix} 1-1.5 & 2-1.5 \\ 2-1.5 & 1-1.5 \\ -1+1.5 & -2+1.5 \\ -2+1.5 & -1+1.5 \end{bmatrix} = \begin{bmatrix} -0.5 & 0.5 \\ 0.5 & -0.5 \\ 0.5 & -0.5 \\ -0.5 & 0.5 \end{bmatrix}.$$

**重构误差：**

$$\|X-\hat X\|_F^2 = 4\times\bigl(0.25+0.25\bigr) = 2 \quad\Longrightarrow\quad \|X-\hat X\|_F = \sqrt{2}\approx 1.4142.$$

$$\|X-\hat X\|_2 = \sqrt{2}\approx 1.4142.$$

**与奇异值的关系验证。** 由第三节，$\sigma_i^2=(m-1)\lambda_i$，故

$$\sigma_1 = \sqrt{3\times 6} = \sqrt{18} = 3\sqrt{2}\approx 4.2426, \qquad \sigma_2 = \sqrt{3\times\frac{2}{3}} = \sqrt{2}\approx 1.4142.$$

而 $\|X-\hat X\|_F = \sqrt{\sum_{i>1}\sigma_i^2} = \sigma_2 = \sqrt{2}$ ✓，$\|X-\hat X\|_2=\sigma_2=\sqrt{2}$ ✓——与 [[7-2-图像压缩与低秩逼近]] 的 Eckart–Young 定理完全一致。

**相对重构误差：**

$$\frac{\|X-\hat X\|_F}{\|X\|_F} = \frac{\sqrt{2}}{\sqrt{20}} = \frac{1}{\sqrt{10}}\approx 0.3162 = 31.62\%.$$

**校验平方关系：** $1-\text{CVE}(1) = 1-0.90 = 0.10$，而 $0.3162^2 = 0.10$ ✓（这正是 5.3 节强调的"误差与方差贡献率是平方关系"。）

### 7.9 对照实验：不中心化的后果

若**跳过第 1 步**，直接把原始数据（现在给每个特征加上一个偏移）当作已经中心化：

$$X_{\text{bad}} = \begin{bmatrix} 1+5 & 2+3 \\ 2+5 & 1+3 \\ -1+5 & -2+3 \\ -2+5 & -1+3 \end{bmatrix} = \begin{bmatrix} 6 & 5 \\ 7 & 4 \\ 4 & 1 \\ 3 & 2 \end{bmatrix}, \qquad \bar{\mathbf{x}} = \begin{bmatrix} 5 \\ 3 \end{bmatrix}.$$

算 $S_{\text{bad}}=\dfrac{1}{3}X_{\text{bad}}^{\mathrm{T}}X_{\text{bad}}$，得到

$$S_{\text{bad}} = \begin{bmatrix} \dfrac{110}{3} & \dfrac{68}{3} \\[6pt] \dfrac{68}{3} & \dfrac{46}{3} \end{bmatrix}, \qquad \text{特征值} \approx 51.051,\ 0.949.$$

第一主成分的方差贡献率是 $\dfrac{51.051}{51.051+0.949}\approx 98.18\%$——**比中心化后的 90% 还"高"**。但它的主方向约为 $(0.844,\ 0.536)^{\mathrm{T}}$，而均值方向是

$$\frac{\bar{\mathbf{x}}}{\|\bar{\mathbf{x}}\|} = \frac{(5,3)^{\mathrm{T}}}{\sqrt{25+9}} = \frac{(5,3)^{\mathrm{T}}}{\sqrt{34}}\approx (0.857,\ 0.515)^{\mathrm{T}}.$$

**两者几乎相同。** 也就是说：这个"第一主成分"捕捉的几乎完全是**数据的均值**（即"数据整体离原点有多远"），而不是"数据如何散布"。**它看起来方差贡献率高，实际上毫无统计意义。**

> [!warning] 请记住这个对照
> **不中心化的 PCA 会给你一个更"漂亮"的方差贡献率，而那个数字是没有意义的。** 判断是否忘记中心化有一个快速检查：**$X$ 的每一列均值是否为 $0$**。

---

## 八、PCA 的注意事项

### 8.1 量纲不同时必须标准化

**问题。** 若特征量纲不同（例如"身高（厘米）"与"体重（千克）"），方差的大小会被**单位**决定，而不是被"重要性"决定。把身高从"厘米"改成"米"，方差会缩小 $10^4$ 倍，主方向立刻改变——**PCA 的结果依赖于任意的单位选择，这显然不合理。**

**解决方法：标准化**（standardization / z-score）

$$z_{ij} = \frac{x_{ij}-\bar x_j}{s_j}, \qquad s_j = \sqrt{\frac{1}{m-1}\sum_{i=1}^{m}(x_{ij}-\bar x_j)^2},$$

其中 $s_j$ 是第 $j$ 个特征的样本标准差。标准化后每个特征的方差都是 $1$，量纲被消除。

**标准化后的协方差矩阵就是相关系数矩阵。** 因为

$$(S_z)_{jk} = \frac{1}{m-1}\sum_i z_{ij}z_{ik} = \frac{1}{m-1}\sum_i\frac{(x_{ij}-\bar x_j)(x_{ik}-\bar x_k)}{s_js_k} = \frac{S_{jk}}{s_js_k} = r_{jk},$$

即第 $j$ 与第 $k$ 个特征的**样本相关系数**。所以"标准化后做 PCA"= "对相关系数矩阵做 PCA"，对角线全为 $1$，总方差 $=n$。

> [!important] 什么时候标准化，什么时候不标准化
> - **量纲相同或可比**（如同一批传感器测的同一物理量、灰度图像的像素值）→ **只中心化**。此时保留原始方差结构更自然。
> - **量纲不同**（身高/体重/收入）→ **必须标准化**。
> - **单位是"有意义的相对大小"**（如金融中不同股票的收益率，量纲相同）→ 通常只中心化。
> - **拿不准时**：两种都做一遍。若主方向差异很大，说明数据对尺度敏感，必须明确说明选了哪一种——**并在论文/报告中写清楚**，因为读者无法从"PCA 结果"反推出你做了什么预处理。

### 8.2 对异常值敏感

方差是**平方**量：一个偏离均值 $10$ 倍标准差的异常点，会把方差拉大 $100$ 倍，从而**独占第一主成分**。后果：

- 第一主方向被这个异常点"拉"过去，其余样本的结构完全看不见；
- 2 维可视化时，正常样本被挤在原点附近成为一个点。

**对策：**

1. **先看数据**：画原始特征的箱线图/散点图，识别异常值；
2. **稳健 PCA**：用中位数替代均值、用 MAD（中位数绝对偏差）替代标准差；
3. **对低秩 + 稀疏分解**（robust PCA）：把数据分解为"低秩部分 + 稀疏异常部分"，让异常值进入稀疏项——这正是 [[7-2-图像压缩与低秩逼近]] 9.3 节背景建模里用到的方法；
4. **秩变换**：把每个特征换成它的秩（rank），再对秩做 PCA。

### 8.3 主成分是线性组合，可解释性有限

主方向 $\mathbf{v}_i$ 的分量一般**全是非零**的，所以第 $i$ 个主成分是**所有原始特征的混合**。这带来两个后果：

- **难以命名**：你不能说"第一主成分就是身高"，只能说"第一主成分主要由身高（$0.72$）与体重（$0.68$）构成"。
- **难以行动**：如果结论是"第一主成分很重要"，你无法据此调整某一个具体的业务指标。

**对策（若必须可解释）：**

1. **稀疏 PCA**（sparse PCA）：在主方向上施加稀疏约束（要求 $\mathbf{v}_i$ 只有少数非零分量），得到"只用几个原始特征"的主成分；
2. **旋转**（如 varimax 旋转）：在保留的前 $k$ 维子空间内做正交旋转，使载荷矩阵更容易解释（这是因子分析的标准做法）；
3. **只看载荷的大小排序**：按 $|v_{ij}|$ 从大到小看，取前几个"主要贡献特征"作为解释依据。

### 8.4 不要用 PCA 做特征选择

这是最重要的一条，也是误解最多的一条。

> [!warning] PCA 不是特征选择
> **特征选择**（feature selection）是"**从原来的 $n$ 个特征中挑出 $k$ 个保留**"——保留的特征仍然是原始特征，含义不变。
> **PCA** 是"**构造 $k$ 个新的线性组合**"——原始特征**全部**参与了每一个主成分，$k$ 个主成分里**包含了全部 $n$ 个特征的信息**（只是被压缩了）。
>
> 两者完全不同：
> - PCA 后的数据**没有"第 3 个特征"这个说法**，只有"第 3 个主成分"；
> - 你不能说"去掉第 5 个特征"，因为 $\mathbf{v}_5$ 里含所有特征；
> - 若后续任务需要"只用 5 个可测量的指标"，**PCA 帮不了你**，要用 Lasso、递归特征消除（RFE）、前向选择等方法。

还有一个更隐蔽的风险：**PCA 是无监督的，它完全不知道标签 $y$。** 方差最大的方向不一定是"最能区分类别"的方向。**构造一个极端的例子：** 两类样本的均值差沿 $y$ 轴（方差很小，因为类内紧凑），而沿 $x$ 轴有一个巨大的、与类别无关的波动（方差很大）。PCA 会把 $x$ 轴选为第一主成分，而 $y$ 轴（唯一有判别力的方向）可能被降到第 2 位甚至被丢掉。这正是**线性判别分析**（LDA）与 PCA 的根本区别：LDA 用标签 $y$，PCA 不用。若目标是分类，应该考虑 LDA 或直接用有监督的降维方法。

### 8.5 只捕捉线性结构

PCA 找的是**线性子空间**。若数据分布在一个**弯曲的流形**上（例如"瑞士卷"、环形、螺旋），PCA 无法展开它——用 2 个主成分去近似一个卷曲的曲面，得到的结果会把远处的部分错误地重叠在一起。

**对策：** 核 PCA（kernel PCA，先用核函数把数据映到高维再线性降维）、t-SNE、UMAP、自编码器（autoencoder）等非线性方法。这些方法各有取舍（t-SNE/UMAP 适合可视化但不能给出可复现的变换、自编码器需要大量数据与调参），但都超出了线性代数的范围。

### 8.6 其他常见坑

- **忘记返回原始尺度。** 若做了标准化，降维后的得分是"标准化尺度"的。要回到原始单位，必须**反标准化**（乘回 $s_j$、加回 $\bar x_j$）。很多"PCA 重构图看起来不对"的问题都源于此。
- **把主成分得分与主方向搞混。** $\mathbf{v}_i\in\mathbb{R}^n$ 是方向（有 $n$ 个数），$\mathbf{z}_i\in\mathbb{R}^m$ 是得分（有 $m$ 个数）。**维度不同，用途不同。** "载荷矩阵"是 $V$，"得分矩阵"是 $XV$。
- **对测试集重新算 PCA。** PCA 的变换（$V$）必须**只在训练集上确定**，然后**原样应用到测试集**：$\mathbf{z}_{\text{test}}=X_{\text{test}}V_k$。若在测试集上重算一遍 $V$，就造成了信息泄漏，评估结果会偏乐观。而且训练集与测试集的 $\bar{\mathbf{x}}$ 与 $s_j$ 也必须**只用训练集**计算。

---

## 九、计算方法与步骤（可运行代码）

### 9.1 完整流程（只用 numpy）

```python
import numpy as np

# ============ 1. 数据矩阵：m=4 个样本，n=2 个特征 ============
X_raw = np.array([[1., 2.],
                  [2., 1.],
                  [-1., -2.],
                  [-2., -1.]])
m, n = X_raw.shape
print(f"样本数 m={m}, 特征数 n={n}")

# ============ 2. 中心化：每列减去该列均值（必须做！） ============
mu = X_raw.mean(axis=0)
X = X_raw - mu
print("列均值:", mu, "  中心化后各列均值:", X.mean(axis=0))

# ============ 3. 样本协方差矩阵（分母 m-1） ============
S = X.T @ X / (m - 1)
print("样本协方差矩阵 S =\n", S)
print("总方差 tr(S) =", np.trace(S))

# ============ 4. 对 X 做 SVD（不要对 S 做特征分解！） ============
U, s, Vt = np.linalg.svd(X, full_matrices=False)
V = Vt.T
print("奇异值 s =", s)
print("主方向 V（列为主方向）=\n", V)

# ============ 5. 方差与累计方差贡献率 ============
var = s ** 2 / (m - 1)          # = S 的特征值
print("各主成分方差:", var, "  合计 =", var.sum())
print("与 eigh(S) 对比:", np.sort(np.linalg.eigvalsh(S))[::-1])
cum = np.cumsum(var) / var.sum()
print("单个方差贡献率:", var / var.sum())
print("累计方差贡献率:", cum)

# ============ 6. 主成分得分 ============
scores = X @ V                    # 等价于 U * s
print("主成分得分 =\n", scores)
print("与 U*s 一致?", np.allclose(scores, U * s))
print("得分的协方差矩阵（应为对角）=\n", scores.T @ scores / (m - 1))

# ============ 7. 降到 k 维：投影、重构、误差 ============
for k in [1, 2]:
    Z = X @ V[:, :k]                       # m x k，降维后的数据
    X_hat = Z @ V[:, :k].T                 # m x n，重构
    err_F = np.linalg.norm(X - X_hat, 'fro')
    err_2 = np.linalg.norm(X - X_hat, 2)
    print(f"k={k}: 累计方差贡献率={cum[k-1]:.4f}, "
          f"||X-X_hat||_F={err_F:.6f}, ||X-X_hat||_2={err_2:.6f}, "
          f"相对误差={err_F/np.linalg.norm(X, 'fro'):.6f}")

# ============ 8. 一维表示 + 反标准化回到原始尺度 ============
k = 1
Z1 = X @ V[:, :k]                          # 一维坐标
X_back = Z1 @ V[:, :k].T + mu              # 升维 + 加回均值
print("一维表示 Z1 =", Z1.ravel())
print("反投影回原始尺度 =\n", X_back)

# ============ 9. 对照：不中心化的后果 ============
S_bad = X_raw.T @ X_raw / (m - 1)
w_bad = np.sort(np.linalg.eigvalsh(S_bad))[::-1]
print("不中心化时 PC1 方差贡献率 =", w_bad[0] / w_bad.sum())
print("（这个数字比中心化后的", cum[0], " 还高，但主方向被均值占据，无统计意义）")
```

**运行结果（关键几行）：**

- `S` 输出 $\begin{bmatrix} 3.3333 & 2.6667 \\ 2.6667 & 3.3333 \end{bmatrix}$，与第七节手算的 $\begin{bmatrix} 10/3 & 8/3 \\ 8/3 & 10/3 \end{bmatrix}$ 一致；
- `s = [4.242641, 1.414214]`，即 $3\sqrt2$ 与 $\sqrt2$；`var = [6.0, 0.666667]`；
- `cum = [0.9, 1.0]`；
- `k=1` 时 `||X-X_hat||_F = 1.414214`，与 $\sqrt2$ 一致；
- 不中心化时 `PC1 方差贡献率 = 0.9818`。

> [!tip] 注意第 8 步的"反标准化"
> `X_back = Z1 @ V[:, :k].T + mu` —— **加回均值这一步不能忘**。若前面还做了标准化，则要写成
> `X_back = (Z1 @ V[:, :k].T) * sigma + mu`，其中 `sigma` 是各列标准差。
> 忘记加回均值/标准差是"PCA 重构图整体偏了一个位置或尺度不对"的典型原因。

### 9.2 标准化版本（量纲不同时用）

```python
import numpy as np

# 假设有三个量纲不同的特征（身高 cm / 体重 kg / 年龄 岁）
X_raw = np.array([[170., 65., 30.],
                  [180., 80., 45.],
                  [165., 55., 25.],
                  [175., 70., 50.],
                  [160., 50., 22.],
                  [185., 85., 40.]])
m, n = X_raw.shape

# 标准化：减均值、除标准差（ddof=1 与 S 的分母 m-1 一致）
mu = X_raw.mean(axis=0)
sd = X_raw.std(axis=0, ddof=1)
Z = (X_raw - mu) / sd
print("标准化后各列均值:", Z.mean(axis=0), " 标准差:", Z.std(axis=0, ddof=1))

# 标准化后的协方差矩阵 == 相关系数矩阵
S_z = Z.T @ Z / (m - 1)
print("相关系数矩阵 =\n", S_z)
print("对角线是否全为 1?", np.allclose(np.diag(S_z), 1.0))

# 对标准化数据做 SVD
U, s, Vt = np.linalg.svd(Z, full_matrices=False)
var = s ** 2 / (m - 1)
cum = np.cumsum(var) / var.sum()
print("各主成分方差:", var)
print("累计方差贡献率:", cum)
print("主方向（列）=\n", Vt.T)
print("（注意：总方差 = n =", n, "，因为每个标准化特征的方差都是 1）")
```

### 9.3 用碎石图与累计方差贡献率选 $k$

本示例需要 matplotlib：`pip install matplotlib`

```python
import numpy as np
import matplotlib.pyplot as plt

# 生成一个 200 样本、10 特征、内在维数为 3 的合成数据
rng = np.random.default_rng(42)
m, n, r_true = 200, 10, 3
basis = rng.normal(size=(n, r_true))
latent = rng.normal(size=(m, r_true))
X_raw = latent @ basis.T + 0.15 * rng.normal(size=(m, n))   # 加一点噪声

X = X_raw - X_raw.mean(axis=0)
U, s, Vt = np.linalg.svd(X, full_matrices=False)
var = s ** 2 / (m - 1)
cum = np.cumsum(var) / var.sum()

print("各主成分方差:", np.round(var, 4))
print("累计方差贡献率:", np.round(cum, 6))
print("达到 0.95 需要 k =", int(np.searchsorted(cum, 0.95) + 1))
print("达到 0.99 需要 k =", int(np.searchsorted(cum, 0.99) + 1))

fig, axes = plt.subplots(1, 2, figsize=(11, 4))

axes[0].plot(np.arange(1, n + 1), var, 'o-')
axes[0].set_xlabel('i')
axes[0].set_ylabel('var_i')
axes[0].set_title('scree plot')
axes[0].grid(alpha=0.3)

axes[1].plot(np.arange(1, n + 1), cum, 's-')
axes[1].axhline(0.95, color='r', ls='--', lw=1)
axes[1].set_xlabel('k')
axes[1].set_ylabel('cumulative variance')
axes[1].set_title('cumulative variance explained')
axes[1].grid(alpha=0.3)

plt.tight_layout()
plt.show()
```

在这个例子里，真实内在维数是 $3$，碎石图会在 $i=4$ 处出现明显的拐点（前 3 个方差远大于后面的），累计方差贡献率的"95% 阈值"通常也会给出 $k=3$ 或 $4$——**两条判据互相印证**。这正是第 5.4 节建议"同时看多条曲线"的原因。

---

## 十、应用

### 10.1 人脸识别：Eigenfaces

**问题。** 每张人脸图像是一个 $m\times n$ 的像素矩阵，拉直成一个 $mn$ 维向量。一张 $100\times100$ 的小图就是 $10^4$ 维——直接在这个维度上做分类，样本数远小于维数（"高维小样本"问题），任何分类器都会过拟合。

**做法（Eigenfaces，"特征脸"）。**

1. 收集 $N$ 张训练人脸图，每张拉直成一个 $mn$ 维列向量，排成数据矩阵 $X$（每列一张脸），**中心化**（减去"平均脸"）；
2. 对 $X$ 做 SVD（或等价地在 $X^{\mathrm{T}}X$ 上做特征分解），得到主方向 $\mathbf{v}_1,\dots,\mathbf{v}_k$；
3. 把每个 $\mathbf{v}_i$ **重新排回 $m\times n$ 的矩阵**——得到一幅图像，就是一张**特征脸**（eigenface）。它看起来像一张模糊的、有明暗分布的"幽灵脸"；
4. 任一张人脸图 $\mathbf{x}$ 用它在这 $k$ 张特征脸上的坐标表示：$\mathbf{z}=V_k^{\mathrm{T}}(\mathbf{x}-\bar{\mathbf{x}})\in\mathbb{R}^k$。**$k$ 常常只要几十到几百**，就把 $10^4$ 维压到了 $10^2$ 维；
5. 在这个低维空间里做最近邻分类或其它分类器。

**为什么有效。** 所有人脸共享大量结构（两只眼睛、一个鼻子、脸的轮廓），这些共有成分构成了数据的主要方差方向；区别不同人的信息集中在前几十个主成分里。**特征脸就是这个"人脸空间"的一组正交基。**

**注意：** 这种方法对光照、姿态、表情的变化很敏感（这些变化的方向方差可能比"身份"的方向更大，从而抢占前面的主成分）——这也是后来深度学习取代它的主要原因之一。但从线性代数的角度看，它把 PCA 的价值展示得最清楚。

### 10.2 数据可视化

把 $n$ 维数据降到 $2$ 维（取前 $2$ 个主成分）或 $3$ 维（前 $3$ 个），画散点图。

**优点：** 变换是**线性且可复现**的，坐标轴有明确含义（"第一主成分"= 方差最大的线性组合）。可以标注每个主方向上载荷最大的几个原始特征，从而对聚类结构给出解释。

**局限：** 只保留前 $2$ 个主成分意味着丢掉了大部分方差（除非数据的内在维数确实很低）。若前两个主成分只解释了 $30\%$ 的方差，这张二维图**不能代表数据**——必须在图上标注累计方差贡献率。若目标是"看清楚局部结构"而不是"保留全局方差"，t-SNE 或 UMAP 通常效果更好，代价是失去线性可解释性。

### 10.3 去噪与压缩

与 [[7-2-图像压缩与低秩逼近]] 完全同源：PCA = 中心化 + 截断 SVD。应用于：

- **图像去噪**：把图像分块（如 $8\times8$ 块）当作样本，对块集合做 PCA，保留少数主成分后重构——这是很多现代去噪算法（如 BM3D 的变体）的核心步骤；
- **数据压缩**：传感器网络、天文观测中，把时间序列数据降到少数主成分存储；
- **缺失值插补**：用前 $k$ 个主成分重构数据，缺失位置用重构值填充（这是"低秩矩阵补全"的一种简化形式）。

**重要限制：** 由 [[7-2-图像压缩与低秩逼近]] 第八节，**最优的 $k$ 在真实场景中未知**（因为拿不到干净信号），必须靠交叉验证或噪声方差估计来定。$k$ 太小会削掉信号，$k$ 太大会保留噪声。

### 10.4 与多元高斯分布的联系

这是 PCA 与概率统计最深刻的一处连接（详见 [[12-3-多元高斯与加权最小二乘]]）。

**多元高斯分布**的密度函数由均值 $\boldsymbol{\mu}$ 与协方差矩阵 $\Sigma$ 决定：

$$p(\mathbf{x}) = \frac{1}{(2\pi)^{n/2}|\Sigma|^{1/2}}\exp\left(-\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu})^{\mathrm{T}}\Sigma^{-1}(\mathbf{x}-\boldsymbol{\mu})\right).$$

密度函数的**等值面**（等高线）是椭球：

$$(\mathbf{x}-\boldsymbol{\mu})^{\mathrm{T}}\Sigma^{-1}(\mathbf{x}-\boldsymbol{\mu}) = c^2.$$

把 $\Sigma$ 谱分解为 $\Sigma=Q\Lambda Q^{\mathrm{T}}$，令 $\mathbf{y}=Q^{\mathrm{T}}(\mathbf{x}-\boldsymbol{\mu})$（即在主方向坐标系下看数据），等值面变成

$$\sum_{i=1}^{n}\frac{y_i^2}{\lambda_i} = c^2,$$

**这是一个轴对齐的椭球，第 $i$ 根半轴长是 $c\sqrt{\lambda_i}$。**

> [!important] PCA 的统计含义
> **PCA 的主方向就是多元高斯分布等概率椭球的主轴方向，主成分方差 $\lambda_i$ 就是半轴长的平方。**
> 因此：
> - "主成分方差很小" ⟺ "这个方向上的概率密度变化很慢" ⟺ "数据在这个方向上几乎不分散"；
> - **丢弃小方差主成分，等价于把高斯分布退化到一个低维子空间上的退化高斯分布**——这也是"概率 PCA"（probabilistic PCA）的出发点：它把 PCA 解释为一个隐变量模型的极大似然估计。
> - 若 $\Sigma$ 的某些特征值为 $0$（退化分布），密度函数在 $\mathbb{R}^n$ 中不存在（$|\Sigma|=0$），但**在主子空间内仍然是一个良定义的高斯分布**——这正是降维的统计学解释。

**另一个联系：** 若协方差矩阵是**各向同性**的（$\Sigma=\sigma^2I$），等值面是**球面**，此时所有方向的方差相同，**PCA 完全失效**（没有"主要方向"）。这与 [[7-2-图像压缩与低秩逼近]] FAQ 里"奇异值不衰减就无法压缩"是同一件事。

### 10.5 其他应用一览

| 领域 | 用途 |
|---|---|
| 金融 | 收益率曲线的主成分分析（水平/斜率/曲率三个因子解释绝大部分变动） |
| 化学 | 光谱数据的降维与成分识别（PCA 是化学计量学的基础工具） |
| 气象 | 海温、气压场的主成分分析（EOF 分析，本质就是 PCA） |
| 生物信息 | 基因表达数据的降维与样本聚类（$m\ll n$ 的典型场景） |
| 信号处理 | 子空间方法（MUSIC、ESPRIT）的波达方向估计 |
| 机器学习 | 预处理、特征提取、异常检测（离主子空间远的点判为异常） |
| 控制论 | 模型降阶（balanced truncation 与 PCA 同源） |
| 推荐系统 | 与 SVD 协同过滤同源（[[7-2-图像压缩与低秩逼近]] 9.1 节） |

**异常检测**值得多说一句：PCA 给出一个 $k$ 维主子空间，"正常"样本应当离这个子空间很近。定义**重构误差** $r(\mathbf{x})=\|\mathbf{x}-V_kV_k^{\mathrm{T}}\mathbf{x}\|$，若 $r(\mathbf{x})$ 超过阈值，就判为异常。这类方法的优点是不需要标注异常样本（无监督）。

---

## 十一、易错点总结

> [!warning] 十个高频错误
> 1. **忘记中心化。** 最严重的错误。不中心化时第一主成分会被均值方向占据（第七节数值对照：方差贡献率从"看似更好"的 98.18% 变成了毫无意义的数字）。**快速检查：$X$ 每列均值是否为 $0$。**
> 2. **量纲不同时忘记标准化。** 结果会随单位的任意选择而改变。**快速检查：各特征的方差是否相差几个数量级。**
> 3. **把主方向与主成分得分搞混。** $\mathbf{v}_i$ 有 $n$ 个数（方向），$\mathbf{z}_i=X\mathbf{v}_i$ 有 $m$ 个数（得分）。**维数不同，绝不能互换。** "载荷"是 $V$，"得分"是 $XV$。
> 4. **用 PCA 做特征选择。** PCA 构造的是新的线性组合，**原始 $n$ 个特征全部参与了每个主成分**，不存在"去掉某个特征"这回事。需要特征选择请用 Lasso/RFE。
> 5. **对 $S=X^{\mathrm{T}}X/(m-1)$ 做特征分解而不对 $X$ 做 SVD。** 数学上等价，但数值上 $\kappa(S)=\kappa(X)^2$，精度平方级恶化，还可能得到小的负特征值。**手算可以用 $S$，工程上必须用 SVD。**
> 6. **把"相对重构误差 $\varepsilon$"与"$1-\text{CVE}$"当成一回事。** 二者是**平方关系**：$1-\text{CVE}=\varepsilon^2$。要求 $\varepsilon\le 0.1$ 等价于 $\text{CVE}\ge 0.99$，不是 $0.90$。
> 7. **在测试集上重新算 PCA。** $V$、$\bar{\mathbf{x}}$、$s_j$ 都必须**只在训练集上确定**，然后原样应用到测试集。否则信息泄漏，评估结果虚高。
> 8. **忘记从特征值算回奇异值（或反过来）。** 关系是 $\lambda_i=\sigma_i^2/(m-1)$，即 $\sigma_i=\sqrt{(m-1)\lambda_i}$。差一个 $\sqrt{m-1}$ 因子会让"方差"与"能量"两套数字对不上。**校验方法：$\sum_i\lambda_i=\operatorname{tr}(S)=\frac{1}{m-1}\sum_{i,j}x_{ij}^2$。**
> 9. **以为主成分可以任意取符号。** 符号确实不唯一（$\mathbf{v}_i\to-\mathbf{v}_i$ 与 $\mathbf{z}_i\to-\mathbf{z}_i$ 同时变号，结果不变），但**不要用两次运行结果逐元素比对**。不同软件、不同版本给出的符号可能相反。
> 10. **用 PCA 的结果下因果结论。** PCA 只描述**相关结构**（"这两个特征一起变化"），不能说明"一个导致另一个"。看到"第一主成分主要是收入和 education"，不能推出"提高 education 会增加收入"。

---

## 十二、练习题

**练习 1（基础）** 数据中心化后为 $X=\begin{bmatrix} 1 & 0 \\ 0 & 1 \\ -1 & 0 \\ 0 & -1 \end{bmatrix}$。

(a) 求样本协方差矩阵 $S$；
(b) 求 $S$ 的特征值与单位特征向量；
(c) 求主成分得分，并验证两个得分的协方差为 $0$；
(d) 求累计方差贡献率。**（提示：这组数据的 $S$ 是对角矩阵。）**

**练习 2（基础）** 某数据集中心化后 $X^{\mathrm{T}}X=\begin{bmatrix} 25 & 0 \\ 0 & 9 \end{bmatrix}$，样本数 $m=6$。

(a) 求 $S$ 的特征值；
(b) 求 $X$ 的奇异值；
(c) 求两个主成分各自的方差贡献率；
(d) 若降到 $1$ 维，相对重构误差是多少？**（注意用平方法验证。）**

**练习 3（进阶）** 设中心化数据矩阵 $X\in\mathbb{R}^{m\times n}$ 的 SVD 为 $X=U\Sigma V^{\mathrm{T}}$。证明：

(a) 得分的样本协方差矩阵 $\dfrac{1}{m-1}(XV)^{\mathrm{T}}(XV)$ 是对角矩阵；
(b) $\operatorname{tr}(S)=\dfrac{\|X\|_F^2}{m-1}$；
(c) 前 $k$ 个主成分保留的方差占总方差的比例等于 $\dfrac{\sum_{i\le k}\sigma_i^2}{\sum_i\sigma_i^2}$。

**练习 4（进阶）** 证明第 4.3 节的恒等式 $\|X-XW_kW_k^{\mathrm{T}}\|_F^2=\|X\|_F^2-\|XW_k\|_F^2$ 对**任意**满足 $W_k^{\mathrm{T}}W_k=I_k$ 的矩阵 $W_k$ 成立，并说明这个恒等式为什么说明"方差最大化"与"重构误差最小化"是同一个问题。

**练习 5（进阶）** 设中心化数据矩阵 $X$ 有 $m=5$ 个样本、$n=3$ 个特征，$\operatorname{rank}(X)=3$。

(a) 总自由参数有多少个？
(b) 中心化后 $X$ 的秩最多是多少？为什么？
(c) 若 $m=3$、$n=5$，$X$ 的秩最多是多少？此时 $S=X^{\mathrm{T}}X/(m-1)$ 最多有几个非零特征值？

**练习 6（思考）** 构造一个 $2$ 维、两类样本的数据集，使得：沿 $x$ 轴方向两类样本的**方差很大但两类均值相同**，沿 $y$ 轴方向**方差很小但两类均值明显不同**。写出具体数据（每类至少 $3$ 个点），计算 PCA 的第一主方向，并说明为什么用它做分类会失败。**（提示：第一主方向会是 $x$ 轴，而判别方向是 $y$ 轴。）**

**练习 7（思考）** 有人说："PCA 的累计方差贡献率达到 95% 就说明降维没有丢失重要信息。"请举出至少两个这句说法的反例或漏洞。

---

## 十三、常见问题 FAQ

**Q1：PCA 和截断 SVD 到底有什么区别？**

**运算几乎相同，差别在"是否中心化"与"如何解释"。**

| 对比 | 截断 SVD | PCA |
|---|---|---|
| 输入 | 任意矩阵 $A$ | **中心化**的数据矩阵 $X$ |
| 分解 | $A_k=U_k\Sigma_kV_k^{\mathrm{T}}$ | $X_k=U_k\Sigma_kV_k^{\mathrm{T}}$ |
| 左奇异向量 | 行方向的模式 | 样本的得分方向 |
| 右奇异向量 | 列方向的模式 | **主方向**（载荷） |
| 奇异值 | 各模式的"强度" | $\sigma_i^2/(m-1)$ = **方差** |
| 解释 | 几何/数值的"最重要的 $k$ 个模式" | 统计的"解释最多方差的 $k$ 个线性组合" |

一句话：**PCA = 中心化 + 截断 SVD + 统计解释。** 若数据已经中心化，两者数值结果完全一致。

**Q2：为什么要除以 $m-1$ 而不是 $m$？**

因为 $S=\frac{1}{m-1}\sum_i(x_{ij}-\bar x_j)^2$ 是总体方差的**无偏估计**（unbiased estimator）——这是统计学上的标准选择，也是 R、MATLAB、sklearn、numpy 的 `ddof=1` 约定。

**但要清楚：这不影响 PCA 的任何"结论"。** 因为除以 $m-1$ 还是 $m$ 只是一个常数因子，特征值全部同比例缩放，**特征向量（主方向）完全不变，方差贡献率的比值也完全不变**。唯一受影响的是"方差"和"奇异值"的**绝对数值**。所以：

- 用 sklearn 的 `PCA`（内部用 $m-1$）与用 `np.linalg.svd(X)` 手算（再除以 $m-1$）结果应当完全一致；
- 若拿到的方差数值与别人差一个因子 $\frac{m}{m-1}$，先检查分母约定，不必怀疑方法错误。

**Q3：为什么说"数值上优先用 SVD 而不是对 $S$ 做特征分解"？两者不是等价的吗？**

**数学上等价，数值上不等价。** 关键是条件数：

$$\kappa(S) = \kappa\!\left(\frac{X^{\mathrm{T}}X}{m-1}\right) = \kappa(X)^2.$$

若 $\kappa(X)=10^4$（数据特征尺度差异大时很常见），则 $\kappa(S)=10^8$。双精度浮点约 16 位有效数字，$\kappa=10^8$ 意味着**最小特征值只剩约 8 位有效数字**；若 $\kappa(X)=10^8$，$\kappa(S)=10^{16}$，最小特征值完全被误差淹没，甚至算成**负数**——此时若拿它开平方求奇异值，会得到 `nan`。

SVD 直接作用于 $X$（条件数 $10^4$ 或 $10^8$），全程只用正交变换，不放大误差，且输出的奇异值**永远非负**。此外在 $m\ll n$ 时，$S$ 是巨大的 $n\times n$ 矩阵，算它本身就非常昂贵。

**结论：手算/教学用 $S$（更容易看出特征值与方差的关系），工程代码用 SVD。**

**Q4：PCA 之后还需要做别的处理吗？比如白化？**

**看下游任务。** PCA 之后得到的 $k$ 维得分，各维方差是 $\lambda_1\ge\cdots\ge\lambda_k$，**并不相等**。有两种常见后续处理：

- **白化**（whitening / sphering）：把每个得分除以其标准差，得到 $\tilde{\mathbf{z}}_i=\dfrac{\mathbf{z}_i}{\sqrt{\lambda_i}}$，使各维方差都变成 $1$、且互不相关（协方差矩阵成为单位矩阵）。用途：某些算法（如独立成分分析的预处理、部分神经网络训练、最近邻检索中的距离度量）假设各维等权，必须白化。
- **不白化**：直接使用得分。用途：当"方差大的方向更重要"时（例如重构、可视化、去噪），保留原始方差是必要的。**若把方差信息丢掉，降维就失去了"按重要性排序"的意义。**

**注意：白化会放大方差极小的方向（除以很小的 $\sqrt{\lambda_i}$），因此对噪声极其敏感。** 若某个 $\lambda_i$ 接近 $0$，白化会把这个方向的噪声放大到与信号同量级。**实践中白化前一定要截断（只保留前 $k$ 个较大的主成分）**，不能对全部 $n$ 个主成分做白化。

**Q5：$m<n$（样本数少于特征数）时 PCA 还能用吗？**

**能用，而且这正是 PCA 最有价值的场景之一**（高维小样本问题，如基因表达数据、人脸识别）。

要点：

1. **最多只有 $m-1$ 个非零特征值**（第三节 3.3 的推导），因为中心化使 $\operatorname{rank}(X)\le m-1$。所以**最多只能降到 $m-1$ 维**，不可能更多。
2. **应该转而在 $m\times m$ 的 $XX^{\mathrm{T}}$ 上做特征分解**。由 [[7-1-SVD的构造与几何意义]] 定理 7.1.14，$X^{\mathrm{T}}X$（$n\times n$，可能 $10^6\times10^6$）与 $XX^{\mathrm{T}}$（$m\times m$，可能 $100\times100$）有**相同的非零特征值**。算小的那个：
   - 对 $XX^{\mathrm{T}}$ 做特征分解得 $XX^{\mathrm{T}}\mathbf{u}_i=\sigma_i^2\mathbf{u}_i$，即得到 $\mathbf{u}_i$ 与 $\sigma_i$；
   - 再由 $\mathbf{v}_i=\dfrac{X^{\mathrm{T}}\mathbf{u}_i}{\sigma_i}$ 回推主方向（这正是 [[7-1-SVD的构造与几何意义]] 中"$m<n$ 时对称地做"的做法）；
   - 这就是经典的"**对偶 PCA**"或"Gram 矩阵技巧"。
3. **正则化仍然必要。** 即使 $m-1$ 个特征值全为正，样本协方差矩阵也是**奇异的**（$n\times n$ 但秩只有 $m-1$），不能求逆。需要做岭正则化 $S+\gamma I$ 或用伪逆（[[7-1-SVD的构造与几何意义]] 第九节）。

---

## 本篇小结

### 核心结论

1. **PCA 要解决的问题**：把 $n$ 维数据压到 $k$ 维，同时尽量保留信息。它回答的是「哪几个方向承载了数据的大部分变化」。
2. **第一步必须是中心化**：$X = $ 原始数据 $-\ \bar{\mathbf{x}}^{\mathrm{T}}$（每列减去列均值）。忘记中心化会让第一主成分被「均值方向」占据，结果完全失去意义。
3. **样本协方差矩阵** $S = \dfrac{1}{m-1}X^{\mathrm{T}}X$ 是整个 PCA 的核心对象——它是**对称半正定**的，所以有正交特征分解。
4. **PCA 就是数据矩阵的 SVD**，两者是同一件事的两种写法：

$$
X = U\Sigma V^{\mathrm{T}} \;\Longrightarrow\; \text{主方向} = V \text{ 的列},\quad \text{奇异值} = \sqrt{(m-1)\lambda_i}
$$

5. **两种等价视角**：①**方差最大化**——找使投影方差最大的方向；②**重构误差最小化**——找使压扁后信息损失最小的方向。二者给出同一组主方向。
6. **主成分得分** $\mathbf{z}_i = X\mathbf{v}_i$ 是数据在新方向上的坐标；**载荷**是 $V$，**得分**是 $XV$，两者维数不同，绝不能互换。
7. **选 $k$ 的三种方法**：累计方差贡献率（CVE，常用 $\ge 85\%$ 或 $95\%$）、碎石图的「拐点」、按目标重构误差反解。
8. **误差与 CVE 是平方关系**：$1-\text{CVE} = \varepsilon^2$。要求 $\varepsilon \le 0.1$ 等价于 $\text{CVE} \ge 0.99$，不是 $0.90$。
9. **工程上用 SVD，不要对 $S$ 做特征分解**：数学等价，但 $\kappa(S) = \kappa(X)^2$，精度平方级恶化，还可能得到小的负特征值。
10. **量纲不同时必须标准化**，否则结果会随单位的任意选择而改变——这是 PCA 最常见的实际坑之一。
11. **PCA 只描述相关结构**，不能下因果结论；主成分是线性组合，可解释性有限。
12. **训练/测试必须分清**：$V$、$\bar{\mathbf{x}}$、$s_j$ 都在**训练集**上确定，再原样应用到测试集，否则信息泄漏、评估虚高。

### 易混概念对照

| 容易混淆的一对 | 区别 | 一句话记住 |
|---|---|---|
| 中心化 与 标准化 | 中心化只减均值；标准化再除以标准差 | 量纲相同只需中心化，量纲不同必须标准化 |
| 主方向 $\mathbf{v}_i$ 与 主成分得分 $\mathbf{z}_i$ | $\mathbf{v}_i$ 有 $n$ 个数（方向），$\mathbf{z}_i = X\mathbf{v}_i$ 有 $m$ 个数（得分） | 载荷是 $V$，得分是 $XV$ |
| 对 $X$ 做 SVD 与 对 $S=X^{\mathrm{T}}X/(m-1)$ 做特征分解 | 数学等价，数值上后者条件数平方恶化 | 手算可以，工程必须用 SVD |
| $\lambda_i$ 与 $\sigma_i$ | $\lambda_i = \sigma_i^2/(m-1)$，差一个 $\sqrt{m-1}$ 因子 | 校验：$\sum_i\lambda_i = \operatorname{tr}(S)$ |
| 相对重构误差 $\varepsilon$ 与 $1-\text{CVE}$ | 平方关系：$1-\text{CVE}=\varepsilon^2$ | 别混用这两个尺度 |
| PCA 与 特征选择 | PCA 的每个主成分都用了**全部** $n$ 个原始特征 | 要选特征请用 Lasso/RFE |
| 符号不唯一 与 算法错误 | $\mathbf{v}_i\to-\mathbf{v}_i$ 同时 $\mathbf{z}_i\to-\mathbf{z}_i$ 结果不变 | 别用两次运行逐元素比对 |

### 自学检查清单

1. 中心化后的 $X$ 为什么秩最多是 $\min(m-1, n)$？这与「中心化让秩少一个」有什么关系？
2. 手算一个 $3\times2$ 的微小数据集：求 $S$、特征值、主方向、得分、方差贡献率，再降到 1 维重构。
3. **如果去掉中心化这一步会怎样？**（用第七节 7.9 的对照实验说明：第一主成分被均值方向占据，方差贡献率变成毫无意义的数字。）
4. 为什么「方差最大化」与「重构误差最小化」会给出同一组主方向？请用二次型在单位球上的极值来解释。
5. 若要求相对重构误差 $\varepsilon \le 0.05$，CVE 至少要多少？反过来 CVE $=0.90$ 时误差是多少？
6. 为什么在测试集上重新算 PCA 会导致评估虚高？正确的做法是什么？
7. 给出一个「PCA 结果显示两特征强相关，但不能推出因果」的例子。

## 相关笔记

- [[7-1-SVD的构造与几何意义]] —— $A=U\Sigma V^{\mathrm{T}}$ 的推导与奇异值性质，PCA 的全部工具
- [[7-2-图像压缩与低秩逼近]] —— 同一套截断 SVD 的几何/工程视角，Eckart–Young 定理
- [[12-2-协方差矩阵]] —— $S=X^{\mathrm{T}}X/(m-1)$ 的对称性、半正定性与统计含义
- [[12-3-多元高斯与加权最小二乘]] —— 主方向与高斯分布等概率椭球主轴的关系
- [[6-4-对称矩阵与正定矩阵]] —— 谱定理 $S=Q\Lambda Q^{\mathrm{T}}$，PCA 的存在性依据
- [[6-5-二次型与标准形]] —— Rayleigh 商 $\max_{\|\mathbf{v}\|=1}\mathbf{v}^{\mathrm{T}}S\mathbf{v}$ 的求法
- [[12-1-均值方差与概率]] —— 方差、协方差的线性代数表达
- [[附录-矩阵分解总览]] —— $A=LU$、$A=QR$、$S=Q\Lambda Q^{\mathrm{T}}$、$A=U\Sigma V^{\mathrm{T}}$ 的统一对比

---

## 参考来源

- Gilbert Strang, *Introduction to Linear Algebra*, 5th ed., Wellesley–Cambridge Press, 2016. §7.3 "Principal Component Analysis"（教材，文字引用）
- MIT OpenCourseWare 18.06 Linear Algebra, Spring 2010，[Lecture 29: Singular value decomposition](https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/resources/lecture-29-singular-value-decomposition/)；[Lecture 25: Symmetric matrices and positive definiteness](https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/resources/lecture-25-symmetric-matrices-and-positive-definiteness/)；[课程主页](https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/)
- Strang 教材官网（含免费章节 PDF）：<https://math.mit.edu/~gs/linearalgebra/>
- NumPy 官方文档：[`numpy.linalg.svd`](https://numpy.org/doc/stable/reference/generated/numpy.linalg.svd.html)；[`numpy.linalg.eigh`](https://numpy.org/doc/stable/reference/generated/numpy.linalg.eigh.html)
- Wolfram MathWorld：[Principal Component Analysis](https://mathworld.wolfram.com/PrincipalComponentAnalysis.html)；[Covariance Matrix](https://mathworld.wolfram.com/CovarianceMatrix.html)
- I. T. Jolliffe, *Principal Component Analysis*, 2nd ed., Springer, 2002（PCA 的标准专著，文字引用）
- K. Pearson, "On Lines and Planes of Closest Fit to Systems of Points in Space," *Phil. Mag.* 2 (1901), 559–572（PCA 的原始思想，文字引用）
