---
tags: [AI, 经典机器学习, 降维]
阶段: 03-经典机器学习
难度: ★★☆
created: 2026-10-18
related: "[[矩阵分解-SVD与特征分解]], [[无监督学习与聚类]], [[模型评估与交叉验证]]"
---

# PCA与降维

## 定义

**主成分分析**（Principal Component Analysis, PCA）是一种线性降维方法：对中心化数据矩阵 $\mathbf{X}_c\in\mathbb{R}^{n\times d}$，求 $k$ 个标准正交方向 $\mathbf{v}_1,\dots,\mathbf{v}_k\in\mathbb{R}^d$，使数据在这些方向上的投影方差之和最大，并使 $k$ 维线性重构的平方误差最小。

符号与术语：

- $n$：样本数；$d$：原始特征维数；$k$：目标维数，$1\le k\le d$。
- $\mathbf{x}_i\in\mathbb{R}^d$：第 $i$ 个样本，取行向量；它是 $\mathbf{X}$ 的第 $i$ 行。
- 中心化：$\mathbf{X}_c=\mathbf{X}-\mathbf{1}_n\boldsymbol{\mu}^\top$，其中 $\boldsymbol{\mu}=\frac{1}{n}\sum_{i=1}^{n}\mathbf{x}_i$，$\mathbf{1}_n$ 为全 1 列向量。
- $\boldsymbol{\Sigma}=\frac{1}{n}\mathbf{X}_c^\top\mathbf{X}_c\in\mathbb{R}^{d\times d}$：样本协方差矩阵（除以 $n$）。它对称半正定，特征值 $\lambda_1\ge\cdots\ge\lambda_d\ge 0$，对应标准正交特征向量 $\mathbf{v}_1,\dots,\mathbf{v}_d$。
- **主成分**（principal component）：$\mathbf{v}_j$，满足 $\lVert\mathbf{v}_j\rVert_2=1$ 且 $\mathbf{v}_j^\top\mathbf{v}_l=0$（$j\ne l$）。
- 得分（score）：$z_{ij}=\mathbf{x}_i^\top\mathbf{v}_j$，矩阵形式 $\mathbf{Z}=\mathbf{X}_c\mathbf{V}_k$，$\mathbf{V}_k=[\mathbf{v}_1,\dots,\mathbf{v}_k]\in\mathbb{R}^{d\times k}$。
- 重构：$\hat{\mathbf{X}}=\mathbf{Z}\mathbf{V}_k^\top=\mathbf{X}_c\mathbf{V}_k\mathbf{V}_k^\top$。
- 解释方差比（explained variance ratio）：$\lambda_j/\sum_{l=1}^{d}\lambda_l$。
- 白化（whitening）：对得分做线性变换，使其协方差矩阵为单位阵。

## 为什么重要

高维特征带来三类可度量的代价。其一，参数数量与存储随 $d$ 增长，距离计算与最近邻检索的复杂度随 $d$ 增长。其二，当 $d$ 接近或超过 $n$ 时，协方差矩阵 $\boldsymbol{\Sigma}$ 秩亏，许多依赖 $\boldsymbol{\Sigma}^{-1}$ 的方法（马氏距离、高斯判别分析）不可直接使用。其三，若数据近似位于低维线性子空间，保留全部 $d$ 维只会引入方差小、与任务无关的方向，降低后续模型的样本效率。

没有 PCA 时，仍可用特征选择或正则化控制维度，但特征选择丢弃整列，无法构造特征的线性组合；PCA 给出的是在平方误差意义下最优的线性压缩。它同时是理解更复杂降维方法的最小模型：核 PCA 把线性投影替换为核空间投影，自编码器把线性映射替换为神经网络映射，[[矩阵分解-SVD与特征分解]] 给出同一结论的代数形式。

在全书中的位置：PCA 依赖 [[线性代数]] 中的特征分解与 [[概率与统计]] 中的协方差，是 [[无监督学习与聚类]] 之后、[[模型评估与交叉验证]] 之前的必读内容；其白化与降维步骤在特征工程、[[推荐系统]] 的隐向量初始化、[[神经网络与前向传播]] 的输入预处理中反复出现。

## 原理与推导

### 1. 问题设定与投影方差

设 $\mathbf{X}_c$ 已中心化，即每列均值为 0。取单位向量 $\mathbf{u}\in\mathbb{R}^d$，样本投影为 $z_i=\mathbf{x}_i^\top\mathbf{u}$。投影后的样本均值为

$$
\frac{1}{n}\sum_{i=1}^{n}\mathbf{x}_i^\top\mathbf{u}
=\left(\frac{1}{n}\sum_{i=1}^{n}\mathbf{x}_i\right)^\top\mathbf{u}=0,
$$

故投影方差等于投影二阶矩：

$$
\operatorname{Var}(\mathbf{u})
=\frac{1}{n}\sum_{i=1}^{n}(\mathbf{x}_i^\top\mathbf{u})^2
=\frac{1}{n}\mathbf{u}^\top\mathbf{X}_c^\top\mathbf{X}_c\mathbf{u}
=\mathbf{u}^\top\boldsymbol{\Sigma}\mathbf{u}.
$$

第一主成分定义为

$$
\mathbf{v}_1=\arg\max_{\mathbf{u}}\ \mathbf{u}^\top\boldsymbol{\Sigma}\mathbf{u}
\quad\text{s.t.}\quad \mathbf{u}^\top\mathbf{u}=1.
$$

约束不可省略：若只最大化 $\mathbf{u}^\top\boldsymbol{\Sigma}\mathbf{u}$，令 $\mathbf{u}$ 的模长趋于无穷即可使目标无界；单位约束把问题限定在方向的选择上。

### 2. 拉格朗日乘子与特征值问题

构造拉格朗日函数，$\lambda$ 为乘子：

$$
\mathcal{L}(\mathbf{u},\lambda)=\mathbf{u}^\top\boldsymbol{\Sigma}\mathbf{u}-\lambda(\mathbf{u}^\top\mathbf{u}-1).
$$

对 $\mathbf{u}$ 求梯度并令其为零：

$$
\frac{\partial\mathcal{L}}{\partial\mathbf{u}}=2\boldsymbol{\Sigma}\mathbf{u}-2\lambda\mathbf{u}=0
\ \Longrightarrow\ \boldsymbol{\Sigma}\mathbf{u}=\lambda\mathbf{u}.
$$

因此驻点必为 $\boldsymbol{\Sigma}$ 的特征向量，$\lambda$ 为对应特征值。左乘 $\mathbf{u}^\top$ 得

$$
\mathbf{u}^\top\boldsymbol{\Sigma}\mathbf{u}=\lambda\mathbf{u}^\top\mathbf{u}=\lambda,
$$

即目标函数值等于特征值。由谱定理，实对称矩阵可正交对角化：

$$
\boldsymbol{\Sigma}=\mathbf{V}\boldsymbol{\Lambda}\mathbf{V}^\top,\qquad
\mathbf{V}^\top\mathbf{V}=\mathbf{I}_d,\qquad
\boldsymbol{\Lambda}=\operatorname{diag}(\lambda_1,\dots,\lambda_d).
$$

对任意单位向量 $\mathbf{u}$，写 $\mathbf{u}=\sum_j c_j\mathbf{v}_j$，则 $\sum_j c_j^2=1$，且

$$
\mathbf{u}^\top\boldsymbol{\Sigma}\mathbf{u}
=\sum_{j=1}^{d}\lambda_j c_j^2
\le \lambda_1\sum_{j=1}^{d}c_j^2=\lambda_1.
$$

等号成立当且仅当 $c_j=0$ 对所有 $\lambda_j<\lambda_1$ 的 $j$ 成立，即 $\mathbf{u}$ 平行于最大特征值对应的特征向量。于是 $\mathbf{v}_1$ 为最大特征值 $\lambda_1$ 的单位特征向量（特征值有重根时，最优方向不唯一，张成对应的特征子空间）。

### 3. 后续主成分与正交性

第 $j$ 个主成分在与前 $j-1$ 个主成分正交的补空间中最大化投影方差：

$$
\mathbf{v}_j=\arg\max_{\mathbf{u}}\ \mathbf{u}^\top\boldsymbol{\Sigma}\mathbf{u}
\quad\text{s.t.}\quad \mathbf{u}^\top\mathbf{u}=1,\ \ \mathbf{u}^\top\mathbf{v}_l=0\ (l<j).
$$

将 $\mathbf{u}$ 在特征基下展开，正交约束等价于 $c_l=0$（$l<j$）。于是目标为 $\sum_{l\ge j}\lambda_l c_l^2$，在 $\sum_{l\ge j}c_l^2=1$ 下最大值为 $\lambda_j$，取 $\mathbf{u}=\mathbf{v}_j$。由此得到两条结论：

1. 主成分两两正交，$\mathbf{V}_k^\top\mathbf{V}_k=\mathbf{I}_k$；
2. 投影方差按特征值降序排列，$\operatorname{Var}(\mathbf{v}_1)\ge\cdots\ge\operatorname{Var}(\mathbf{v}_d)$。

正交性使 $k$ 维得分之间线性无关，协方差矩阵为对角阵 $\operatorname{diag}(\lambda_1,\dots,\lambda_k)$，这是 PCA 能去除特征间线性相关的原因。

### 4. 重构误差最小化的等价性

记 $\mathbf{P}_k=\mathbf{V}_k\mathbf{V}_k^\top$，它是对称幂等矩阵（$\mathbf{P}_k^2=\mathbf{P}_k$），表示到前 $k$ 个主成分张成子空间的正交投影。重构误差的 Frobenius 范数平方为

$$
\lVert\mathbf{X}_c-\mathbf{X}_c\mathbf{P}_k\rVert_F^2
=\operatorname{tr}\left((\mathbf{I}-\mathbf{P}_k)\mathbf{X}_c^\top\mathbf{X}_c(\mathbf{I}-\mathbf{P}_k)\right)
=\operatorname{tr}\left(\mathbf{X}_c^\top\mathbf{X}_c(\mathbf{I}-\mathbf{P}_k)\right),
$$

最后一步用到 $\mathbf{I}-\mathbf{P}_k$ 的对称幂等性。代入 $\mathbf{X}_c^\top\mathbf{X}_c=n\boldsymbol{\Sigma}=n\mathbf{V}\boldsymbol{\Lambda}\mathbf{V}^\top$：

$$
\operatorname{tr}\left(n\mathbf{V}\boldsymbol{\Lambda}\mathbf{V}^\top(\mathbf{I}-\mathbf{P}_k)\right)
=n\operatorname{tr}\left(\boldsymbol{\Lambda}\mathbf{V}^\top(\mathbf{I}-\mathbf{V}_k\mathbf{V}_k^\top)\mathbf{V}\right)
=n\sum_{j=k+1}^{d}\lambda_j.
$$

其中 $\mathbf{V}^\top\mathbf{V}_k\mathbf{V}_k^\top\mathbf{V}$ 的前 $k$ 个对角元为 1、其余为 0。对任意 $k$ 维正交投影，同样的展开给出误差 $n\left(\sum_j\lambda_j-\sum_{l=1}^{k}\mathbf{u}_l^\top\boldsymbol{\Sigma}\mathbf{u}_l\right)$，由 Rayleigh 商上界 $\mathbf{u}_l^\top\boldsymbol{\Sigma}\mathbf{u}_l\le\lambda_l$，该误差不可能小于 $n\sum_{j>k}\lambda_j$。因此：

$$
\boxed{\ \min_{\mathbf{V}_k^\top\mathbf{V}_k=\mathbf{I}_k}\lVert\mathbf{X}_c-\mathbf{X}_c\mathbf{V}_k\mathbf{V}_k^\top\rVert_F^2
=n\sum_{j=k+1}^{d}\lambda_j\ }
$$

方差最大化与重构误差最小化是同一优化问题的两种表述，二者通过迹恒等式联系，而不是两个独立性质。

### 5. 解释方差比与主成分数量

总方差为 $\operatorname{tr}(\boldsymbol{\Sigma})=\sum_j\lambda_j$。前 $k$ 个主成分保留的方差比例为

$$
r_k=\frac{\sum_{j=1}^{k}\lambda_j}{\sum_{j=1}^{d}\lambda_j},
$$

它与重构误差满足 $\lVert\mathbf{X}_c-\hat{\mathbf{X}}\rVert_F^2=n\left(1-r_k\right)\sum_j\lambda_j$。选择 $k$ 的常用规则：

| 规则 | 判据 | 适用与代价 |
|---|---|---|
| 累计方差阈值 | $r_k\ge 0.90$ 或 $0.95$ | 简单；阈值与任务无关，可能保留与标签无关的方向 |
| Kaiser 准则 | 在相关矩阵上取 $\lambda_j>1$ | 要求先标准化；仅适用于标准化后的数据 |
| 碎石图拐点 | 特征值曲线由陡转缓处 | 主观，重根或平滑下降时无明确拐点 |
| 重构误差目标 | $n\sum_{j>k}\lambda_j\le\varepsilon$ | 需给出可解释的误差上界 |
| 下游验证 | 对每个 $k$ 做交叉验证 | 计算量最大，但对监督任务最可靠 |

注意 $r_k$ 随 $k$ 单调不减，且在训练集上计算；用测试集选择 $k$ 会把测试信息带入模型选择。

### 6. 与 SVD 的关系及白化

对 $\mathbf{X}_c$ 做薄奇异值分解：

$$
\mathbf{X}_c=\mathbf{U}\mathbf{S}\mathbf{V}^\top,\qquad
\mathbf{U}\in\mathbb{R}^{n\times r},\ \mathbf{S}\in\mathbb{R}^{r\times r},\ \mathbf{V}\in\mathbb{R}^{d\times r},
$$

$r=\operatorname{rank}(\mathbf{X}_c)\le\min(n,d)$，$s_1\ge\cdots\ge s_r>0$。代入协方差：

$$
\boldsymbol{\Sigma}=\frac{1}{n}\mathbf{V}\mathbf{S}^2\mathbf{V}^\top
\ \Longrightarrow\ \lambda_j=\frac{s_j^2}{n},\qquad \mathbf{v}_j\ \text{为}\ \mathbf{V}\ \text{的第}\ j\ \text{列}.
$$

于是主成分方向是右奇异向量，得分矩阵为 $\mathbf{Z}=\mathbf{X}_c\mathbf{V}=\mathbf{U}\mathbf{S}$；第 $j$ 个得分的样本方差为 $s_j^2/n=\lambda_j$。当 $n<d$ 时，可先对 $n\times n$ 的 Gram 矩阵 $\mathbf{X}_c\mathbf{X}_c^\top=\mathbf{U}\mathbf{S}^2\mathbf{U}^\top$ 做特征分解，再由 $\mathbf{V}=\mathbf{X}_c^\top\mathbf{U}\mathbf{S}^{-1}$ 恢复方向，计算量从 $O(d^3)$ 降为 $O(n^3)$。只需前 $k$ 个分量时可使用随机化 SVD，计算量约为 $O(ndk)$，只与目标秩 $k$ 线性相关。

白化把得分各维除以标准差：

$$
\mathbf{Z}_{\text{white}}=\mathbf{X}_c\mathbf{V}_k\boldsymbol{\Lambda}_k^{-1/2},
\qquad
\operatorname{Cov}(\mathbf{Z}_{\text{white}})
=\boldsymbol{\Lambda}_k^{-1/2}\mathbf{V}_k^\top\boldsymbol{\Sigma}\mathbf{V}_k\boldsymbol{\Lambda}_k^{-1/2}
=\mathbf{I}_k.
$$

白化消除各主成分的尺度差异，使后续基于欧氏距离的方法（k 近邻、SVM 的 RBF 核）不再被大方差方向主导。代价是低方差方向被同等放大，若该方向主要是噪声，信噪比会下降。ZCA 白化在 $\mathbf{Z}_{\text{white}}$ 上右乘 $\mathbf{V}_k^\top$ 回到原坐标系，输出仍为 $d$ 维；$k=d$ 时其协方差为 $\mathbf{I}_d$，$k<d$ 时协方差为投影矩阵 $\mathbf{V}_k\mathbf{V}_k^\top$。

### 7. 核 PCA

当数据位于非线性流形上时，线性子空间不足以低误差重构。核 PCA 用特征映射 $\phi:\mathbb{R}^d\to\mathcal{H}$ 把样本送入高维空间，在 $\mathcal{H}$ 中执行 PCA，但只通过核函数 $k(\mathbf{x}_i,\mathbf{x}_j)=\phi(\mathbf{x}_i)^\top\phi(\mathbf{x}_j)$ 访问内积。

步骤：

1. 计算核矩阵 $\mathbf{K}\in\mathbb{R}^{n\times n}$，$K_{ij}=k(\mathbf{x}_i,\mathbf{x}_j)$。
2. 在特征空间中中心化，等价于 $\tilde{\mathbf{K}}=\mathbf{H}\mathbf{K}\mathbf{H}$，其中 $\mathbf{H}=\mathbf{I}_n-\frac{1}{n}\mathbf{1}\mathbf{1}^\top$ 为中心化矩阵，$\mathbf{1}$ 为全 1 列向量。
3. 解特征问题 $\tilde{\mathbf{K}}\boldsymbol{\alpha}=n\lambda\boldsymbol{\alpha}$，取前 $k$ 个特征向量并归一化。
4. 新样本 $\mathbf{x}$ 的第 $j$ 个投影为 $z_j(\mathbf{x})=\sum_{i=1}^{n}\alpha_{ij}k(\mathbf{x}_i,\mathbf{x})$。

核 PCA 的时间复杂度为 $O(n^3)$、空间复杂度为 $O(n^2)$，不适合 $n$ 很大的场景；核函数与带宽的选择等价于选择特征空间的几何结构，需用交叉验证确定。

### 8. 局限

1. 线性。PCA 只能找到线性子空间；数据位于弯曲流形时，需核 PCA、自编码器或流形学习方法。
2. 方差导向。最大化方差等价于最小化平方重构误差，二者都不涉及标签；一个方差很小但对分类高度可分的方向会被丢弃。与此对照，线性判别分析（LDA）使用类标签最大化类间散度与类内散度之比。
3. 对尺度敏感。未标准化时，量纲大的特征方差大，会占据前几个主成分；标准化后各特征方差为 1，PCA 实际分解的是相关矩阵。
4. 对离群点敏感。离群点会显著抬高某些方向的方差，使主成分偏向离群点；稳健 PCA 或先做异常检测可缓解，见 [[异常检测]]。
5. 只使用二阶统计量。均值与协方差无法描述多峰、偏态或非线性依赖结构。
6. 符号与可解释性。特征向量的符号可整体取反而不改变投影子空间；载荷的绝对值才有比较意义，主成分也常是全部原始特征的稠密组合，难以单独命名。

## 关键直觉

> [!tip] 机制性直觉
> PCA 是在正交约束下，用 $k$ 个线性方向对中心化数据做最小平方误差逼近；方差最大化与重构误差最小化通过迹恒等式 $\lVert\mathbf{X}_c(\mathbf{I}-\mathbf{P}_k)\rVert_F^2=\operatorname{tr}(\mathbf{X}_c^\top\mathbf{X}_c(\mathbf{I}-\mathbf{P}_k))$ 成为同一问题的两种写法。它与严格定义的对应关系是：投影矩阵 $\mathbf{P}_k$ 的列空间即前 $k$ 个特征向量张成的子空间，$\mathbf{P}_k$ 的选取完全由 $\boldsymbol{\Sigma}$ 的谱决定。

## 例子与代码

### 数值例子：手算二维 PCA

取三个中心化样本 $(1,1)$、$(-1,0)$、$(0,-1)$。协方差矩阵为

$$
\boldsymbol{\Sigma}=\frac{1}{3}\begin{pmatrix}2&1\\1&2\end{pmatrix}.
$$

特征值为 $\lambda_1=1$、$\lambda_2=1/3$，对应单位特征向量 $\mathbf{v}_1=(1,1)^\top/\sqrt{2}$、$\mathbf{v}_2=(1,-1)^\top/\sqrt{2}$。第一主成分解释方差比 $1/(1+1/3)=0.75$。若只保留第一主成分，重构误差平方和为 $n\lambda_2=3\times\frac{1}{3}=1$，与直接计算三个样本到直线 $x=y$ 的距离平方和一致。

### NumPy 实现与 sklearn 对照

```python
import numpy as np
from sklearn.decomposition import PCA

rng = np.random.default_rng(0)
n, d = 200, 5
latent = rng.normal(size=(3, n))                    # 3 个潜在因子
X = latent.T @ rng.normal(size=(3, d)) + 0.10 * rng.normal(size=(n, d))

Xc = X - X.mean(axis=0, keepdims=True)              # 中心化，均值不进入协方差
Sigma = Xc.T @ Xc / n                               # 与推导一致，除以 n
lam, V = np.linalg.eigh(Sigma)                      # 对称矩阵专用，返回升序
order = np.argsort(lam)[::-1]                       # 改为降序
lam, V = lam[order], V[:, order]

ratio = lam / lam.sum()
print("特征值:", np.round(lam, 4))
print("解释方差比:", np.round(ratio, 4))
print("累计解释方差比:", np.round(np.cumsum(ratio), 4))

k = 2
Z = Xc @ V[:, :k]                                   # 得分 (200, 2)
Xrec = Z @ V[:, :k].T                               # 重构 (200, 5)
sse = np.sum((Xc - Xrec) ** 2)                      # Frobenius 范数平方
print("重构误差平方和:", round(sse, 5))
print("n × 其余特征值之和:", round(n * lam[k:].sum(), 5))
```

预期输出：

```text
特征值: [11.5512  0.6236  0.2282  0.01    0.0085]
解释方差比: [0.9299 0.0502 0.0184 0.0008 0.0007]
累计解释方差比: [0.9299 0.9801 0.9985 0.9993 1.    ]
重构误差平方和: 49.32538
n × 其余特征值之和: 49.32538
```

两行误差完全相等，验证了第 4 节的恒等式。前两个主成分保留了 98.01% 的方差；若阈值取 0.95，$k=2$ 即满足。

```python
# 承接上一代码块：X、Xc、V、lam、Z、ratio 均已定义
pca = PCA(n_components=5, svd_solver="full").fit(X)
print("sklearn 解释方差比:", np.round(pca.explained_variance_ratio_, 4))
print("与 NumPy 一致:", np.allclose(pca.explained_variance_ratio_, ratio))

U, S, Vt = np.linalg.svd(Xc, full_matrices=False)
print("S²/n:", np.round(S ** 2 / n, 4))
print("方向一致（取绝对值）:", np.allclose(np.abs(V), np.abs(Vt.T)))

Z_white = Z / np.sqrt(lam[:2])                       # 白化：各维方差归一到 1
print("白化后协方差:\n", np.round(np.cov(Z_white, rowvar=False, bias=True), 6))
```

预期输出：

```text
sklearn 解释方差比: [0.9299 0.0502 0.0184 0.0008 0.0007]
与 NumPy 一致: True
S²/n: [11.5512  0.6236  0.2282  0.01    0.0085]
方向一致（取绝对值）: True
白化后协方差:
 [[ 1.  0.]
  [ 0.  1.]]
```

说明：

1. `eigh` 而非 `eig`：前者利用对称性，数值更稳定且返回实特征值；协方差矩阵必然对称。
2. 比较特征向量必须取绝对值：$\mathbf{v}$ 与 $-\mathbf{v}$ 给出同一投影子空间，LAPACK 与 sklearn 的符号约定可能不同。
3. `PCA` 内部会再次中心化，故传入原始 `X` 与传入 `Xc` 的得分相同；传入 `Xc` 时重构误差口径才与手写版本一致。
4. 白化协方差为单位阵，说明各主成分已被去相关并统一尺度；若在测试集上白化，必须使用训练集估计的 $\boldsymbol{\mu}$、$\mathbf{V}_k$、$\boldsymbol{\Lambda}_k$。

### 代码练习

把生成数据的噪声系数从 0.10 改为 2.0，重复运行。前两个主成分的累计解释方差比会显著下降，重构误差随之上升；这说明 PCA 的降维收益取决于数据是否近似低秩，而不是算法本身的性质。

## 易错点

> [!warning] 常见错误
> - 未标准化就做 PCA。量纲为万元的收入列方差远大于量纲为年的年龄列，前几个主成分会被收入主导；若目的是比较特征贡献，应先标准化，此时 $\boldsymbol{\Sigma}$ 是相关矩阵。
> - 先对全量数据 `fit` PCA，再划分训练集与测试集。测试集的均值与方差进入了投影方向，评估结果偏乐观。正确做法是把 PCA 放进 `Pipeline`，只在训练折上 `fit`。
> - 用 `np.linalg.eig` 处理协方差矩阵，或忘记按特征值降序排列。`eig` 不保证返回顺序与实特征值，未排序时取前 $k$ 列会得到任意方向而非主成分。
> - 把低方差方向等同于不重要。方差衡量的是无监督的重构贡献；在监督任务中，类间差异可能恰好落在低方差方向上。
> - 混用协方差的 $1/n$ 与 $1/(n-1)$ 两种口径，却仍用 $n\sum_{j>k}\lambda_j$ 核对重构误差，导致差一个因子 $n/(n-1)$。
> - 用测试集选择主成分数量 $k$，再在同一测试集上报告误差。$k$ 是超参数，应在训练集内部用交叉验证选择，见 [[模型评估与交叉验证]]。

## 关联笔记

- 前置：[[矩阵分解-SVD与特征分解]] —— PCA 的特征值问题与 SVD 是同一分解的两种写法，$\lambda_j=s_j^2/n$；先掌握奇异值分解可使本篇第 6 节无需额外铺垫。
- 前置：[[线性代数]] —— 谱定理、正交投影与 Rayleigh 商是本篇全部推导的工具。
- 对照：[[无监督学习与聚类]] —— 聚类使用距离结构划分样本，PCA 使用方差结构压缩坐标；二者都不使用标签，但目标不同。
- 后续：[[模型评估与交叉验证]] —— 降维是超参数，必须用嵌套交叉验证评估其泛化影响，避免选择偏差。
- 后续：[[推荐系统]] —— 矩阵分解中的隐向量可视为用户-物品评分矩阵的低秩 PCA 式分解，正则化目标与交替最小二乘在本篇之外扩展。

## 达标检测

- [ ] 能写出 PCA 的优化目标（含单位范数约束），并用拉格朗日乘子推出 $\boldsymbol{\Sigma}\mathbf{u}=\lambda\mathbf{u}$。
- [ ] 能独立证明 $\lVert\mathbf{X}_c(\mathbf{I}-\mathbf{P}_k)\rVert_F^2=n\sum_{j>k}\lambda_j$，并说明每一步用了投影矩阵的哪条性质。
- [ ] 能运行本篇代码，把 $k$ 从 1 改到 5，记录累计解释方差比与重构误差，并验证两者满足 $n(1-r_k)\sum_j\lambda_j$。
- [ ] 能说明为什么 sklearn 的 `components_` 与 NumPy 特征向量可能符号相反，以及为什么这不影响降维结果。
- [ ] 能构造一个反例：某个低方差方向对二分类高度可分，从而说明 PCA 不保证提升分类精度。
- [ ] 能指出「先对全量数据做 PCA 再交叉验证」的泄漏路径，并给出基于 `Pipeline` 的修正写法。

## 参考来源

- Hastie, Tibshirani, Friedman, *The Elements of Statistical Learning*, 2nd ed., 2009, 第 14 章 14.5 节 —— 对应本篇主成分的方差最大化表述、解释方差比与核 PCA 简述。
- d2l.ai《动手学深度学习》，线性代数与降维相关章节中的「主成分分析」一节 —— 对应本篇投影方差与重构误差的代码实现。
- scikit-learn 用户指南，*Decomposition* 中的 PCA 与 Whitening 小节 —— 对应本篇与 sklearn 的对照、白化与 `svd_solver` 参数含义。
- NumPy 文档，`numpy.linalg.eigh` 与 `numpy.linalg.svd` 条目 —— 对应本篇特征分解、SVD 关系与数值稳定性说明。
- Stanford CS229 课程讲义，主成分分析一节 —— 对应本篇拉格朗日乘子推导与降维动机。
