w wyl123ly 的博客
MD

PCA与降维

21 KB 2026.10.18 原文件

PCA与降维

定义

主成分分析(Principal Component Analysis, PCA)是一种线性降维方法:对中心化数据矩阵 ,求 个标准正交方向 ,使数据在这些方向上的投影方差之和最大,并使 维线性重构的平方误差最小。

符号与术语:

  • :样本数;:原始特征维数;:目标维数,。
  • :第 个样本,取行向量;它是 的第 行。
  • 中心化:,其中 , 为全 1 列向量。
  • :样本协方差矩阵(除以 )。它对称半正定,特征值 ,对应标准正交特征向量 。
  • 主成分(principal component):,满足 且 ()。
  • 得分(score):,矩阵形式 ,。
  • 重构:。
  • 解释方差比(explained variance ratio):。
  • 白化(whitening):对得分做线性变换,使其协方差矩阵为单位阵。

为什么重要

高维特征带来三类可度量的代价。其一,参数数量与存储随 增长,距离计算与最近邻检索的复杂度随 增长。其二,当 接近或超过 时,协方差矩阵 秩亏,许多依赖 的方法(马氏距离、高斯判别分析)不可直接使用。其三,若数据近似位于低维线性子空间,保留全部 维只会引入方差小、与任务无关的方向,降低后续模型的样本效率。

没有 PCA 时,仍可用特征选择或正则化控制维度,但特征选择丢弃整列,无法构造特征的线性组合;PCA 给出的是在平方误差意义下最优的线性压缩。它同时是理解更复杂降维方法的最小模型:核 PCA 把线性投影替换为核空间投影,自编码器把线性映射替换为神经网络映射,矩阵分解-SVD与特征分解 给出同一结论的代数形式。

在全书中的位置:PCA 依赖 线性代数 中的特征分解与 概率与统计 中的协方差,是 无监督学习与聚类 之后、模型评估与交叉验证 之前的必读内容;其白化与降维步骤在特征工程、推荐系统 的隐向量初始化、神经网络与前向传播 的输入预处理中反复出现。

原理与推导

1. 问题设定与投影方差

设 已中心化,即每列均值为 0。取单位向量 ,样本投影为 。投影后的样本均值为

故投影方差等于投影二阶矩:

第一主成分定义为

约束不可省略:若只最大化 ,令 的模长趋于无穷即可使目标无界;单位约束把问题限定在方向的选择上。

2. 拉格朗日乘子与特征值问题

构造拉格朗日函数, 为乘子:

对 求梯度并令其为零:

因此驻点必为 的特征向量, 为对应特征值。左乘 得

即目标函数值等于特征值。由谱定理,实对称矩阵可正交对角化:

对任意单位向量 ,写 ,则 ,且

等号成立当且仅当 对所有 的 成立,即 平行于最大特征值对应的特征向量。于是 为最大特征值 的单位特征向量(特征值有重根时,最优方向不唯一,张成对应的特征子空间)。

3. 后续主成分与正交性

第 个主成分在与前 个主成分正交的补空间中最大化投影方差:

将 在特征基下展开,正交约束等价于 ()。于是目标为 ,在 下最大值为 ,取 。由此得到两条结论:

  1. 主成分两两正交,;
  2. 投影方差按特征值降序排列,。

正交性使 维得分之间线性无关,协方差矩阵为对角阵 ,这是 PCA 能去除特征间线性相关的原因。

4. 重构误差最小化的等价性

记 ,它是对称幂等矩阵(),表示到前 个主成分张成子空间的正交投影。重构误差的 Frobenius 范数平方为

最后一步用到 的对称幂等性。代入 :

其中 的前 个对角元为 1、其余为 0。对任意 维正交投影,同样的展开给出误差 ,由 Rayleigh 商上界 ,该误差不可能小于 。因此:

方差最大化与重构误差最小化是同一优化问题的两种表述,二者通过迹恒等式联系,而不是两个独立性质。

5. 解释方差比与主成分数量

总方差为 。前 个主成分保留的方差比例为

它与重构误差满足 。选择 的常用规则:

规则判据适用与代价
累计方差阈值 或 简单;阈值与任务无关,可能保留与标签无关的方向
Kaiser 准则在相关矩阵上取 要求先标准化;仅适用于标准化后的数据
碎石图拐点特征值曲线由陡转缓处主观,重根或平滑下降时无明确拐点
重构误差目标需给出可解释的误差上界
下游验证对每个 做交叉验证计算量最大,但对监督任务最可靠

注意 随 单调不减,且在训练集上计算;用测试集选择 会把测试信息带入模型选择。

6. 与 SVD 的关系及白化

对 做薄奇异值分解:

,。代入协方差:

于是主成分方向是右奇异向量,得分矩阵为 ;第 个得分的样本方差为 。当 时,可先对 的 Gram 矩阵 做特征分解,再由 恢复方向,计算量从 降为 。只需前 个分量时可使用随机化 SVD,计算量约为 ,只与目标秩 线性相关。

白化把得分各维除以标准差:

白化消除各主成分的尺度差异,使后续基于欧氏距离的方法(k 近邻、SVM 的 RBF 核)不再被大方差方向主导。代价是低方差方向被同等放大,若该方向主要是噪声,信噪比会下降。ZCA 白化在 上右乘 回到原坐标系,输出仍为 维; 时其协方差为 , 时协方差为投影矩阵 。

7. 核 PCA

当数据位于非线性流形上时,线性子空间不足以低误差重构。核 PCA 用特征映射 把样本送入高维空间,在 中执行 PCA,但只通过核函数 访问内积。

步骤:

  1. 计算核矩阵 ,。
  2. 在特征空间中中心化,等价于 ,其中 为中心化矩阵, 为全 1 列向量。
  3. 解特征问题 ,取前 个特征向量并归一化。
  4. 新样本 的第 个投影为 。

核 PCA 的时间复杂度为 、空间复杂度为 ,不适合 很大的场景;核函数与带宽的选择等价于选择特征空间的几何结构,需用交叉验证确定。

8. 局限

  1. 线性。PCA 只能找到线性子空间;数据位于弯曲流形时,需核 PCA、自编码器或流形学习方法。
  2. 方差导向。最大化方差等价于最小化平方重构误差,二者都不涉及标签;一个方差很小但对分类高度可分的方向会被丢弃。与此对照,线性判别分析(LDA)使用类标签最大化类间散度与类内散度之比。
  3. 对尺度敏感。未标准化时,量纲大的特征方差大,会占据前几个主成分;标准化后各特征方差为 1,PCA 实际分解的是相关矩阵。
  4. 对离群点敏感。离群点会显著抬高某些方向的方差,使主成分偏向离群点;稳健 PCA 或先做异常检测可缓解,见 异常检测。
  5. 只使用二阶统计量。均值与协方差无法描述多峰、偏态或非线性依赖结构。
  6. 符号与可解释性。特征向量的符号可整体取反而不改变投影子空间;载荷的绝对值才有比较意义,主成分也常是全部原始特征的稠密组合,难以单独命名。

关键直觉

机制性直觉

PCA 是在正交约束下,用 个线性方向对中心化数据做最小平方误差逼近;方差最大化与重构误差最小化通过迹恒等式 成为同一问题的两种写法。它与严格定义的对应关系是:投影矩阵 的列空间即前 个特征向量张成的子空间, 的选取完全由 的谱决定。

例子与代码

数值例子:手算二维 PCA

取三个中心化样本 、、。协方差矩阵为

特征值为 、,对应单位特征向量 、。第一主成分解释方差比 。若只保留第一主成分,重构误差平方和为 ,与直接计算三个样本到直线 的距离平方和一致。

NumPy 实现与 sklearn 对照

import numpy as np
from sklearn.decomposition import PCA

rng = np.random.default_rng(0)
n, d = 200, 5
latent = rng.normal(size=(3, n))                    # 3 个潜在因子
X = latent.T @ rng.normal(size=(3, d)) + 0.10 * rng.normal(size=(n, d))

Xc = X - X.mean(axis=0, keepdims=True)              # 中心化,均值不进入协方差
Sigma = Xc.T @ Xc / n                               # 与推导一致,除以 n
lam, V = np.linalg.eigh(Sigma)                      # 对称矩阵专用,返回升序
order = np.argsort(lam)[::-1]                       # 改为降序
lam, V = lam[order], V[:, order]

ratio = lam / lam.sum()
print("特征值:", np.round(lam, 4))
print("解释方差比:", np.round(ratio, 4))
print("累计解释方差比:", np.round(np.cumsum(ratio), 4))

k = 2
Z = Xc @ V[:, :k]                                   # 得分 (200, 2)
Xrec = Z @ V[:, :k].T                               # 重构 (200, 5)
sse = np.sum((Xc - Xrec) ** 2)                      # Frobenius 范数平方
print("重构误差平方和:", round(sse, 5))
print("n × 其余特征值之和:", round(n * lam[k:].sum(), 5))

预期输出:

特征值: [11.5512  0.6236  0.2282  0.01    0.0085]
解释方差比: [0.9299 0.0502 0.0184 0.0008 0.0007]
累计解释方差比: [0.9299 0.9801 0.9985 0.9993 1.    ]
重构误差平方和: 49.32538
n × 其余特征值之和: 49.32538

两行误差完全相等,验证了第 4 节的恒等式。前两个主成分保留了 98.01% 的方差;若阈值取 0.95, 即满足。

# 承接上一代码块:X、Xc、V、lam、Z、ratio 均已定义
pca = PCA(n_components=5, svd_solver="full").fit(X)
print("sklearn 解释方差比:", np.round(pca.explained_variance_ratio_, 4))
print("与 NumPy 一致:", np.allclose(pca.explained_variance_ratio_, ratio))

U, S, Vt = np.linalg.svd(Xc, full_matrices=False)
print("S²/n:", np.round(S ** 2 / n, 4))
print("方向一致(取绝对值):", np.allclose(np.abs(V), np.abs(Vt.T)))

Z_white = Z / np.sqrt(lam[:2])                       # 白化:各维方差归一到 1
print("白化后协方差:\n", np.round(np.cov(Z_white, rowvar=False, bias=True), 6))

预期输出:

sklearn 解释方差比: [0.9299 0.0502 0.0184 0.0008 0.0007]
与 NumPy 一致: True
S²/n: [11.5512  0.6236  0.2282  0.01    0.0085]
方向一致(取绝对值): True
白化后协方差:
 [[ 1.  0.]
  [ 0.  1.]]

说明:

  1. eigh 而非 eig:前者利用对称性,数值更稳定且返回实特征值;协方差矩阵必然对称。
  2. 比较特征向量必须取绝对值: 与 给出同一投影子空间,LAPACK 与 sklearn 的符号约定可能不同。
  3. PCA 内部会再次中心化,故传入原始 X 与传入 Xc 的得分相同;传入 Xc 时重构误差口径才与手写版本一致。
  4. 白化协方差为单位阵,说明各主成分已被去相关并统一尺度;若在测试集上白化,必须使用训练集估计的 、、。

代码练习

把生成数据的噪声系数从 0.10 改为 2.0,重复运行。前两个主成分的累计解释方差比会显著下降,重构误差随之上升;这说明 PCA 的降维收益取决于数据是否近似低秩,而不是算法本身的性质。

易错点

常见错误

- 未标准化就做 PCA。量纲为万元的收入列方差远大于量纲为年的年龄列,前几个主成分会被收入主导;若目的是比较特征贡献,应先标准化,此时 是相关矩阵。

- 先对全量数据 fit PCA,再划分训练集与测试集。测试集的均值与方差进入了投影方向,评估结果偏乐观。正确做法是把 PCA 放进 Pipeline,只在训练折上 fit。

- 用 np.linalg.eig 处理协方差矩阵,或忘记按特征值降序排列。eig 不保证返回顺序与实特征值,未排序时取前 列会得到任意方向而非主成分。

- 把低方差方向等同于不重要。方差衡量的是无监督的重构贡献;在监督任务中,类间差异可能恰好落在低方差方向上。

- 混用协方差的 与 两种口径,却仍用 核对重构误差,导致差一个因子 。

- 用测试集选择主成分数量 ,再在同一测试集上报告误差。 是超参数,应在训练集内部用交叉验证选择,见 模型评估与交叉验证。

关联笔记

  • 前置:矩阵分解-SVD与特征分解 —— PCA 的特征值问题与 SVD 是同一分解的两种写法,;先掌握奇异值分解可使本篇第 6 节无需额外铺垫。
  • 前置:线性代数 —— 谱定理、正交投影与 Rayleigh 商是本篇全部推导的工具。
  • 对照:无监督学习与聚类 —— 聚类使用距离结构划分样本,PCA 使用方差结构压缩坐标;二者都不使用标签,但目标不同。
  • 后续:模型评估与交叉验证 —— 降维是超参数,必须用嵌套交叉验证评估其泛化影响,避免选择偏差。
  • 后续:推荐系统 —— 矩阵分解中的隐向量可视为用户-物品评分矩阵的低秩 PCA 式分解,正则化目标与交替最小二乘在本篇之外扩展。

达标检测

  • [ ] 能写出 PCA 的优化目标(含单位范数约束),并用拉格朗日乘子推出 。
  • [ ] 能独立证明 ,并说明每一步用了投影矩阵的哪条性质。
  • [ ] 能运行本篇代码,把 从 1 改到 5,记录累计解释方差比与重构误差,并验证两者满足 。
  • [ ] 能说明为什么 sklearn 的 components_ 与 NumPy 特征向量可能符号相反,以及为什么这不影响降维结果。
  • [ ] 能构造一个反例:某个低方差方向对二分类高度可分,从而说明 PCA 不保证提升分类精度。
  • [ ] 能指出「先对全量数据做 PCA 再交叉验证」的泄漏路径,并给出基于 Pipeline 的修正写法。

参考来源

  • Hastie, Tibshirani, Friedman, The Elements of Statistical Learning, 2nd ed., 2009, 第 14 章 14.5 节 —— 对应本篇主成分的方差最大化表述、解释方差比与核 PCA 简述。
  • d2l.ai《动手学深度学习》,线性代数与降维相关章节中的「主成分分析」一节 —— 对应本篇投影方差与重构误差的代码实现。
  • scikit-learn 用户指南,Decomposition 中的 PCA 与 Whitening 小节 —— 对应本篇与 sklearn 的对照、白化与 svd_solver 参数含义。
  • NumPy 文档,numpy.linalg.eigh 与 numpy.linalg.svd 条目 —— 对应本篇特征分解、SVD 关系与数值稳定性说明。
  • Stanford CS229 课程讲义,主成分分析一节 —— 对应本篇拉格朗日乘子推导与降维动机。