PCA与降维
定义
主成分分析(Principal Component Analysis, PCA)是一种线性降维方法:对中心化数据矩阵 ,求 个标准正交方向 ,使数据在这些方向上的投影方差之和最大,并使 维线性重构的平方误差最小。
符号与术语:
- :样本数;:原始特征维数;:目标维数,。
- :第 个样本,取行向量;它是 的第 行。
- 中心化:,其中 , 为全 1 列向量。
- :样本协方差矩阵(除以 )。它对称半正定,特征值 ,对应标准正交特征向量 。
- 主成分(principal component):,满足 且 ()。
- 得分(score):,矩阵形式 ,。
- 重构:。
- 解释方差比(explained variance ratio):。
- 白化(whitening):对得分做线性变换,使其协方差矩阵为单位阵。
为什么重要
高维特征带来三类可度量的代价。其一,参数数量与存储随 增长,距离计算与最近邻检索的复杂度随 增长。其二,当 接近或超过 时,协方差矩阵 秩亏,许多依赖 的方法(马氏距离、高斯判别分析)不可直接使用。其三,若数据近似位于低维线性子空间,保留全部 维只会引入方差小、与任务无关的方向,降低后续模型的样本效率。
没有 PCA 时,仍可用特征选择或正则化控制维度,但特征选择丢弃整列,无法构造特征的线性组合;PCA 给出的是在平方误差意义下最优的线性压缩。它同时是理解更复杂降维方法的最小模型:核 PCA 把线性投影替换为核空间投影,自编码器把线性映射替换为神经网络映射,矩阵分解-SVD与特征分解 给出同一结论的代数形式。
在全书中的位置:PCA 依赖 线性代数 中的特征分解与 概率与统计 中的协方差,是 无监督学习与聚类 之后、模型评估与交叉验证 之前的必读内容;其白化与降维步骤在特征工程、推荐系统 的隐向量初始化、神经网络与前向传播 的输入预处理中反复出现。
原理与推导
1. 问题设定与投影方差
设 已中心化,即每列均值为 0。取单位向量 ,样本投影为 。投影后的样本均值为
故投影方差等于投影二阶矩:
第一主成分定义为
约束不可省略:若只最大化 ,令 的模长趋于无穷即可使目标无界;单位约束把问题限定在方向的选择上。
2. 拉格朗日乘子与特征值问题
构造拉格朗日函数, 为乘子:
对 求梯度并令其为零:
因此驻点必为 的特征向量, 为对应特征值。左乘 得
即目标函数值等于特征值。由谱定理,实对称矩阵可正交对角化:
对任意单位向量 ,写 ,则 ,且
等号成立当且仅当 对所有 的 成立,即 平行于最大特征值对应的特征向量。于是 为最大特征值 的单位特征向量(特征值有重根时,最优方向不唯一,张成对应的特征子空间)。
3. 后续主成分与正交性
第 个主成分在与前 个主成分正交的补空间中最大化投影方差:
将 在特征基下展开,正交约束等价于 ()。于是目标为 ,在 下最大值为 ,取 。由此得到两条结论:
- 主成分两两正交,;
- 投影方差按特征值降序排列,。
正交性使 维得分之间线性无关,协方差矩阵为对角阵 ,这是 PCA 能去除特征间线性相关的原因。
4. 重构误差最小化的等价性
记 ,它是对称幂等矩阵(),表示到前 个主成分张成子空间的正交投影。重构误差的 Frobenius 范数平方为
最后一步用到 的对称幂等性。代入 :
其中 的前 个对角元为 1、其余为 0。对任意 维正交投影,同样的展开给出误差 ,由 Rayleigh 商上界 ,该误差不可能小于 。因此:
方差最大化与重构误差最小化是同一优化问题的两种表述,二者通过迹恒等式联系,而不是两个独立性质。
5. 解释方差比与主成分数量
总方差为 。前 个主成分保留的方差比例为
它与重构误差满足 。选择 的常用规则:
| 规则 | 判据 | 适用与代价 |
|---|---|---|
| 累计方差阈值 | 或 | 简单;阈值与任务无关,可能保留与标签无关的方向 |
| Kaiser 准则 | 在相关矩阵上取 | 要求先标准化;仅适用于标准化后的数据 |
| 碎石图拐点 | 特征值曲线由陡转缓处 | 主观,重根或平滑下降时无明确拐点 |
| 重构误差目标 | 需给出可解释的误差上界 | |
| 下游验证 | 对每个 做交叉验证 | 计算量最大,但对监督任务最可靠 |
注意 随 单调不减,且在训练集上计算;用测试集选择 会把测试信息带入模型选择。
6. 与 SVD 的关系及白化
对 做薄奇异值分解:
,。代入协方差:
于是主成分方向是右奇异向量,得分矩阵为 ;第 个得分的样本方差为 。当 时,可先对 的 Gram 矩阵 做特征分解,再由 恢复方向,计算量从 降为 。只需前 个分量时可使用随机化 SVD,计算量约为 ,只与目标秩 线性相关。
白化把得分各维除以标准差:
白化消除各主成分的尺度差异,使后续基于欧氏距离的方法(k 近邻、SVM 的 RBF 核)不再被大方差方向主导。代价是低方差方向被同等放大,若该方向主要是噪声,信噪比会下降。ZCA 白化在 上右乘 回到原坐标系,输出仍为 维; 时其协方差为 , 时协方差为投影矩阵 。
7. 核 PCA
当数据位于非线性流形上时,线性子空间不足以低误差重构。核 PCA 用特征映射 把样本送入高维空间,在 中执行 PCA,但只通过核函数 访问内积。
步骤:
- 计算核矩阵 ,。
- 在特征空间中中心化,等价于 ,其中 为中心化矩阵, 为全 1 列向量。
- 解特征问题 ,取前 个特征向量并归一化。
- 新样本 的第 个投影为 。
核 PCA 的时间复杂度为 、空间复杂度为 ,不适合 很大的场景;核函数与带宽的选择等价于选择特征空间的几何结构,需用交叉验证确定。
8. 局限
- 线性。PCA 只能找到线性子空间;数据位于弯曲流形时,需核 PCA、自编码器或流形学习方法。
- 方差导向。最大化方差等价于最小化平方重构误差,二者都不涉及标签;一个方差很小但对分类高度可分的方向会被丢弃。与此对照,线性判别分析(LDA)使用类标签最大化类间散度与类内散度之比。
- 对尺度敏感。未标准化时,量纲大的特征方差大,会占据前几个主成分;标准化后各特征方差为 1,PCA 实际分解的是相关矩阵。
- 对离群点敏感。离群点会显著抬高某些方向的方差,使主成分偏向离群点;稳健 PCA 或先做异常检测可缓解,见 异常检测。
- 只使用二阶统计量。均值与协方差无法描述多峰、偏态或非线性依赖结构。
- 符号与可解释性。特征向量的符号可整体取反而不改变投影子空间;载荷的绝对值才有比较意义,主成分也常是全部原始特征的稠密组合,难以单独命名。
关键直觉
机制性直觉
PCA 是在正交约束下,用 个线性方向对中心化数据做最小平方误差逼近;方差最大化与重构误差最小化通过迹恒等式 成为同一问题的两种写法。它与严格定义的对应关系是:投影矩阵 的列空间即前 个特征向量张成的子空间, 的选取完全由 的谱决定。
例子与代码
数值例子:手算二维 PCA
取三个中心化样本 、、。协方差矩阵为
特征值为 、,对应单位特征向量 、。第一主成分解释方差比 。若只保留第一主成分,重构误差平方和为 ,与直接计算三个样本到直线 的距离平方和一致。
NumPy 实现与 sklearn 对照
import numpy as np
from sklearn.decomposition import PCA
rng = np.random.default_rng(0)
n, d = 200, 5
latent = rng.normal(size=(3, n)) # 3 个潜在因子
X = latent.T @ rng.normal(size=(3, d)) + 0.10 * rng.normal(size=(n, d))
Xc = X - X.mean(axis=0, keepdims=True) # 中心化,均值不进入协方差
Sigma = Xc.T @ Xc / n # 与推导一致,除以 n
lam, V = np.linalg.eigh(Sigma) # 对称矩阵专用,返回升序
order = np.argsort(lam)[::-1] # 改为降序
lam, V = lam[order], V[:, order]
ratio = lam / lam.sum()
print("特征值:", np.round(lam, 4))
print("解释方差比:", np.round(ratio, 4))
print("累计解释方差比:", np.round(np.cumsum(ratio), 4))
k = 2
Z = Xc @ V[:, :k] # 得分 (200, 2)
Xrec = Z @ V[:, :k].T # 重构 (200, 5)
sse = np.sum((Xc - Xrec) ** 2) # Frobenius 范数平方
print("重构误差平方和:", round(sse, 5))
print("n × 其余特征值之和:", round(n * lam[k:].sum(), 5))
预期输出:
特征值: [11.5512 0.6236 0.2282 0.01 0.0085]
解释方差比: [0.9299 0.0502 0.0184 0.0008 0.0007]
累计解释方差比: [0.9299 0.9801 0.9985 0.9993 1. ]
重构误差平方和: 49.32538
n × 其余特征值之和: 49.32538
两行误差完全相等,验证了第 4 节的恒等式。前两个主成分保留了 98.01% 的方差;若阈值取 0.95, 即满足。
# 承接上一代码块:X、Xc、V、lam、Z、ratio 均已定义
pca = PCA(n_components=5, svd_solver="full").fit(X)
print("sklearn 解释方差比:", np.round(pca.explained_variance_ratio_, 4))
print("与 NumPy 一致:", np.allclose(pca.explained_variance_ratio_, ratio))
U, S, Vt = np.linalg.svd(Xc, full_matrices=False)
print("S²/n:", np.round(S ** 2 / n, 4))
print("方向一致(取绝对值):", np.allclose(np.abs(V), np.abs(Vt.T)))
Z_white = Z / np.sqrt(lam[:2]) # 白化:各维方差归一到 1
print("白化后协方差:\n", np.round(np.cov(Z_white, rowvar=False, bias=True), 6))
预期输出:
sklearn 解释方差比: [0.9299 0.0502 0.0184 0.0008 0.0007]
与 NumPy 一致: True
S²/n: [11.5512 0.6236 0.2282 0.01 0.0085]
方向一致(取绝对值): True
白化后协方差:
[[ 1. 0.]
[ 0. 1.]]
说明:
eigh而非eig:前者利用对称性,数值更稳定且返回实特征值;协方差矩阵必然对称。- 比较特征向量必须取绝对值: 与 给出同一投影子空间,LAPACK 与 sklearn 的符号约定可能不同。
PCA内部会再次中心化,故传入原始X与传入Xc的得分相同;传入Xc时重构误差口径才与手写版本一致。- 白化协方差为单位阵,说明各主成分已被去相关并统一尺度;若在测试集上白化,必须使用训练集估计的 、、。
代码练习
把生成数据的噪声系数从 0.10 改为 2.0,重复运行。前两个主成分的累计解释方差比会显著下降,重构误差随之上升;这说明 PCA 的降维收益取决于数据是否近似低秩,而不是算法本身的性质。
易错点
常见错误
- 未标准化就做 PCA。量纲为万元的收入列方差远大于量纲为年的年龄列,前几个主成分会被收入主导;若目的是比较特征贡献,应先标准化,此时 是相关矩阵。
- 先对全量数据
fitPCA,再划分训练集与测试集。测试集的均值与方差进入了投影方向,评估结果偏乐观。正确做法是把 PCA 放进Pipeline,只在训练折上fit。- 用
np.linalg.eig处理协方差矩阵,或忘记按特征值降序排列。eig不保证返回顺序与实特征值,未排序时取前 列会得到任意方向而非主成分。- 把低方差方向等同于不重要。方差衡量的是无监督的重构贡献;在监督任务中,类间差异可能恰好落在低方差方向上。
- 混用协方差的 与 两种口径,却仍用 核对重构误差,导致差一个因子 。
- 用测试集选择主成分数量 ,再在同一测试集上报告误差。 是超参数,应在训练集内部用交叉验证选择,见 模型评估与交叉验证。
关联笔记
- 前置:矩阵分解-SVD与特征分解 —— PCA 的特征值问题与 SVD 是同一分解的两种写法,;先掌握奇异值分解可使本篇第 6 节无需额外铺垫。
- 前置:线性代数 —— 谱定理、正交投影与 Rayleigh 商是本篇全部推导的工具。
- 对照:无监督学习与聚类 —— 聚类使用距离结构划分样本,PCA 使用方差结构压缩坐标;二者都不使用标签,但目标不同。
- 后续:模型评估与交叉验证 —— 降维是超参数,必须用嵌套交叉验证评估其泛化影响,避免选择偏差。
- 后续:推荐系统 —— 矩阵分解中的隐向量可视为用户-物品评分矩阵的低秩 PCA 式分解,正则化目标与交替最小二乘在本篇之外扩展。
达标检测
- [ ] 能写出 PCA 的优化目标(含单位范数约束),并用拉格朗日乘子推出 。
- [ ] 能独立证明 ,并说明每一步用了投影矩阵的哪条性质。
- [ ] 能运行本篇代码,把 从 1 改到 5,记录累计解释方差比与重构误差,并验证两者满足 。
- [ ] 能说明为什么 sklearn 的
components_与 NumPy 特征向量可能符号相反,以及为什么这不影响降维结果。 - [ ] 能构造一个反例:某个低方差方向对二分类高度可分,从而说明 PCA 不保证提升分类精度。
- [ ] 能指出「先对全量数据做 PCA 再交叉验证」的泄漏路径,并给出基于
Pipeline的修正写法。
参考来源
- Hastie, Tibshirani, Friedman, The Elements of Statistical Learning, 2nd ed., 2009, 第 14 章 14.5 节 —— 对应本篇主成分的方差最大化表述、解释方差比与核 PCA 简述。
- d2l.ai《动手学深度学习》,线性代数与降维相关章节中的「主成分分析」一节 —— 对应本篇投影方差与重构误差的代码实现。
- scikit-learn 用户指南,Decomposition 中的 PCA 与 Whitening 小节 —— 对应本篇与 sklearn 的对照、白化与
svd_solver参数含义。 - NumPy 文档,
numpy.linalg.eigh与numpy.linalg.svd条目 —— 对应本篇特征分解、SVD 关系与数值稳定性说明。 - Stanford CS229 课程讲义,主成分分析一节 —— 对应本篇拉格朗日乘子推导与降维动机。