7-3-主成分分析PCA
一句话概括
把 个样本、 个特征的数据排成矩阵 ,先对每一列中心化(减去列均值),再对它做奇异值分解
那么: 的列就是主方向(principal direction), 的列就是主成分得分(principal component score),第 个主成分的方差是 。
主成分分析(principal component analysis, PCA)就是数据矩阵的 SVD——它把"高维数据的降维与去相关"这件事,变成了一个纯粹的线性代数问题。
本篇覆盖:PCA 要解决的问题、数据矩阵的构造与中心化的必要性、协方差矩阵 、PCA 与 SVD 的完整对应关系、方差最大化与重构误差最小化两种等价视角、主成分个数的选择、一道完全手算的数值例题、PCA 与特征值分解的等价性与数值取舍、可运行的 numpy 代码、五条注意事项(含"不要用 PCA 做特征选择")、Eigenfaces 与多元高斯的联系。
一、定义与问题设定
1.1 PCA 要解决什么问题
问题一:降维。 数据有 个特征,但其中很多特征高度相关(信息重复)。能不能用少数几个"综合指标"来代表原来的 个特征,并且尽量不丢失信息?
问题二:可视化。 人只能直接看懂 维或 维的散点图。若数据有 个特征,如何把它"摊平"到 2 维平面上看一眼?
问题三:去相关。 原始特征之间往往相关(例如"身高"与"体重"),这会让很多统计方法与数值算法变复杂。能不能找到一组互不相关的新特征?
问题四:去噪。 数据中的噪声通常散布在所有方向上,而信号集中在少数方向上。能不能把噪声方向压掉?
PCA 用一个统一的动作同时回答这四个问题:找到一组标准正交的新坐标轴,按"数据在这个方向上变化多大"排序,然后只保留前几个。
1.2 数据矩阵的构造
定义 7.3.1(数据矩阵,data matrix) 设收集了 个样本,每个样本观测了 个特征。把第 个样本的 个特征值写成一行,得到矩阵
约定:行 = 样本,列 = 特征。 是第 个样本的第 个特征取值。
约定冲突的提醒
有些统计学教材用列 = 样本的约定(),写成 。本库统一采用 行 = 样本(与 Strang 教材及机器学习惯例一致),因此协方差矩阵写成 。看到公式时先确认约定,否则转置会全错,这是本主题最常见的低级错误。
1.3 第一步必须是中心化
定义 7.3.2(中心化,centering) 记第 个特征的样本均值为
定义中心化数据矩阵(centered data matrix)
也就是说:每一列减去该列的均值。中心化后每一列的均值都是 :
为什么必须先中心化
PCA 追求的是"方差最大的方向"。方差衡量的是数据围绕均值的散布。如果不中心化,原点就不在数据的"重心"上,第一条主成分会被均值方向(从原点到数据重心那条线)抢走——因为那个方向的"未中心化二阶矩"最大,但它与"数据如何散布"毫无关系。
本篇第七节的数值例题会给出实际对比:同一组数据,中心化后第一主成分占 90.00% 的方差;不中心化时第一主成分占 98.18%,看起来"更好",但它指向的几乎就是均值方向——这个结果没有任何统计意义。
一句话:不中心化的 PCA 是错的,不是"另一种做法"。
1.4 样本协方差矩阵
定义 7.3.3(样本协方差矩阵,sample covariance matrix) 设 已中心化,定义
按元素写出来:
(第二个等号用了中心化,。)
对角线元 是第 个特征的样本方差;非对角元 ()是第 与第 个特征的样本协方差。协方差矩阵的完整讨论见 12-2-协方差矩阵。
基本性质(来自 12-2-协方差矩阵 与 6-4-对称矩阵与正定矩阵):
- 对称:;
- 半正定:对任意 ,
- 特征值非负:,且 全部特征方差之和(总方差);
- 秩:(中心化使每列之和为 ,故 ,秩最多 )。
1.5 主成分的定义
定义 7.3.4(主成分,principal component) 设 是中心化数据矩阵 的样本协方差矩阵, 的单位特征向量为 (标准正交),对应特征值 。定义
- 第 个主方向(principal direction / loading):;
- 第 个主成分得分(principal component score):把每个样本投影到 上得到的向量
- 第 个主成分的方差:;
- 累计方差贡献率(cumulative variance explained):。
主成分是"线性组合"
的第 个分量是 。
也就是说,第 个主成分是原始 个特征的线性组合,组合系数就是 的分量。
这一点有两个直接推论:(1) 主成分一般没有直接物理含义(是"混合"出来的指标);(2) PCA 只能捕捉线性结构,无法处理非线性流形(见第十节的注意事项)。
二、几何直观
2.1 数据是 维空间里的一团点云
把每个样本 看作 维空间中的一个点。 个样本就是一团点云。中心化相当于把整团点云的重心平移到了原点——这是让"方向"这个概念有意义的前提(否则"哪个方向散布最大"这件事会被原点位置干扰)。
PCA 的几何问题可以这样问:
在这团点云中,哪一个方向的"伸展"最长?
"伸展最长"用数学语言说就是:在所有单位向量 ()中,找使投影的方差最大的那一个,即
2.2 二次型在单位球上的最大值
这是一个纯粹的线性代数问题(Rayleigh 商的最大值,见 6-5-二次型与标准形):由于 对称半正定,设 ,令 (正交变换保持 ),则
等号在 、即 (最大特征值的特征向量)时成立。
几何结论:
请记住这幅图像
1. 第一主方向 = 点云伸展最长的方向,对应的方差恰好是 的最大特征值 。
2. 第二主方向 = 在与 垂直的所有方向中伸展最长的,方差 。依此类推。
3. 因为 对称,全部主方向两两正交——新坐标轴是一组标准正交基。
4. 于是 PCA 的几何动作是:把原来的坐标轴整体旋转一下,让新坐标轴依次对准点云的主轴方向。旋转不改变任何一个点到原点的距离,也不改变任何两点之间的距离——它只是换了个"看"数据的方向。
这样一来,"去相关"就有了几何解释:在原始坐标系下,点云是斜的(特征相关);旋转到主轴方向后,点云沿着新坐标轴方向"对齐"了——在新坐标系下样本协方差矩阵是对角的,即新特征之间协方差为 。
2.3 降维 = 把不够重要的方向压扁
旋转之后,点云在各新坐标轴上的伸展长度是 。若某几个方向的伸展极小,说明数据在这几个方向上几乎没有变化——把这些方向压成 损失很小。
"降到 维"的几何动作就是:
- 把点云旋转到主轴方向;
- 把第 个坐标一律置为 (即把点云投影到前 个主轴张成的 维子空间上);
- 投影后每个点只剩 个坐标——这就是"降维后的数据"。
投影误差的几何意义
第 2 步把点"拍"到 维子空间上,每个点移动的距离就是它到该子空间的垂直距离。"压掉的方向伸展越小" ⟺ "点离 维子空间越近" ⟺ "投影误差越小"。这就把"保留方差最大"与"重构误差最小"两件事在几何上统一起来了——第四节会给出代数证明。
三、PCA 就是数据矩阵的 SVD
3.1 从 的 SVD 直接读出 PCA
设中心化数据矩阵 的(缩减)SVD 为
第一步:协方差矩阵的谱分解。 由 7-1-SVD的构造与几何意义 第四节的恒等式,
这正是 的谱分解(6-4-对称矩阵与正定矩阵): 的标准正交特征向量就是 的列,特征值是
第二步:读出主方向。 由定义 7.3.4,主方向就是 的列: 对应方差 。由于 numpy 的 np.linalg.svd 已把奇异值降序排列, 的列也自动按方差降序排列——不需要再排序。
第三步:读出主成分得分。 由定义 ,而 (这是 SVD 的基本关系),所以
也就是说:主成分得分矩阵 恰好等于 ——这正是第 7-2 篇代码里 (U[:, :k] * s[:k]) 那个广播写法的由来。
第四步:验证得分的方差。 得分的样本协方差矩阵是
结果是对角矩阵——这就在代数上证明了"主成分之间互不相关"(协方差为 ),而且第 个主成分的方差是 。
3.2 对应关系总结表
| PCA 概念 | SVD 中的对象 | 数学表达式 | 维数 |
|---|---|---|---|
| 数据矩阵(已中心化) | |||
| 样本数 | 的行数 | — | |
| 特征数 | 的行数 | — | |
| 主方向(载荷 loading) | 的列 | ||
| 主成分得分(score) | 的列 | ||
| 第 主成分的方差 | 标量 | ||
| 总方差 | 标量 | ||
| 累计方差贡献率(前 ) | 能量占比 | 标量 | |
| 维得分矩阵 | |||
| 维最佳重构 | 截断 SVD | ||
| 重构误差(F) | 尾部奇异值 | 标量 | |
| 重构误差(2) | 下一个奇异值 | 标量 | |
| 有效维数(秩) | 非零奇异值个数 | 标量 |
一张表记住 PCA
主方向看 ,得分看 ,方差看 ,降维就是截断 SVD。
只要理解了 7-1-SVD的构造与几何意义 与 7-2-图像压缩与低秩逼近,PCA 就只剩下"统计解释"这一层新东西了。
3.3 为什么中心化会让秩少一个
中心化后每一列的和都是 ,即
,故 ,由秩—零化度定理(3-5-四大子空间的维数)
推论:中心化数据矩阵的秩最多是 。 这有两个实践含义:
- 样本数少于特征数时(,即"高维小样本"),有效维数最多 。 例如 个样本、 个基因特征,最多只能有 个非零奇异值。经典做法是在 的 上做特征分解( 个元素)还是转为在 的 上做( 个元素)——后者快得多,且由 7-1-SVD的构造与几何意义 定理 7.1.14,两者非零特征值相同。
- 是正常的(当 时必然出现),不是数值错误。
四、两种等价视角
PCA 有两种看起来完全不同的表述,而它们给出完全相同的结果。理解这种等价性是真正掌握 PCA 的关键。
4.1 视角一:方差最大化
表述。 依次求
其中 (因为 已中心化,得分的均值也是 )。
直觉。 "保留信息"就是"保留变化"。变化最大的方向就是信息最多的方向,所以第一个主方向应该对准点云伸展最长的方向;第二个主方向在剩余的正交方向中再找伸展最长的,如此类推。
4.2 视角二:重构误差最小化
表述。 找一组 维标准正交基 ,使得数据被投影到 后再"升回" 维的误差最小:
这里 是得分(), 是重构()——先降维再升维。
直觉。 "降维损失最小"就是"投影后每个点到子空间的距离平方和最小"。把点云压到某个 维平面上,希望压得最轻。
4.3 为什么两者等价
定理 7.3.5(PCA 的两种视角等价) 记 ,。则
因此"最小化重构误差"与"最大化保留的方差 "是同一个优化问题。
证明。 记 。由 得
即 是一个正交投影矩阵(见 4-2-投影与投影矩阵)。于是
把两项展开:
用 、,并注意交叉项 与 的迹相等(迹的轮换性),两者与 相消:
(这个恒等式其实是勾股定理在矩阵上的版本:投影残差与投影结果正交,所以平方和相加。)
结论。 因为 是常数,
而 ,所以最大化保留方差 = 最小化重构误差。
两种视角的取舍
- 数学上完全等价,选哪个纯看讲哪个方便。方差最大化的解释更直观("保留信息"),重构误差最小化的形式更容易与 7-2-图像压缩与低秩逼近 的 Eckart–Young 定理衔接。
- 由 Eckart–Young 定理(7-2-图像压缩与低秩逼近 定理 7.2.4),最优的 就是 ,且最小误差是 。所以 PCA 的最优性不需要另证——它就是 Eckart–Young 定理的统计版本。
- 这两种视角的等价性也解释了 PCA 的一个常见混淆点:"保留最多方差"和"损失最少信息"是同一句话,不是两种不同的方法。
五、主成分个数的选择
5.1 累计方差贡献率
定义 7.3.6(方差贡献率) 第 个主成分的方差贡献率(proportion of variance explained)为
前 个主成分的累计方差贡献率为
分母为什么可以换
全部特征方差之和;而 ,所以分子分母中的 相消。用奇异值平方的占比计算,与用特征值的占比计算,结果完全相同。 这带来一个方便的结论:累计方差贡献率恰好等于第 7-2 篇的"能量占比"(见 7-2-图像压缩与低秩逼近 5.5 节)。
常用阈值:
| 阈值 | 适用场景 |
|---|---|
| 探索性分析、快速可视化 | |
| 一般工程应用 | |
| 需要较完整信息的建模 | |
| 近似无损的降维、数值预处理 |
注意: 阈值没有普适标准。 是习惯,不是定理。 选 必须结合后续任务(模型的精度、可解释性要求、计算预算)来决定。
5.2 碎石图
碎石图(scree plot)是把 (或 )对序号 作图。"scree"是地质学里"山坡下的碎石堆"的意思,指曲线陡降之后那段平缓的"碎石坡"。
读法:
- 陡降段:这些主成分承载了主要结构,应当保留;
- 拐点(elbow):曲线由陡变缓的位置,取 为拐点的横坐标;
- 平缓段:这些方向上的方差接近"噪声水平",应丢弃。
若纵轴取对数 ,平缓段若近似为一条直线,说明方差按指数衰减。
辅助判据(Kaiser 准则)。 若数据已经标准化(每个特征的方差都为 ),则总方差 ,平均每个主成分的方差是 。此时保留 的主成分——即"比一个原始特征平均贡献还大"的成分。注意:这个准则只在标准化之后才有意义,未标准化时 的量纲取决于原始单位,比较毫无意义。
5.3 按目标误差反解
若已知允许的重构误差上限,可用 7-2-图像压缩与低秩逼近 的误差公式反解:
注意平方关系! 要求"相对重构误差不超过 ",等价于"累计方差贡献率不低于 "。这一步经常被搞错(把 直接当成 )。
5.4 选择 的完整建议
实践中的四条建议
1. 同时画三条曲线:碎石图、累计方差贡献率、重构误差——只看一个指标容易误判。
2. 先看拐点,再用阈值微调。拐点给出"有结构性"的 的上界;阈值给出"任务需要"的 。取两者中较小的那个通常比较稳妥。
3. 把 当作超参数,用下游任务的验证集来定。 这是最可靠的做法:降维只是中间步骤,最终指标(分类准确率、重构误差、聚类质量)才是判据。
4. 警惕"方差大"与"有用"不是一回事。 PCA 是无监督的,它只看 内部的方差,完全不知道标签 。若某个方差很小的方向恰恰是区分两类样本的关键,PCA 会把它丢掉。这就是"PCA 不能当特征选择用"的根本原因(详见第九节)。
六、计算方法与步骤
6.1 手算流程
手算七步
1. 算每列均值 。
2. 中心化:,验证每列和为 。
3. 算协方差矩阵 ,验证 对称。
4. 求 的特征值:解 ,排序 。校验:、。
5. 求单位特征向量:对每个 解 并单位化;遇到重根要在该特征空间内做 Gram–Schmidt 正交化。得到主方向 。
6. 算得分:;校验 且 。
7. 算贡献率与降维结果:;取前 个得分为降维后的数据,取前 个主方向做重构 。
快捷校验技巧(强烈推荐): 由第三节, 的特征值就是 ,其中 是 的奇异值,而
所以 ——把中心化后所有元素平方求和再除以 ,就得到总方差。这是一个独立于特征值计算的校验,能立刻发现算术错误。
6.2 数值实践:优先用 SVD,不要用 的特征分解
两种做法在数学上等价:
| 做法 | 步骤 | 结果 |
|---|---|---|
| A:对 特征分解 | 算 ()→ np.linalg.eigh(S) | 特征向量 ,特征值 |
| B:对 做 SVD | 直接用 np.linalg.svd(X, full_matrices=False) | 右奇异向量 , 即方差 |
但数值上强烈推荐 B。 原因:
- 条件数平方问题。 的条件数是 的条件数的平方:。若数据的特征尺度差异大( 很常见),,双精度下小特征值会损失约 8 位有效数字,甚至算成 或小的负数。
- 负特征值的尴尬。 理论上 半正定,特征值 ;但由于舍入误差,
np.linalg.eigh(S)可能返回 这样的小负数,导致 变成nan(如果错误地拿去开平方)。用 SVD 则永远得到非负的 。 - 时的效率。 高维小样本()时 是巨大的 矩阵,而对 ()做 SVD 便宜得多。
- 的显式计算本身有开销。 算一次 需要 次乘法;SVD 的双对角化过程是 ,并不更贵。
结论:数学上可以走 A 路线(手算时更方便),工程上永远走 B 路线。
七、例题(完整手算)
7.1 题目
某数据集有 个样本、 个特征,原始数据为
(这组数据恰好已经中心化,但第 1 步仍然完整做一遍以示范流程。)求:中心化数据、样本协方差矩阵、特征值与主方向、主成分得分、方差贡献率,以及降到 维的结果与重构误差。
7.2 第 1 步:算列均值并中心化
所以 ,(但实际数据一般不会这么巧,这一步不能省)。校验每列和为 ✓。
7.3 第 2 步:算协方差矩阵
先算 。,于是
逐个元素(用"行乘列"):
校验总方差: ;而中心化后所有元素平方和 ,除以 得 ✓。
含义: 是特征 1 的方差, 是特征 2 的方差, 是两者的协方差。 说明两个特征正相关——特征 1 大的样本,特征 2 也倾向于大。这个相关性正是 PCA 要消除的东西。
7.4 第 3 步:求特征值
(用了 行列式公式 。)于是
校验:
- ✓
- ✓
两个特征值都 , 正定(6-4-对称矩阵与正定矩阵)。
7.5 第 4 步:求主方向(单位特征向量)
对 :
第一行给出 ,即 。取 ,单位化:
对 :
校验正交性: ✓
主方向的几何含义:
- 是 方向。点 与 都在这个方向附近, 与 在相反方向——点云主要沿这条对角线伸展。
- 是 方向,垂直于 。
7.6 第 5 步:算主成分得分
校验得分方差:
(精确计算:。)同理 , ✓
校验去相关: ✓
这就是"去相关"的具体体现:原来两个特征高度正相关(协方差 ),换成主成分坐标后协方差为 。
7.7 第 6 步:方差贡献率
第一个主成分单独就解释了 90% 的总方差。 这说明原来的 2 个特征信息高度冗余——降到 1 维几乎不损失什么。
7.8 第 7 步:降到 1 维、重构与误差
降到 1 维的数据就是 ——每个样本从一个二维点变成一个数。
重构回二维():
(精确值:。)
残差矩阵:
重构误差:
与奇异值的关系验证。 由第三节,,故
而 ✓, ✓——与 7-2-图像压缩与低秩逼近 的 Eckart–Young 定理完全一致。
相对重构误差:
校验平方关系: ,而 ✓(这正是 5.3 节强调的"误差与方差贡献率是平方关系"。)
7.9 对照实验:不中心化的后果
若跳过第 1 步,直接把原始数据(现在给每个特征加上一个偏移)当作已经中心化:
算 ,得到
第一主成分的方差贡献率是 ——比中心化后的 90% 还"高"。但它的主方向约为 ,而均值方向是
两者几乎相同。 也就是说:这个"第一主成分"捕捉的几乎完全是数据的均值(即"数据整体离原点有多远"),而不是"数据如何散布"。它看起来方差贡献率高,实际上毫无统计意义。
请记住这个对照
不中心化的 PCA 会给你一个更"漂亮"的方差贡献率,而那个数字是没有意义的。 判断是否忘记中心化有一个快速检查: 的每一列均值是否为 。
八、PCA 的注意事项
8.1 量纲不同时必须标准化
问题。 若特征量纲不同(例如"身高(厘米)"与"体重(千克)"),方差的大小会被单位决定,而不是被"重要性"决定。把身高从"厘米"改成"米",方差会缩小 倍,主方向立刻改变——PCA 的结果依赖于任意的单位选择,这显然不合理。
解决方法:标准化(standardization / z-score)
其中 是第 个特征的样本标准差。标准化后每个特征的方差都是 ,量纲被消除。
标准化后的协方差矩阵就是相关系数矩阵。 因为
即第 与第 个特征的样本相关系数。所以"标准化后做 PCA"= "对相关系数矩阵做 PCA",对角线全为 ,总方差 。
什么时候标准化,什么时候不标准化
- 量纲相同或可比(如同一批传感器测的同一物理量、灰度图像的像素值)→ 只中心化。此时保留原始方差结构更自然。
- 量纲不同(身高/体重/收入)→ 必须标准化。
- 单位是"有意义的相对大小"(如金融中不同股票的收益率,量纲相同)→ 通常只中心化。
- 拿不准时:两种都做一遍。若主方向差异很大,说明数据对尺度敏感,必须明确说明选了哪一种——并在论文/报告中写清楚,因为读者无法从"PCA 结果"反推出你做了什么预处理。
8.2 对异常值敏感
方差是平方量:一个偏离均值 倍标准差的异常点,会把方差拉大 倍,从而独占第一主成分。后果:
- 第一主方向被这个异常点"拉"过去,其余样本的结构完全看不见;
- 2 维可视化时,正常样本被挤在原点附近成为一个点。
对策:
- 先看数据:画原始特征的箱线图/散点图,识别异常值;
- 稳健 PCA:用中位数替代均值、用 MAD(中位数绝对偏差)替代标准差;
- 对低秩 + 稀疏分解(robust PCA):把数据分解为"低秩部分 + 稀疏异常部分",让异常值进入稀疏项——这正是 7-2-图像压缩与低秩逼近 9.3 节背景建模里用到的方法;
- 秩变换:把每个特征换成它的秩(rank),再对秩做 PCA。
8.3 主成分是线性组合,可解释性有限
主方向 的分量一般全是非零的,所以第 个主成分是所有原始特征的混合。这带来两个后果:
- 难以命名:你不能说"第一主成分就是身高",只能说"第一主成分主要由身高()与体重()构成"。
- 难以行动:如果结论是"第一主成分很重要",你无法据此调整某一个具体的业务指标。
对策(若必须可解释):
- 稀疏 PCA(sparse PCA):在主方向上施加稀疏约束(要求 只有少数非零分量),得到"只用几个原始特征"的主成分;
- 旋转(如 varimax 旋转):在保留的前 维子空间内做正交旋转,使载荷矩阵更容易解释(这是因子分析的标准做法);
- 只看载荷的大小排序:按 从大到小看,取前几个"主要贡献特征"作为解释依据。
8.4 不要用 PCA 做特征选择
这是最重要的一条,也是误解最多的一条。
PCA 不是特征选择
特征选择(feature selection)是"从原来的 个特征中挑出 个保留"——保留的特征仍然是原始特征,含义不变。
PCA 是"构造 个新的线性组合"——原始特征全部参与了每一个主成分, 个主成分里包含了全部 个特征的信息(只是被压缩了)。
两者完全不同:
- PCA 后的数据没有"第 3 个特征"这个说法,只有"第 3 个主成分";
- 你不能说"去掉第 5 个特征",因为 里含所有特征;
- 若后续任务需要"只用 5 个可测量的指标",PCA 帮不了你,要用 Lasso、递归特征消除(RFE)、前向选择等方法。
还有一个更隐蔽的风险:PCA 是无监督的,它完全不知道标签 。 方差最大的方向不一定是"最能区分类别"的方向。构造一个极端的例子: 两类样本的均值差沿 轴(方差很小,因为类内紧凑),而沿 轴有一个巨大的、与类别无关的波动(方差很大)。PCA 会把 轴选为第一主成分,而 轴(唯一有判别力的方向)可能被降到第 2 位甚至被丢掉。这正是线性判别分析(LDA)与 PCA 的根本区别:LDA 用标签 ,PCA 不用。若目标是分类,应该考虑 LDA 或直接用有监督的降维方法。
8.5 只捕捉线性结构
PCA 找的是线性子空间。若数据分布在一个弯曲的流形上(例如"瑞士卷"、环形、螺旋),PCA 无法展开它——用 2 个主成分去近似一个卷曲的曲面,得到的结果会把远处的部分错误地重叠在一起。
对策: 核 PCA(kernel PCA,先用核函数把数据映到高维再线性降维)、t-SNE、UMAP、自编码器(autoencoder)等非线性方法。这些方法各有取舍(t-SNE/UMAP 适合可视化但不能给出可复现的变换、自编码器需要大量数据与调参),但都超出了线性代数的范围。
8.6 其他常见坑
- 忘记返回原始尺度。 若做了标准化,降维后的得分是"标准化尺度"的。要回到原始单位,必须反标准化(乘回 、加回 )。很多"PCA 重构图看起来不对"的问题都源于此。
- 把主成分得分与主方向搞混。 是方向(有 个数), 是得分(有 个数)。维度不同,用途不同。 "载荷矩阵"是 ,"得分矩阵"是 。
- 对测试集重新算 PCA。 PCA 的变换()必须只在训练集上确定,然后原样应用到测试集:。若在测试集上重算一遍 ,就造成了信息泄漏,评估结果会偏乐观。而且训练集与测试集的 与 也必须只用训练集计算。
九、计算方法与步骤(可运行代码)
9.1 完整流程(只用 numpy)
import numpy as np
# ============ 1. 数据矩阵:m=4 个样本,n=2 个特征 ============
X_raw = np.array([[1., 2.],
[2., 1.],
[-1., -2.],
[-2., -1.]])
m, n = X_raw.shape
print(f"样本数 m={m}, 特征数 n={n}")
# ============ 2. 中心化:每列减去该列均值(必须做!) ============
mu = X_raw.mean(axis=0)
X = X_raw - mu
print("列均值:", mu, " 中心化后各列均值:", X.mean(axis=0))
# ============ 3. 样本协方差矩阵(分母 m-1) ============
S = X.T @ X / (m - 1)
print("样本协方差矩阵 S =\n", S)
print("总方差 tr(S) =", np.trace(S))
# ============ 4. 对 X 做 SVD(不要对 S 做特征分解!) ============
U, s, Vt = np.linalg.svd(X, full_matrices=False)
V = Vt.T
print("奇异值 s =", s)
print("主方向 V(列为主方向)=\n", V)
# ============ 5. 方差与累计方差贡献率 ============
var = s ** 2 / (m - 1) # = S 的特征值
print("各主成分方差:", var, " 合计 =", var.sum())
print("与 eigh(S) 对比:", np.sort(np.linalg.eigvalsh(S))[::-1])
cum = np.cumsum(var) / var.sum()
print("单个方差贡献率:", var / var.sum())
print("累计方差贡献率:", cum)
# ============ 6. 主成分得分 ============
scores = X @ V # 等价于 U * s
print("主成分得分 =\n", scores)
print("与 U*s 一致?", np.allclose(scores, U * s))
print("得分的协方差矩阵(应为对角)=\n", scores.T @ scores / (m - 1))
# ============ 7. 降到 k 维:投影、重构、误差 ============
for k in [1, 2]:
Z = X @ V[:, :k] # m x k,降维后的数据
X_hat = Z @ V[:, :k].T # m x n,重构
err_F = np.linalg.norm(X - X_hat, 'fro')
err_2 = np.linalg.norm(X - X_hat, 2)
print(f"k={k}: 累计方差贡献率={cum[k-1]:.4f}, "
f"||X-X_hat||_F={err_F:.6f}, ||X-X_hat||_2={err_2:.6f}, "
f"相对误差={err_F/np.linalg.norm(X, 'fro'):.6f}")
# ============ 8. 一维表示 + 反标准化回到原始尺度 ============
k = 1
Z1 = X @ V[:, :k] # 一维坐标
X_back = Z1 @ V[:, :k].T + mu # 升维 + 加回均值
print("一维表示 Z1 =", Z1.ravel())
print("反投影回原始尺度 =\n", X_back)
# ============ 9. 对照:不中心化的后果 ============
S_bad = X_raw.T @ X_raw / (m - 1)
w_bad = np.sort(np.linalg.eigvalsh(S_bad))[::-1]
print("不中心化时 PC1 方差贡献率 =", w_bad[0] / w_bad.sum())
print("(这个数字比中心化后的", cum[0], " 还高,但主方向被均值占据,无统计意义)")
运行结果(关键几行):
S输出 ,与第七节手算的 一致;s = [4.242641, 1.414214],即 与 ;var = [6.0, 0.666667];cum = [0.9, 1.0];k=1时||X-X_hat||_F = 1.414214,与 一致;- 不中心化时
PC1 方差贡献率 = 0.9818。
注意第 8 步的"反标准化"
X_back = Z1 @ V[:, :k].T + mu—— 加回均值这一步不能忘。若前面还做了标准化,则要写成
X_back = (Z1 @ V[:, :k].T) * sigma + mu,其中sigma是各列标准差。忘记加回均值/标准差是"PCA 重构图整体偏了一个位置或尺度不对"的典型原因。
9.2 标准化版本(量纲不同时用)
import numpy as np
# 假设有三个量纲不同的特征(身高 cm / 体重 kg / 年龄 岁)
X_raw = np.array([[170., 65., 30.],
[180., 80., 45.],
[165., 55., 25.],
[175., 70., 50.],
[160., 50., 22.],
[185., 85., 40.]])
m, n = X_raw.shape
# 标准化:减均值、除标准差(ddof=1 与 S 的分母 m-1 一致)
mu = X_raw.mean(axis=0)
sd = X_raw.std(axis=0, ddof=1)
Z = (X_raw - mu) / sd
print("标准化后各列均值:", Z.mean(axis=0), " 标准差:", Z.std(axis=0, ddof=1))
# 标准化后的协方差矩阵 == 相关系数矩阵
S_z = Z.T @ Z / (m - 1)
print("相关系数矩阵 =\n", S_z)
print("对角线是否全为 1?", np.allclose(np.diag(S_z), 1.0))
# 对标准化数据做 SVD
U, s, Vt = np.linalg.svd(Z, full_matrices=False)
var = s ** 2 / (m - 1)
cum = np.cumsum(var) / var.sum()
print("各主成分方差:", var)
print("累计方差贡献率:", cum)
print("主方向(列)=\n", Vt.T)
print("(注意:总方差 = n =", n, ",因为每个标准化特征的方差都是 1)")
9.3 用碎石图与累计方差贡献率选
本示例需要 matplotlib:pip install matplotlib
import numpy as np
import matplotlib.pyplot as plt
# 生成一个 200 样本、10 特征、内在维数为 3 的合成数据
rng = np.random.default_rng(42)
m, n, r_true = 200, 10, 3
basis = rng.normal(size=(n, r_true))
latent = rng.normal(size=(m, r_true))
X_raw = latent @ basis.T + 0.15 * rng.normal(size=(m, n)) # 加一点噪声
X = X_raw - X_raw.mean(axis=0)
U, s, Vt = np.linalg.svd(X, full_matrices=False)
var = s ** 2 / (m - 1)
cum = np.cumsum(var) / var.sum()
print("各主成分方差:", np.round(var, 4))
print("累计方差贡献率:", np.round(cum, 6))
print("达到 0.95 需要 k =", int(np.searchsorted(cum, 0.95) + 1))
print("达到 0.99 需要 k =", int(np.searchsorted(cum, 0.99) + 1))
fig, axes = plt.subplots(1, 2, figsize=(11, 4))
axes[0].plot(np.arange(1, n + 1), var, 'o-')
axes[0].set_xlabel('i')
axes[0].set_ylabel('var_i')
axes[0].set_title('scree plot')
axes[0].grid(alpha=0.3)
axes[1].plot(np.arange(1, n + 1), cum, 's-')
axes[1].axhline(0.95, color='r', ls='--', lw=1)
axes[1].set_xlabel('k')
axes[1].set_ylabel('cumulative variance')
axes[1].set_title('cumulative variance explained')
axes[1].grid(alpha=0.3)
plt.tight_layout()
plt.show()
在这个例子里,真实内在维数是 ,碎石图会在 处出现明显的拐点(前 3 个方差远大于后面的),累计方差贡献率的"95% 阈值"通常也会给出 或 ——两条判据互相印证。这正是第 5.4 节建议"同时看多条曲线"的原因。
十、应用
10.1 人脸识别:Eigenfaces
问题。 每张人脸图像是一个 的像素矩阵,拉直成一个 维向量。一张 的小图就是 维——直接在这个维度上做分类,样本数远小于维数("高维小样本"问题),任何分类器都会过拟合。
做法(Eigenfaces,"特征脸")。
- 收集 张训练人脸图,每张拉直成一个 维列向量,排成数据矩阵 (每列一张脸),中心化(减去"平均脸");
- 对 做 SVD(或等价地在 上做特征分解),得到主方向 ;
- 把每个 重新排回 的矩阵——得到一幅图像,就是一张特征脸(eigenface)。它看起来像一张模糊的、有明暗分布的"幽灵脸";
- 任一张人脸图 用它在这 张特征脸上的坐标表示:。 常常只要几十到几百,就把 维压到了 维;
- 在这个低维空间里做最近邻分类或其它分类器。
为什么有效。 所有人脸共享大量结构(两只眼睛、一个鼻子、脸的轮廓),这些共有成分构成了数据的主要方差方向;区别不同人的信息集中在前几十个主成分里。特征脸就是这个"人脸空间"的一组正交基。
注意: 这种方法对光照、姿态、表情的变化很敏感(这些变化的方向方差可能比"身份"的方向更大,从而抢占前面的主成分)——这也是后来深度学习取代它的主要原因之一。但从线性代数的角度看,它把 PCA 的价值展示得最清楚。
10.2 数据可视化
把 维数据降到 维(取前 个主成分)或 维(前 个),画散点图。
优点: 变换是线性且可复现的,坐标轴有明确含义("第一主成分"= 方差最大的线性组合)。可以标注每个主方向上载荷最大的几个原始特征,从而对聚类结构给出解释。
局限: 只保留前 个主成分意味着丢掉了大部分方差(除非数据的内在维数确实很低)。若前两个主成分只解释了 的方差,这张二维图不能代表数据——必须在图上标注累计方差贡献率。若目标是"看清楚局部结构"而不是"保留全局方差",t-SNE 或 UMAP 通常效果更好,代价是失去线性可解释性。
10.3 去噪与压缩
与 7-2-图像压缩与低秩逼近 完全同源:PCA = 中心化 + 截断 SVD。应用于:
- 图像去噪:把图像分块(如 块)当作样本,对块集合做 PCA,保留少数主成分后重构——这是很多现代去噪算法(如 BM3D 的变体)的核心步骤;
- 数据压缩:传感器网络、天文观测中,把时间序列数据降到少数主成分存储;
- 缺失值插补:用前 个主成分重构数据,缺失位置用重构值填充(这是"低秩矩阵补全"的一种简化形式)。
重要限制: 由 7-2-图像压缩与低秩逼近 第八节,最优的 在真实场景中未知(因为拿不到干净信号),必须靠交叉验证或噪声方差估计来定。 太小会削掉信号, 太大会保留噪声。
10.4 与多元高斯分布的联系
这是 PCA 与概率统计最深刻的一处连接(详见 12-3-多元高斯与加权最小二乘)。
多元高斯分布的密度函数由均值 与协方差矩阵 决定:
密度函数的等值面(等高线)是椭球:
把 谱分解为 ,令 (即在主方向坐标系下看数据),等值面变成
这是一个轴对齐的椭球,第 根半轴长是 。
PCA 的统计含义
PCA 的主方向就是多元高斯分布等概率椭球的主轴方向,主成分方差 就是半轴长的平方。
因此:
- "主成分方差很小" ⟺ "这个方向上的概率密度变化很慢" ⟺ "数据在这个方向上几乎不分散";
- 丢弃小方差主成分,等价于把高斯分布退化到一个低维子空间上的退化高斯分布——这也是"概率 PCA"(probabilistic PCA)的出发点:它把 PCA 解释为一个隐变量模型的极大似然估计。
- 若 的某些特征值为 (退化分布),密度函数在 中不存在(),但在主子空间内仍然是一个良定义的高斯分布——这正是降维的统计学解释。
另一个联系: 若协方差矩阵是各向同性的(),等值面是球面,此时所有方向的方差相同,PCA 完全失效(没有"主要方向")。这与 7-2-图像压缩与低秩逼近 FAQ 里"奇异值不衰减就无法压缩"是同一件事。
10.5 其他应用一览
| 领域 | 用途 |
|---|---|
| 金融 | 收益率曲线的主成分分析(水平/斜率/曲率三个因子解释绝大部分变动) |
| 化学 | 光谱数据的降维与成分识别(PCA 是化学计量学的基础工具) |
| 气象 | 海温、气压场的主成分分析(EOF 分析,本质就是 PCA) |
| 生物信息 | 基因表达数据的降维与样本聚类( 的典型场景) |
| 信号处理 | 子空间方法(MUSIC、ESPRIT)的波达方向估计 |
| 机器学习 | 预处理、特征提取、异常检测(离主子空间远的点判为异常) |
| 控制论 | 模型降阶(balanced truncation 与 PCA 同源) |
| 推荐系统 | 与 SVD 协同过滤同源([[7-2-图像压缩与低秩逼近]] 9.1 节) |
异常检测值得多说一句:PCA 给出一个 维主子空间,"正常"样本应当离这个子空间很近。定义重构误差 ,若 超过阈值,就判为异常。这类方法的优点是不需要标注异常样本(无监督)。
十一、易错点总结
十个高频错误
1. 忘记中心化。 最严重的错误。不中心化时第一主成分会被均值方向占据(第七节数值对照:方差贡献率从"看似更好"的 98.18% 变成了毫无意义的数字)。快速检查: 每列均值是否为 。
2. 量纲不同时忘记标准化。 结果会随单位的任意选择而改变。快速检查:各特征的方差是否相差几个数量级。
3. 把主方向与主成分得分搞混。 有 个数(方向), 有 个数(得分)。维数不同,绝不能互换。 "载荷"是 ,"得分"是 。
4. 用 PCA 做特征选择。 PCA 构造的是新的线性组合,原始 个特征全部参与了每个主成分,不存在"去掉某个特征"这回事。需要特征选择请用 Lasso/RFE。
5. 对 做特征分解而不对 做 SVD。 数学上等价,但数值上 ,精度平方级恶化,还可能得到小的负特征值。手算可以用 ,工程上必须用 SVD。
6. 把"相对重构误差 "与""当成一回事。 二者是平方关系:。要求 等价于 ,不是 。
7. 在测试集上重新算 PCA。 、、 都必须只在训练集上确定,然后原样应用到测试集。否则信息泄漏,评估结果虚高。
8. 忘记从特征值算回奇异值(或反过来)。 关系是 ,即 。差一个 因子会让"方差"与"能量"两套数字对不上。校验方法:。
9. 以为主成分可以任意取符号。 符号确实不唯一( 与 同时变号,结果不变),但不要用两次运行结果逐元素比对。不同软件、不同版本给出的符号可能相反。
10. 用 PCA 的结果下因果结论。 PCA 只描述相关结构("这两个特征一起变化"),不能说明"一个导致另一个"。看到"第一主成分主要是收入和 education",不能推出"提高 education 会增加收入"。
十二、练习题
练习 1(基础) 数据中心化后为 。
(a) 求样本协方差矩阵 ;
(b) 求 的特征值与单位特征向量;
(c) 求主成分得分,并验证两个得分的协方差为 ;
(d) 求累计方差贡献率。(提示:这组数据的 是对角矩阵。)
练习 2(基础) 某数据集中心化后 ,样本数 。
(a) 求 的特征值;
(b) 求 的奇异值;
(c) 求两个主成分各自的方差贡献率;
(d) 若降到 维,相对重构误差是多少?(注意用平方法验证。)
练习 3(进阶) 设中心化数据矩阵 的 SVD 为 。证明:
(a) 得分的样本协方差矩阵 是对角矩阵;
(b) ;
(c) 前 个主成分保留的方差占总方差的比例等于 。
练习 4(进阶) 证明第 4.3 节的恒等式 对任意满足 的矩阵 成立,并说明这个恒等式为什么说明"方差最大化"与"重构误差最小化"是同一个问题。
练习 5(进阶) 设中心化数据矩阵 有 个样本、 个特征,。
(a) 总自由参数有多少个?
(b) 中心化后 的秩最多是多少?为什么?
(c) 若 、, 的秩最多是多少?此时 最多有几个非零特征值?
练习 6(思考) 构造一个 维、两类样本的数据集,使得:沿 轴方向两类样本的方差很大但两类均值相同,沿 轴方向方差很小但两类均值明显不同。写出具体数据(每类至少 个点),计算 PCA 的第一主方向,并说明为什么用它做分类会失败。(提示:第一主方向会是 轴,而判别方向是 轴。)
练习 7(思考) 有人说:"PCA 的累计方差贡献率达到 95% 就说明降维没有丢失重要信息。"请举出至少两个这句说法的反例或漏洞。
十三、常见问题 FAQ
Q1:PCA 和截断 SVD 到底有什么区别?
运算几乎相同,差别在"是否中心化"与"如何解释"。
| 对比 | 截断 SVD | PCA |
|---|---|---|
| 输入 | 任意矩阵 | 中心化的数据矩阵 |
| 分解 | ||
| 左奇异向量 | 行方向的模式 | 样本的得分方向 |
| 右奇异向量 | 列方向的模式 | 主方向(载荷) |
| 奇异值 | 各模式的"强度" | = 方差 |
| 解释 | 几何/数值的"最重要的 个模式" | 统计的"解释最多方差的 个线性组合" |
一句话:PCA = 中心化 + 截断 SVD + 统计解释。 若数据已经中心化,两者数值结果完全一致。
Q2:为什么要除以 而不是 ?
因为 是总体方差的无偏估计(unbiased estimator)——这是统计学上的标准选择,也是 R、MATLAB、sklearn、numpy 的 ddof=1 约定。
但要清楚:这不影响 PCA 的任何"结论"。 因为除以 还是 只是一个常数因子,特征值全部同比例缩放,特征向量(主方向)完全不变,方差贡献率的比值也完全不变。唯一受影响的是"方差"和"奇异值"的绝对数值。所以:
- 用 sklearn 的
PCA(内部用 )与用np.linalg.svd(X)手算(再除以 )结果应当完全一致; - 若拿到的方差数值与别人差一个因子 ,先检查分母约定,不必怀疑方法错误。
Q3:为什么说"数值上优先用 SVD 而不是对 做特征分解"?两者不是等价的吗?
数学上等价,数值上不等价。 关键是条件数:
若 (数据特征尺度差异大时很常见),则 。双精度浮点约 16 位有效数字, 意味着最小特征值只剩约 8 位有效数字;若 ,,最小特征值完全被误差淹没,甚至算成负数——此时若拿它开平方求奇异值,会得到 nan。
SVD 直接作用于 (条件数 或 ),全程只用正交变换,不放大误差,且输出的奇异值永远非负。此外在 时, 是巨大的 矩阵,算它本身就非常昂贵。
结论:手算/教学用 (更容易看出特征值与方差的关系),工程代码用 SVD。
Q4:PCA 之后还需要做别的处理吗?比如白化?
看下游任务。 PCA 之后得到的 维得分,各维方差是 ,并不相等。有两种常见后续处理:
- 白化(whitening / sphering):把每个得分除以其标准差,得到 ,使各维方差都变成 、且互不相关(协方差矩阵成为单位矩阵)。用途:某些算法(如独立成分分析的预处理、部分神经网络训练、最近邻检索中的距离度量)假设各维等权,必须白化。
- 不白化:直接使用得分。用途:当"方差大的方向更重要"时(例如重构、可视化、去噪),保留原始方差是必要的。若把方差信息丢掉,降维就失去了"按重要性排序"的意义。
注意:白化会放大方差极小的方向(除以很小的 ),因此对噪声极其敏感。 若某个 接近 ,白化会把这个方向的噪声放大到与信号同量级。实践中白化前一定要截断(只保留前 个较大的主成分),不能对全部 个主成分做白化。
Q5:(样本数少于特征数)时 PCA 还能用吗?
能用,而且这正是 PCA 最有价值的场景之一(高维小样本问题,如基因表达数据、人脸识别)。
要点:
- 最多只有 个非零特征值(第三节 3.3 的推导),因为中心化使 。所以最多只能降到 维,不可能更多。
- 应该转而在 的 上做特征分解。由 7-1-SVD的构造与几何意义 定理 7.1.14,(,可能 )与 (,可能 )有相同的非零特征值。算小的那个:
- 对 做特征分解得 ,即得到 与 ;
- 再由 回推主方向(这正是 7-1-SVD的构造与几何意义 中" 时对称地做"的做法);
- 这就是经典的"对偶 PCA"或"Gram 矩阵技巧"。
- 正则化仍然必要。 即使 个特征值全为正,样本协方差矩阵也是奇异的( 但秩只有 ),不能求逆。需要做岭正则化 或用伪逆(7-1-SVD的构造与几何意义 第九节)。
本篇小结
核心结论
- PCA 要解决的问题:把 维数据压到 维,同时尽量保留信息。它回答的是「哪几个方向承载了数据的大部分变化」。
- 第一步必须是中心化: 原始数据 (每列减去列均值)。忘记中心化会让第一主成分被「均值方向」占据,结果完全失去意义。
- 样本协方差矩阵 是整个 PCA 的核心对象——它是对称半正定的,所以有正交特征分解。
- PCA 就是数据矩阵的 SVD,两者是同一件事的两种写法:
- 两种等价视角:①方差最大化——找使投影方差最大的方向;②重构误差最小化——找使压扁后信息损失最小的方向。二者给出同一组主方向。
- 主成分得分 是数据在新方向上的坐标;载荷是 ,得分是 ,两者维数不同,绝不能互换。
- 选 的三种方法:累计方差贡献率(CVE,常用 或 )、碎石图的「拐点」、按目标重构误差反解。
- 误差与 CVE 是平方关系:。要求 等价于 ,不是 。
- 工程上用 SVD,不要对 做特征分解:数学等价,但 ,精度平方级恶化,还可能得到小的负特征值。
- 量纲不同时必须标准化,否则结果会随单位的任意选择而改变——这是 PCA 最常见的实际坑之一。
- PCA 只描述相关结构,不能下因果结论;主成分是线性组合,可解释性有限。
- 训练/测试必须分清:、、 都在训练集上确定,再原样应用到测试集,否则信息泄漏、评估虚高。
易混概念对照
| 容易混淆的一对 | 区别 | 一句话记住 |
|---|---|---|
| 中心化 与 标准化 | 中心化只减均值;标准化再除以标准差 | 量纲相同只需中心化,量纲不同必须标准化 |
| 主方向 与 主成分得分 | 有 个数(方向), 有 个数(得分) | 载荷是 ,得分是 |
| 对 做 SVD 与 对 做特征分解 | 数学等价,数值上后者条件数平方恶化 | 手算可以,工程必须用 SVD |
| 与 | ,差一个 因子 | 校验: |
| 相对重构误差 与 | 平方关系: | 别混用这两个尺度 |
| PCA 与 特征选择 | PCA 的每个主成分都用了全部 个原始特征 | 要选特征请用 Lasso/RFE |
| 符号不唯一 与 算法错误 | 同时 结果不变 | 别用两次运行逐元素比对 |
自学检查清单
- 中心化后的 为什么秩最多是 ?这与「中心化让秩少一个」有什么关系?
- 手算一个 的微小数据集:求 、特征值、主方向、得分、方差贡献率,再降到 1 维重构。
- 如果去掉中心化这一步会怎样?(用第七节 7.9 的对照实验说明:第一主成分被均值方向占据,方差贡献率变成毫无意义的数字。)
- 为什么「方差最大化」与「重构误差最小化」会给出同一组主方向?请用二次型在单位球上的极值来解释。
- 若要求相对重构误差 ,CVE 至少要多少?反过来 CVE 时误差是多少?
- 为什么在测试集上重新算 PCA 会导致评估虚高?正确的做法是什么?
- 给出一个「PCA 结果显示两特征强相关,但不能推出因果」的例子。
相关笔记
- 7-1-SVD的构造与几何意义 —— 的推导与奇异值性质,PCA 的全部工具
- 7-2-图像压缩与低秩逼近 —— 同一套截断 SVD 的几何/工程视角,Eckart–Young 定理
- 12-2-协方差矩阵 —— 的对称性、半正定性与统计含义
- 12-3-多元高斯与加权最小二乘 —— 主方向与高斯分布等概率椭球主轴的关系
- 6-4-对称矩阵与正定矩阵 —— 谱定理 ,PCA 的存在性依据
- 6-5-二次型与标准形 —— Rayleigh 商 的求法
- 12-1-均值方差与概率 —— 方差、协方差的线性代数表达
- 附录-矩阵分解总览 —— 、、、 的统一对比
参考来源
- Gilbert Strang, Introduction to Linear Algebra, 5th ed., Wellesley–Cambridge Press, 2016. §7.3 "Principal Component Analysis"(教材,文字引用)
- MIT OpenCourseWare 18.06 Linear Algebra, Spring 2010,Lecture 29: Singular value decomposition;Lecture 25: Symmetric matrices and positive definiteness;课程主页
- Strang 教材官网(含免费章节 PDF):<https://math.mit.edu/~gs/linearalgebra/>
- NumPy 官方文档:
numpy.linalg.svd;numpy.linalg.eigh - Wolfram MathWorld:Principal Component Analysis;Covariance Matrix
- I. T. Jolliffe, Principal Component Analysis, 2nd ed., Springer, 2002(PCA 的标准专著,文字引用)
- K. Pearson, "On Lines and Planes of Closest Fit to Systems of Points in Space," Phil. Mag. 2 (1901), 559–572(PCA 的原始思想,文字引用)