w wyl123ly 的博客
MD

7-3-主成分分析PCA

71 KB 2026.10.11 原文件

7-3-主成分分析PCA

一句话概括

把 个样本、 个特征的数据排成矩阵 ,先对每一列中心化(减去列均值),再对它做奇异值分解

那么: 的列就是主方向(principal direction), 的列就是主成分得分(principal component score),第 个主成分的方差是 。

主成分分析(principal component analysis, PCA)就是数据矩阵的 SVD——它把"高维数据的降维与去相关"这件事,变成了一个纯粹的线性代数问题。

本篇覆盖:PCA 要解决的问题、数据矩阵的构造与中心化的必要性、协方差矩阵 、PCA 与 SVD 的完整对应关系、方差最大化与重构误差最小化两种等价视角、主成分个数的选择、一道完全手算的数值例题、PCA 与特征值分解的等价性与数值取舍、可运行的 numpy 代码、五条注意事项(含"不要用 PCA 做特征选择")、Eigenfaces 与多元高斯的联系。

一、定义与问题设定

1.1 PCA 要解决什么问题

问题一:降维。 数据有 个特征,但其中很多特征高度相关(信息重复)。能不能用少数几个"综合指标"来代表原来的 个特征,并且尽量不丢失信息?

问题二:可视化。 人只能直接看懂 维或 维的散点图。若数据有 个特征,如何把它"摊平"到 2 维平面上看一眼?

问题三:去相关。 原始特征之间往往相关(例如"身高"与"体重"),这会让很多统计方法与数值算法变复杂。能不能找到一组互不相关的新特征?

问题四:去噪。 数据中的噪声通常散布在所有方向上,而信号集中在少数方向上。能不能把噪声方向压掉?

PCA 用一个统一的动作同时回答这四个问题:找到一组标准正交的新坐标轴,按"数据在这个方向上变化多大"排序,然后只保留前几个。

1.2 数据矩阵的构造

定义 7.3.1(数据矩阵,data matrix) 设收集了 个样本,每个样本观测了 个特征。把第 个样本的 个特征值写成一行,得到矩阵

约定:行 = 样本,列 = 特征。 是第 个样本的第 个特征取值。

约定冲突的提醒

有些统计学教材用列 = 样本的约定(),写成 。本库统一采用 行 = 样本(与 Strang 教材及机器学习惯例一致),因此协方差矩阵写成 。看到公式时先确认约定,否则转置会全错,这是本主题最常见的低级错误。

1.3 第一步必须是中心化

定义 7.3.2(中心化,centering) 记第 个特征的样本均值为

定义中心化数据矩阵(centered data matrix)

也就是说:每一列减去该列的均值。中心化后每一列的均值都是 :

为什么必须先中心化

PCA 追求的是"方差最大的方向"。方差衡量的是数据围绕均值的散布。如果不中心化,原点就不在数据的"重心"上,第一条主成分会被均值方向(从原点到数据重心那条线)抢走——因为那个方向的"未中心化二阶矩"最大,但它与"数据如何散布"毫无关系。

本篇第七节的数值例题会给出实际对比:同一组数据,中心化后第一主成分占 90.00% 的方差;不中心化时第一主成分占 98.18%,看起来"更好",但它指向的几乎就是均值方向——这个结果没有任何统计意义。

一句话:不中心化的 PCA 是错的,不是"另一种做法"。

1.4 样本协方差矩阵

定义 7.3.3(样本协方差矩阵,sample covariance matrix) 设 已中心化,定义

按元素写出来:

(第二个等号用了中心化,。)

对角线元 是第 个特征的样本方差;非对角元 ()是第 与第 个特征的样本协方差。协方差矩阵的完整讨论见 12-2-协方差矩阵。

基本性质(来自 12-2-协方差矩阵 与 6-4-对称矩阵与正定矩阵):

  1. 对称:;
  2. 半正定:对任意 ,

  1. 特征值非负:,且 全部特征方差之和(总方差);
  2. 秩:(中心化使每列之和为 ,故 ,秩最多 )。

1.5 主成分的定义

定义 7.3.4(主成分,principal component) 设 是中心化数据矩阵 的样本协方差矩阵, 的单位特征向量为 (标准正交),对应特征值 。定义

  • 第 个主方向(principal direction / loading):;
  • 第 个主成分得分(principal component score):把每个样本投影到 上得到的向量

  • 第 个主成分的方差:;
  • 累计方差贡献率(cumulative variance explained):。

主成分是"线性组合"

的第 个分量是 。

也就是说,第 个主成分是原始 个特征的线性组合,组合系数就是 的分量。

这一点有两个直接推论:(1) 主成分一般没有直接物理含义(是"混合"出来的指标);(2) PCA 只能捕捉线性结构,无法处理非线性流形(见第十节的注意事项)。


二、几何直观

2.1 数据是 维空间里的一团点云

把每个样本 看作 维空间中的一个点。 个样本就是一团点云。中心化相当于把整团点云的重心平移到了原点——这是让"方向"这个概念有意义的前提(否则"哪个方向散布最大"这件事会被原点位置干扰)。

PCA 的几何问题可以这样问:

在这团点云中,哪一个方向的"伸展"最长?

"伸展最长"用数学语言说就是:在所有单位向量 ()中,找使投影的方差最大的那一个,即

2.2 二次型在单位球上的最大值

这是一个纯粹的线性代数问题(Rayleigh 商的最大值,见 6-5-二次型与标准形):由于 对称半正定,设 ,令 (正交变换保持 ),则

等号在 、即 (最大特征值的特征向量)时成立。

几何结论:

请记住这幅图像

1. 第一主方向 = 点云伸展最长的方向,对应的方差恰好是 的最大特征值 。

2. 第二主方向 = 在与 垂直的所有方向中伸展最长的,方差 。依此类推。

3. 因为 对称,全部主方向两两正交——新坐标轴是一组标准正交基。

4. 于是 PCA 的几何动作是:把原来的坐标轴整体旋转一下,让新坐标轴依次对准点云的主轴方向。旋转不改变任何一个点到原点的距离,也不改变任何两点之间的距离——它只是换了个"看"数据的方向。

这样一来,"去相关"就有了几何解释:在原始坐标系下,点云是斜的(特征相关);旋转到主轴方向后,点云沿着新坐标轴方向"对齐"了——在新坐标系下样本协方差矩阵是对角的,即新特征之间协方差为 。

2.3 降维 = 把不够重要的方向压扁

旋转之后,点云在各新坐标轴上的伸展长度是 。若某几个方向的伸展极小,说明数据在这几个方向上几乎没有变化——把这些方向压成 损失很小。

"降到 维"的几何动作就是:

  1. 把点云旋转到主轴方向;
  2. 把第 个坐标一律置为 (即把点云投影到前 个主轴张成的 维子空间上);
  3. 投影后每个点只剩 个坐标——这就是"降维后的数据"。

投影误差的几何意义

第 2 步把点"拍"到 维子空间上,每个点移动的距离就是它到该子空间的垂直距离。"压掉的方向伸展越小" ⟺ "点离 维子空间越近" ⟺ "投影误差越小"。这就把"保留方差最大"与"重构误差最小"两件事在几何上统一起来了——第四节会给出代数证明。


三、PCA 就是数据矩阵的 SVD

3.1 从 的 SVD 直接读出 PCA

设中心化数据矩阵 的(缩减)SVD 为

第一步:协方差矩阵的谱分解。 由 7-1-SVD的构造与几何意义 第四节的恒等式,

这正是 的谱分解(6-4-对称矩阵与正定矩阵): 的标准正交特征向量就是 的列,特征值是

第二步:读出主方向。 由定义 7.3.4,主方向就是 的列: 对应方差 。由于 numpy 的 np.linalg.svd 已把奇异值降序排列, 的列也自动按方差降序排列——不需要再排序。

第三步:读出主成分得分。 由定义 ,而 (这是 SVD 的基本关系),所以

也就是说:主成分得分矩阵 恰好等于 ——这正是第 7-2 篇代码里 (U[:, :k] * s[:k]) 那个广播写法的由来。

第四步:验证得分的方差。 得分的样本协方差矩阵是

结果是对角矩阵——这就在代数上证明了"主成分之间互不相关"(协方差为 ),而且第 个主成分的方差是 。

3.2 对应关系总结表

PCA 概念SVD 中的对象数学表达式维数
数据矩阵(已中心化)
样本数 的行数—
特征数 的行数—
主方向(载荷 loading) 的列
主成分得分(score) 的列
第 主成分的方差标量
总方差标量
累计方差贡献率(前 )能量占比标量
维得分矩阵
维最佳重构截断 SVD
重构误差(F)尾部奇异值标量
重构误差(2)下一个奇异值标量
有效维数(秩)非零奇异值个数标量

一张表记住 PCA

主方向看 ,得分看 ,方差看 ,降维就是截断 SVD。

只要理解了 7-1-SVD的构造与几何意义 与 7-2-图像压缩与低秩逼近,PCA 就只剩下"统计解释"这一层新东西了。

3.3 为什么中心化会让秩少一个

中心化后每一列的和都是 ,即

,故 ,由秩—零化度定理(3-5-四大子空间的维数)

推论:中心化数据矩阵的秩最多是 。 这有两个实践含义:

  1. 样本数少于特征数时(,即"高维小样本"),有效维数最多 。 例如 个样本、 个基因特征,最多只能有 个非零奇异值。经典做法是在 的 上做特征分解( 个元素)还是转为在 的 上做( 个元素)——后者快得多,且由 7-1-SVD的构造与几何意义 定理 7.1.14,两者非零特征值相同。
  2. 是正常的(当 时必然出现),不是数值错误。

四、两种等价视角

PCA 有两种看起来完全不同的表述,而它们给出完全相同的结果。理解这种等价性是真正掌握 PCA 的关键。

4.1 视角一:方差最大化

表述。 依次求

其中 (因为 已中心化,得分的均值也是 )。

直觉。 "保留信息"就是"保留变化"。变化最大的方向就是信息最多的方向,所以第一个主方向应该对准点云伸展最长的方向;第二个主方向在剩余的正交方向中再找伸展最长的,如此类推。

4.2 视角二:重构误差最小化

表述。 找一组 维标准正交基 ,使得数据被投影到 后再"升回" 维的误差最小:

这里 是得分(), 是重构()——先降维再升维。

直觉。 "降维损失最小"就是"投影后每个点到子空间的距离平方和最小"。把点云压到某个 维平面上,希望压得最轻。

4.3 为什么两者等价

定理 7.3.5(PCA 的两种视角等价) 记 ,。则

因此"最小化重构误差"与"最大化保留的方差 "是同一个优化问题。

证明。 记 。由 得

即 是一个正交投影矩阵(见 4-2-投影与投影矩阵)。于是

把两项展开:

用 、,并注意交叉项 与 的迹相等(迹的轮换性),两者与 相消:

(这个恒等式其实是勾股定理在矩阵上的版本:投影残差与投影结果正交,所以平方和相加。)

结论。 因为 是常数,

而 ,所以最大化保留方差 = 最小化重构误差。

两种视角的取舍

- 数学上完全等价,选哪个纯看讲哪个方便。方差最大化的解释更直观("保留信息"),重构误差最小化的形式更容易与 7-2-图像压缩与低秩逼近 的 Eckart–Young 定理衔接。

- 由 Eckart–Young 定理(7-2-图像压缩与低秩逼近 定理 7.2.4),最优的 就是 ,且最小误差是 。所以 PCA 的最优性不需要另证——它就是 Eckart–Young 定理的统计版本。

- 这两种视角的等价性也解释了 PCA 的一个常见混淆点:"保留最多方差"和"损失最少信息"是同一句话,不是两种不同的方法。


五、主成分个数的选择

5.1 累计方差贡献率

定义 7.3.6(方差贡献率) 第 个主成分的方差贡献率(proportion of variance explained)为

前 个主成分的累计方差贡献率为

分母为什么可以换

全部特征方差之和;而 ,所以分子分母中的 相消。用奇异值平方的占比计算,与用特征值的占比计算,结果完全相同。 这带来一个方便的结论:累计方差贡献率恰好等于第 7-2 篇的"能量占比"(见 7-2-图像压缩与低秩逼近 5.5 节)。

常用阈值:

阈值 适用场景
探索性分析、快速可视化
一般工程应用
需要较完整信息的建模
近似无损的降维、数值预处理

注意: 阈值没有普适标准。 是习惯,不是定理。 选 必须结合后续任务(模型的精度、可解释性要求、计算预算)来决定。

5.2 碎石图

碎石图(scree plot)是把 (或 )对序号 作图。"scree"是地质学里"山坡下的碎石堆"的意思,指曲线陡降之后那段平缓的"碎石坡"。

读法:

  • 陡降段:这些主成分承载了主要结构,应当保留;
  • 拐点(elbow):曲线由陡变缓的位置,取 为拐点的横坐标;
  • 平缓段:这些方向上的方差接近"噪声水平",应丢弃。

若纵轴取对数 ,平缓段若近似为一条直线,说明方差按指数衰减。

辅助判据(Kaiser 准则)。 若数据已经标准化(每个特征的方差都为 ),则总方差 ,平均每个主成分的方差是 。此时保留 的主成分——即"比一个原始特征平均贡献还大"的成分。注意:这个准则只在标准化之后才有意义,未标准化时 的量纲取决于原始单位,比较毫无意义。

5.3 按目标误差反解

若已知允许的重构误差上限,可用 7-2-图像压缩与低秩逼近 的误差公式反解:

注意平方关系! 要求"相对重构误差不超过 ",等价于"累计方差贡献率不低于 "。这一步经常被搞错(把 直接当成 )。

5.4 选择 的完整建议

实践中的四条建议

1. 同时画三条曲线:碎石图、累计方差贡献率、重构误差——只看一个指标容易误判。

2. 先看拐点,再用阈值微调。拐点给出"有结构性"的 的上界;阈值给出"任务需要"的 。取两者中较小的那个通常比较稳妥。

3. 把 当作超参数,用下游任务的验证集来定。 这是最可靠的做法:降维只是中间步骤,最终指标(分类准确率、重构误差、聚类质量)才是判据。

4. 警惕"方差大"与"有用"不是一回事。 PCA 是无监督的,它只看 内部的方差,完全不知道标签 。若某个方差很小的方向恰恰是区分两类样本的关键,PCA 会把它丢掉。这就是"PCA 不能当特征选择用"的根本原因(详见第九节)。


六、计算方法与步骤

6.1 手算流程

手算七步

1. 算每列均值 。

2. 中心化:,验证每列和为 。

3. 算协方差矩阵 ,验证 对称。

4. 求 的特征值:解 ,排序 。校验:、。

5. 求单位特征向量:对每个 解 并单位化;遇到重根要在该特征空间内做 Gram–Schmidt 正交化。得到主方向 。

6. 算得分:;校验 且 。

7. 算贡献率与降维结果:;取前 个得分为降维后的数据,取前 个主方向做重构 。

快捷校验技巧(强烈推荐): 由第三节, 的特征值就是 ,其中 是 的奇异值,而

所以 ——把中心化后所有元素平方求和再除以 ,就得到总方差。这是一个独立于特征值计算的校验,能立刻发现算术错误。

6.2 数值实践:优先用 SVD,不要用 的特征分解

两种做法在数学上等价:

做法步骤结果
A:对 特征分解算 ()→ np.linalg.eigh(S)特征向量 ,特征值
B:对 做 SVD直接用 np.linalg.svd(X, full_matrices=False)右奇异向量 , 即方差

但数值上强烈推荐 B。 原因:

  1. 条件数平方问题。 的条件数是 的条件数的平方:。若数据的特征尺度差异大( 很常见),,双精度下小特征值会损失约 8 位有效数字,甚至算成 或小的负数。
  2. 负特征值的尴尬。 理论上 半正定,特征值 ;但由于舍入误差,np.linalg.eigh(S) 可能返回 这样的小负数,导致 变成 nan(如果错误地拿去开平方)。用 SVD 则永远得到非负的 。
  3. 时的效率。 高维小样本()时 是巨大的 矩阵,而对 ()做 SVD 便宜得多。
  4. 的显式计算本身有开销。 算一次 需要 次乘法;SVD 的双对角化过程是 ,并不更贵。

结论:数学上可以走 A 路线(手算时更方便),工程上永远走 B 路线。


七、例题(完整手算)

7.1 题目

某数据集有 个样本、 个特征,原始数据为

(这组数据恰好已经中心化,但第 1 步仍然完整做一遍以示范流程。)求:中心化数据、样本协方差矩阵、特征值与主方向、主成分得分、方差贡献率,以及降到 维的结果与重构误差。

7.2 第 1 步:算列均值并中心化

所以 ,(但实际数据一般不会这么巧,这一步不能省)。校验每列和为 ✓。

7.3 第 2 步:算协方差矩阵

先算 。,于是

逐个元素(用"行乘列"):

校验总方差: ;而中心化后所有元素平方和 ,除以 得 ✓。

含义: 是特征 1 的方差, 是特征 2 的方差, 是两者的协方差。 说明两个特征正相关——特征 1 大的样本,特征 2 也倾向于大。这个相关性正是 PCA 要消除的东西。

7.4 第 3 步:求特征值

(用了 行列式公式 。)于是

校验:

  • ✓
  • ✓

两个特征值都 , 正定(6-4-对称矩阵与正定矩阵)。

7.5 第 4 步:求主方向(单位特征向量)

对 :

第一行给出 ,即 。取 ,单位化:

对 :

校验正交性: ✓

主方向的几何含义:

  • 是 方向。点 与 都在这个方向附近, 与 在相反方向——点云主要沿这条对角线伸展。
  • 是 方向,垂直于 。

7.6 第 5 步:算主成分得分

校验得分方差:

(精确计算:。)同理 , ✓

校验去相关: ✓

这就是"去相关"的具体体现:原来两个特征高度正相关(协方差 ),换成主成分坐标后协方差为 。

7.7 第 6 步:方差贡献率

第一个主成分单独就解释了 90% 的总方差。 这说明原来的 2 个特征信息高度冗余——降到 1 维几乎不损失什么。

7.8 第 7 步:降到 1 维、重构与误差

降到 1 维的数据就是 ——每个样本从一个二维点变成一个数。

重构回二维():

(精确值:。)

残差矩阵:

重构误差:

与奇异值的关系验证。 由第三节,,故

而 ✓, ✓——与 7-2-图像压缩与低秩逼近 的 Eckart–Young 定理完全一致。

相对重构误差:

校验平方关系: ,而 ✓(这正是 5.3 节强调的"误差与方差贡献率是平方关系"。)

7.9 对照实验:不中心化的后果

若跳过第 1 步,直接把原始数据(现在给每个特征加上一个偏移)当作已经中心化:

算 ,得到

第一主成分的方差贡献率是 ——比中心化后的 90% 还"高"。但它的主方向约为 ,而均值方向是

两者几乎相同。 也就是说:这个"第一主成分"捕捉的几乎完全是数据的均值(即"数据整体离原点有多远"),而不是"数据如何散布"。它看起来方差贡献率高,实际上毫无统计意义。

请记住这个对照

不中心化的 PCA 会给你一个更"漂亮"的方差贡献率,而那个数字是没有意义的。 判断是否忘记中心化有一个快速检查: 的每一列均值是否为 。


八、PCA 的注意事项

8.1 量纲不同时必须标准化

问题。 若特征量纲不同(例如"身高(厘米)"与"体重(千克)"),方差的大小会被单位决定,而不是被"重要性"决定。把身高从"厘米"改成"米",方差会缩小 倍,主方向立刻改变——PCA 的结果依赖于任意的单位选择,这显然不合理。

解决方法:标准化(standardization / z-score)

其中 是第 个特征的样本标准差。标准化后每个特征的方差都是 ,量纲被消除。

标准化后的协方差矩阵就是相关系数矩阵。 因为

即第 与第 个特征的样本相关系数。所以"标准化后做 PCA"= "对相关系数矩阵做 PCA",对角线全为 ,总方差 。

什么时候标准化,什么时候不标准化

- 量纲相同或可比(如同一批传感器测的同一物理量、灰度图像的像素值)→ 只中心化。此时保留原始方差结构更自然。

- 量纲不同(身高/体重/收入)→ 必须标准化。

- 单位是"有意义的相对大小"(如金融中不同股票的收益率,量纲相同)→ 通常只中心化。

- 拿不准时:两种都做一遍。若主方向差异很大,说明数据对尺度敏感,必须明确说明选了哪一种——并在论文/报告中写清楚,因为读者无法从"PCA 结果"反推出你做了什么预处理。

8.2 对异常值敏感

方差是平方量:一个偏离均值 倍标准差的异常点,会把方差拉大 倍,从而独占第一主成分。后果:

  • 第一主方向被这个异常点"拉"过去,其余样本的结构完全看不见;
  • 2 维可视化时,正常样本被挤在原点附近成为一个点。

对策:

  1. 先看数据:画原始特征的箱线图/散点图,识别异常值;
  2. 稳健 PCA:用中位数替代均值、用 MAD(中位数绝对偏差)替代标准差;
  3. 对低秩 + 稀疏分解(robust PCA):把数据分解为"低秩部分 + 稀疏异常部分",让异常值进入稀疏项——这正是 7-2-图像压缩与低秩逼近 9.3 节背景建模里用到的方法;
  4. 秩变换:把每个特征换成它的秩(rank),再对秩做 PCA。

8.3 主成分是线性组合,可解释性有限

主方向 的分量一般全是非零的,所以第 个主成分是所有原始特征的混合。这带来两个后果:

  • 难以命名:你不能说"第一主成分就是身高",只能说"第一主成分主要由身高()与体重()构成"。
  • 难以行动:如果结论是"第一主成分很重要",你无法据此调整某一个具体的业务指标。

对策(若必须可解释):

  1. 稀疏 PCA(sparse PCA):在主方向上施加稀疏约束(要求 只有少数非零分量),得到"只用几个原始特征"的主成分;
  2. 旋转(如 varimax 旋转):在保留的前 维子空间内做正交旋转,使载荷矩阵更容易解释(这是因子分析的标准做法);
  3. 只看载荷的大小排序:按 从大到小看,取前几个"主要贡献特征"作为解释依据。

8.4 不要用 PCA 做特征选择

这是最重要的一条,也是误解最多的一条。

PCA 不是特征选择

特征选择(feature selection)是"从原来的 个特征中挑出 个保留"——保留的特征仍然是原始特征,含义不变。

PCA 是"构造 个新的线性组合"——原始特征全部参与了每一个主成分, 个主成分里包含了全部 个特征的信息(只是被压缩了)。

两者完全不同:

- PCA 后的数据没有"第 3 个特征"这个说法,只有"第 3 个主成分";

- 你不能说"去掉第 5 个特征",因为 里含所有特征;

- 若后续任务需要"只用 5 个可测量的指标",PCA 帮不了你,要用 Lasso、递归特征消除(RFE)、前向选择等方法。

还有一个更隐蔽的风险:PCA 是无监督的,它完全不知道标签 。 方差最大的方向不一定是"最能区分类别"的方向。构造一个极端的例子: 两类样本的均值差沿 轴(方差很小,因为类内紧凑),而沿 轴有一个巨大的、与类别无关的波动(方差很大)。PCA 会把 轴选为第一主成分,而 轴(唯一有判别力的方向)可能被降到第 2 位甚至被丢掉。这正是线性判别分析(LDA)与 PCA 的根本区别:LDA 用标签 ,PCA 不用。若目标是分类,应该考虑 LDA 或直接用有监督的降维方法。

8.5 只捕捉线性结构

PCA 找的是线性子空间。若数据分布在一个弯曲的流形上(例如"瑞士卷"、环形、螺旋),PCA 无法展开它——用 2 个主成分去近似一个卷曲的曲面,得到的结果会把远处的部分错误地重叠在一起。

对策: 核 PCA(kernel PCA,先用核函数把数据映到高维再线性降维)、t-SNE、UMAP、自编码器(autoencoder)等非线性方法。这些方法各有取舍(t-SNE/UMAP 适合可视化但不能给出可复现的变换、自编码器需要大量数据与调参),但都超出了线性代数的范围。

8.6 其他常见坑

  • 忘记返回原始尺度。 若做了标准化,降维后的得分是"标准化尺度"的。要回到原始单位,必须反标准化(乘回 、加回 )。很多"PCA 重构图看起来不对"的问题都源于此。
  • 把主成分得分与主方向搞混。 是方向(有 个数), 是得分(有 个数)。维度不同,用途不同。 "载荷矩阵"是 ,"得分矩阵"是 。
  • 对测试集重新算 PCA。 PCA 的变换()必须只在训练集上确定,然后原样应用到测试集:。若在测试集上重算一遍 ,就造成了信息泄漏,评估结果会偏乐观。而且训练集与测试集的 与 也必须只用训练集计算。

九、计算方法与步骤(可运行代码)

9.1 完整流程(只用 numpy)

import numpy as np

# ============ 1. 数据矩阵:m=4 个样本,n=2 个特征 ============
X_raw = np.array([[1., 2.],
                  [2., 1.],
                  [-1., -2.],
                  [-2., -1.]])
m, n = X_raw.shape
print(f"样本数 m={m}, 特征数 n={n}")

# ============ 2. 中心化:每列减去该列均值(必须做!) ============
mu = X_raw.mean(axis=0)
X = X_raw - mu
print("列均值:", mu, "  中心化后各列均值:", X.mean(axis=0))

# ============ 3. 样本协方差矩阵(分母 m-1) ============
S = X.T @ X / (m - 1)
print("样本协方差矩阵 S =\n", S)
print("总方差 tr(S) =", np.trace(S))

# ============ 4. 对 X 做 SVD(不要对 S 做特征分解!) ============
U, s, Vt = np.linalg.svd(X, full_matrices=False)
V = Vt.T
print("奇异值 s =", s)
print("主方向 V(列为主方向)=\n", V)

# ============ 5. 方差与累计方差贡献率 ============
var = s ** 2 / (m - 1)          # = S 的特征值
print("各主成分方差:", var, "  合计 =", var.sum())
print("与 eigh(S) 对比:", np.sort(np.linalg.eigvalsh(S))[::-1])
cum = np.cumsum(var) / var.sum()
print("单个方差贡献率:", var / var.sum())
print("累计方差贡献率:", cum)

# ============ 6. 主成分得分 ============
scores = X @ V                    # 等价于 U * s
print("主成分得分 =\n", scores)
print("与 U*s 一致?", np.allclose(scores, U * s))
print("得分的协方差矩阵(应为对角)=\n", scores.T @ scores / (m - 1))

# ============ 7. 降到 k 维:投影、重构、误差 ============
for k in [1, 2]:
    Z = X @ V[:, :k]                       # m x k,降维后的数据
    X_hat = Z @ V[:, :k].T                 # m x n,重构
    err_F = np.linalg.norm(X - X_hat, 'fro')
    err_2 = np.linalg.norm(X - X_hat, 2)
    print(f"k={k}: 累计方差贡献率={cum[k-1]:.4f}, "
          f"||X-X_hat||_F={err_F:.6f}, ||X-X_hat||_2={err_2:.6f}, "
          f"相对误差={err_F/np.linalg.norm(X, 'fro'):.6f}")

# ============ 8. 一维表示 + 反标准化回到原始尺度 ============
k = 1
Z1 = X @ V[:, :k]                          # 一维坐标
X_back = Z1 @ V[:, :k].T + mu              # 升维 + 加回均值
print("一维表示 Z1 =", Z1.ravel())
print("反投影回原始尺度 =\n", X_back)

# ============ 9. 对照:不中心化的后果 ============
S_bad = X_raw.T @ X_raw / (m - 1)
w_bad = np.sort(np.linalg.eigvalsh(S_bad))[::-1]
print("不中心化时 PC1 方差贡献率 =", w_bad[0] / w_bad.sum())
print("(这个数字比中心化后的", cum[0], " 还高,但主方向被均值占据,无统计意义)")

运行结果(关键几行):

  • S 输出 ,与第七节手算的 一致;
  • s = [4.242641, 1.414214],即 与 ;var = [6.0, 0.666667];
  • cum = [0.9, 1.0];
  • k=1 时 ||X-X_hat||_F = 1.414214,与 一致;
  • 不中心化时 PC1 方差贡献率 = 0.9818。

注意第 8 步的"反标准化"

X_back = Z1 @ V[:, :k].T + mu —— 加回均值这一步不能忘。若前面还做了标准化,则要写成

X_back = (Z1 @ V[:, :k].T) * sigma + mu,其中 sigma 是各列标准差。

忘记加回均值/标准差是"PCA 重构图整体偏了一个位置或尺度不对"的典型原因。

9.2 标准化版本(量纲不同时用)

import numpy as np

# 假设有三个量纲不同的特征(身高 cm / 体重 kg / 年龄 岁)
X_raw = np.array([[170., 65., 30.],
                  [180., 80., 45.],
                  [165., 55., 25.],
                  [175., 70., 50.],
                  [160., 50., 22.],
                  [185., 85., 40.]])
m, n = X_raw.shape

# 标准化:减均值、除标准差(ddof=1 与 S 的分母 m-1 一致)
mu = X_raw.mean(axis=0)
sd = X_raw.std(axis=0, ddof=1)
Z = (X_raw - mu) / sd
print("标准化后各列均值:", Z.mean(axis=0), " 标准差:", Z.std(axis=0, ddof=1))

# 标准化后的协方差矩阵 == 相关系数矩阵
S_z = Z.T @ Z / (m - 1)
print("相关系数矩阵 =\n", S_z)
print("对角线是否全为 1?", np.allclose(np.diag(S_z), 1.0))

# 对标准化数据做 SVD
U, s, Vt = np.linalg.svd(Z, full_matrices=False)
var = s ** 2 / (m - 1)
cum = np.cumsum(var) / var.sum()
print("各主成分方差:", var)
print("累计方差贡献率:", cum)
print("主方向(列)=\n", Vt.T)
print("(注意:总方差 = n =", n, ",因为每个标准化特征的方差都是 1)")

9.3 用碎石图与累计方差贡献率选

本示例需要 matplotlib:pip install matplotlib

import numpy as np
import matplotlib.pyplot as plt

# 生成一个 200 样本、10 特征、内在维数为 3 的合成数据
rng = np.random.default_rng(42)
m, n, r_true = 200, 10, 3
basis = rng.normal(size=(n, r_true))
latent = rng.normal(size=(m, r_true))
X_raw = latent @ basis.T + 0.15 * rng.normal(size=(m, n))   # 加一点噪声

X = X_raw - X_raw.mean(axis=0)
U, s, Vt = np.linalg.svd(X, full_matrices=False)
var = s ** 2 / (m - 1)
cum = np.cumsum(var) / var.sum()

print("各主成分方差:", np.round(var, 4))
print("累计方差贡献率:", np.round(cum, 6))
print("达到 0.95 需要 k =", int(np.searchsorted(cum, 0.95) + 1))
print("达到 0.99 需要 k =", int(np.searchsorted(cum, 0.99) + 1))

fig, axes = plt.subplots(1, 2, figsize=(11, 4))

axes[0].plot(np.arange(1, n + 1), var, 'o-')
axes[0].set_xlabel('i')
axes[0].set_ylabel('var_i')
axes[0].set_title('scree plot')
axes[0].grid(alpha=0.3)

axes[1].plot(np.arange(1, n + 1), cum, 's-')
axes[1].axhline(0.95, color='r', ls='--', lw=1)
axes[1].set_xlabel('k')
axes[1].set_ylabel('cumulative variance')
axes[1].set_title('cumulative variance explained')
axes[1].grid(alpha=0.3)

plt.tight_layout()
plt.show()

在这个例子里,真实内在维数是 ,碎石图会在 处出现明显的拐点(前 3 个方差远大于后面的),累计方差贡献率的"95% 阈值"通常也会给出 或 ——两条判据互相印证。这正是第 5.4 节建议"同时看多条曲线"的原因。


十、应用

10.1 人脸识别:Eigenfaces

问题。 每张人脸图像是一个 的像素矩阵,拉直成一个 维向量。一张 的小图就是 维——直接在这个维度上做分类,样本数远小于维数("高维小样本"问题),任何分类器都会过拟合。

做法(Eigenfaces,"特征脸")。

  1. 收集 张训练人脸图,每张拉直成一个 维列向量,排成数据矩阵 (每列一张脸),中心化(减去"平均脸");
  2. 对 做 SVD(或等价地在 上做特征分解),得到主方向 ;
  3. 把每个 重新排回 的矩阵——得到一幅图像,就是一张特征脸(eigenface)。它看起来像一张模糊的、有明暗分布的"幽灵脸";
  4. 任一张人脸图 用它在这 张特征脸上的坐标表示:。 常常只要几十到几百,就把 维压到了 维;
  5. 在这个低维空间里做最近邻分类或其它分类器。

为什么有效。 所有人脸共享大量结构(两只眼睛、一个鼻子、脸的轮廓),这些共有成分构成了数据的主要方差方向;区别不同人的信息集中在前几十个主成分里。特征脸就是这个"人脸空间"的一组正交基。

注意: 这种方法对光照、姿态、表情的变化很敏感(这些变化的方向方差可能比"身份"的方向更大,从而抢占前面的主成分)——这也是后来深度学习取代它的主要原因之一。但从线性代数的角度看,它把 PCA 的价值展示得最清楚。

10.2 数据可视化

把 维数据降到 维(取前 个主成分)或 维(前 个),画散点图。

优点: 变换是线性且可复现的,坐标轴有明确含义("第一主成分"= 方差最大的线性组合)。可以标注每个主方向上载荷最大的几个原始特征,从而对聚类结构给出解释。

局限: 只保留前 个主成分意味着丢掉了大部分方差(除非数据的内在维数确实很低)。若前两个主成分只解释了 的方差,这张二维图不能代表数据——必须在图上标注累计方差贡献率。若目标是"看清楚局部结构"而不是"保留全局方差",t-SNE 或 UMAP 通常效果更好,代价是失去线性可解释性。

10.3 去噪与压缩

与 7-2-图像压缩与低秩逼近 完全同源:PCA = 中心化 + 截断 SVD。应用于:

  • 图像去噪:把图像分块(如 块)当作样本,对块集合做 PCA,保留少数主成分后重构——这是很多现代去噪算法(如 BM3D 的变体)的核心步骤;
  • 数据压缩:传感器网络、天文观测中,把时间序列数据降到少数主成分存储;
  • 缺失值插补:用前 个主成分重构数据,缺失位置用重构值填充(这是"低秩矩阵补全"的一种简化形式)。

重要限制: 由 7-2-图像压缩与低秩逼近 第八节,最优的 在真实场景中未知(因为拿不到干净信号),必须靠交叉验证或噪声方差估计来定。 太小会削掉信号, 太大会保留噪声。

10.4 与多元高斯分布的联系

这是 PCA 与概率统计最深刻的一处连接(详见 12-3-多元高斯与加权最小二乘)。

多元高斯分布的密度函数由均值 与协方差矩阵 决定:

密度函数的等值面(等高线)是椭球:

把 谱分解为 ,令 (即在主方向坐标系下看数据),等值面变成

这是一个轴对齐的椭球,第 根半轴长是 。

PCA 的统计含义

PCA 的主方向就是多元高斯分布等概率椭球的主轴方向,主成分方差 就是半轴长的平方。

因此:

- "主成分方差很小" ⟺ "这个方向上的概率密度变化很慢" ⟺ "数据在这个方向上几乎不分散";

- 丢弃小方差主成分,等价于把高斯分布退化到一个低维子空间上的退化高斯分布——这也是"概率 PCA"(probabilistic PCA)的出发点:它把 PCA 解释为一个隐变量模型的极大似然估计。

- 若 的某些特征值为 (退化分布),密度函数在 中不存在(),但在主子空间内仍然是一个良定义的高斯分布——这正是降维的统计学解释。

另一个联系: 若协方差矩阵是各向同性的(),等值面是球面,此时所有方向的方差相同,PCA 完全失效(没有"主要方向")。这与 7-2-图像压缩与低秩逼近 FAQ 里"奇异值不衰减就无法压缩"是同一件事。

10.5 其他应用一览

领域用途
金融收益率曲线的主成分分析(水平/斜率/曲率三个因子解释绝大部分变动)
化学光谱数据的降维与成分识别(PCA 是化学计量学的基础工具)
气象海温、气压场的主成分分析(EOF 分析,本质就是 PCA)
生物信息基因表达数据的降维与样本聚类( 的典型场景)
信号处理子空间方法(MUSIC、ESPRIT)的波达方向估计
机器学习预处理、特征提取、异常检测(离主子空间远的点判为异常)
控制论模型降阶(balanced truncation 与 PCA 同源)
推荐系统与 SVD 协同过滤同源([[7-2-图像压缩与低秩逼近]] 9.1 节)

异常检测值得多说一句:PCA 给出一个 维主子空间,"正常"样本应当离这个子空间很近。定义重构误差 ,若 超过阈值,就判为异常。这类方法的优点是不需要标注异常样本(无监督)。


十一、易错点总结

十个高频错误

1. 忘记中心化。 最严重的错误。不中心化时第一主成分会被均值方向占据(第七节数值对照:方差贡献率从"看似更好"的 98.18% 变成了毫无意义的数字)。快速检查: 每列均值是否为 。

2. 量纲不同时忘记标准化。 结果会随单位的任意选择而改变。快速检查:各特征的方差是否相差几个数量级。

3. 把主方向与主成分得分搞混。 有 个数(方向), 有 个数(得分)。维数不同,绝不能互换。 "载荷"是 ,"得分"是 。

4. 用 PCA 做特征选择。 PCA 构造的是新的线性组合,原始 个特征全部参与了每个主成分,不存在"去掉某个特征"这回事。需要特征选择请用 Lasso/RFE。

5. 对 做特征分解而不对 做 SVD。 数学上等价,但数值上 ,精度平方级恶化,还可能得到小的负特征值。手算可以用 ,工程上必须用 SVD。

6. 把"相对重构误差 "与""当成一回事。 二者是平方关系:。要求 等价于 ,不是 。

7. 在测试集上重新算 PCA。 、、 都必须只在训练集上确定,然后原样应用到测试集。否则信息泄漏,评估结果虚高。

8. 忘记从特征值算回奇异值(或反过来)。 关系是 ,即 。差一个 因子会让"方差"与"能量"两套数字对不上。校验方法:。

9. 以为主成分可以任意取符号。 符号确实不唯一( 与 同时变号,结果不变),但不要用两次运行结果逐元素比对。不同软件、不同版本给出的符号可能相反。

10. 用 PCA 的结果下因果结论。 PCA 只描述相关结构("这两个特征一起变化"),不能说明"一个导致另一个"。看到"第一主成分主要是收入和 education",不能推出"提高 education 会增加收入"。


十二、练习题

练习 1(基础) 数据中心化后为 。

(a) 求样本协方差矩阵 ;

(b) 求 的特征值与单位特征向量;

(c) 求主成分得分,并验证两个得分的协方差为 ;

(d) 求累计方差贡献率。(提示:这组数据的 是对角矩阵。)

练习 2(基础) 某数据集中心化后 ,样本数 。

(a) 求 的特征值;

(b) 求 的奇异值;

(c) 求两个主成分各自的方差贡献率;

(d) 若降到 维,相对重构误差是多少?(注意用平方法验证。)

练习 3(进阶) 设中心化数据矩阵 的 SVD 为 。证明:

(a) 得分的样本协方差矩阵 是对角矩阵;

(b) ;

(c) 前 个主成分保留的方差占总方差的比例等于 。

练习 4(进阶) 证明第 4.3 节的恒等式 对任意满足 的矩阵 成立,并说明这个恒等式为什么说明"方差最大化"与"重构误差最小化"是同一个问题。

练习 5(进阶) 设中心化数据矩阵 有 个样本、 个特征,。

(a) 总自由参数有多少个?

(b) 中心化后 的秩最多是多少?为什么?

(c) 若 、, 的秩最多是多少?此时 最多有几个非零特征值?

练习 6(思考) 构造一个 维、两类样本的数据集,使得:沿 轴方向两类样本的方差很大但两类均值相同,沿 轴方向方差很小但两类均值明显不同。写出具体数据(每类至少 个点),计算 PCA 的第一主方向,并说明为什么用它做分类会失败。(提示:第一主方向会是 轴,而判别方向是 轴。)

练习 7(思考) 有人说:"PCA 的累计方差贡献率达到 95% 就说明降维没有丢失重要信息。"请举出至少两个这句说法的反例或漏洞。


十三、常见问题 FAQ

Q1:PCA 和截断 SVD 到底有什么区别?

运算几乎相同,差别在"是否中心化"与"如何解释"。

对比截断 SVDPCA
输入任意矩阵 中心化的数据矩阵
分解
左奇异向量行方向的模式样本的得分方向
右奇异向量列方向的模式主方向(载荷)
奇异值各模式的"强度" = 方差
解释几何/数值的"最重要的 个模式"统计的"解释最多方差的 个线性组合"

一句话:PCA = 中心化 + 截断 SVD + 统计解释。 若数据已经中心化,两者数值结果完全一致。

Q2:为什么要除以 而不是 ?

因为 是总体方差的无偏估计(unbiased estimator)——这是统计学上的标准选择,也是 R、MATLAB、sklearn、numpy 的 ddof=1 约定。

但要清楚:这不影响 PCA 的任何"结论"。 因为除以 还是 只是一个常数因子,特征值全部同比例缩放,特征向量(主方向)完全不变,方差贡献率的比值也完全不变。唯一受影响的是"方差"和"奇异值"的绝对数值。所以:

  • 用 sklearn 的 PCA(内部用 )与用 np.linalg.svd(X) 手算(再除以 )结果应当完全一致;
  • 若拿到的方差数值与别人差一个因子 ,先检查分母约定,不必怀疑方法错误。

Q3:为什么说"数值上优先用 SVD 而不是对 做特征分解"?两者不是等价的吗?

数学上等价,数值上不等价。 关键是条件数:

若 (数据特征尺度差异大时很常见),则 。双精度浮点约 16 位有效数字, 意味着最小特征值只剩约 8 位有效数字;若 ,,最小特征值完全被误差淹没,甚至算成负数——此时若拿它开平方求奇异值,会得到 nan。

SVD 直接作用于 (条件数 或 ),全程只用正交变换,不放大误差,且输出的奇异值永远非负。此外在 时, 是巨大的 矩阵,算它本身就非常昂贵。

结论:手算/教学用 (更容易看出特征值与方差的关系),工程代码用 SVD。

Q4:PCA 之后还需要做别的处理吗?比如白化?

看下游任务。 PCA 之后得到的 维得分,各维方差是 ,并不相等。有两种常见后续处理:

  • 白化(whitening / sphering):把每个得分除以其标准差,得到 ,使各维方差都变成 、且互不相关(协方差矩阵成为单位矩阵)。用途:某些算法(如独立成分分析的预处理、部分神经网络训练、最近邻检索中的距离度量)假设各维等权,必须白化。
  • 不白化:直接使用得分。用途:当"方差大的方向更重要"时(例如重构、可视化、去噪),保留原始方差是必要的。若把方差信息丢掉,降维就失去了"按重要性排序"的意义。

注意:白化会放大方差极小的方向(除以很小的 ),因此对噪声极其敏感。 若某个 接近 ,白化会把这个方向的噪声放大到与信号同量级。实践中白化前一定要截断(只保留前 个较大的主成分),不能对全部 个主成分做白化。

Q5:(样本数少于特征数)时 PCA 还能用吗?

能用,而且这正是 PCA 最有价值的场景之一(高维小样本问题,如基因表达数据、人脸识别)。

要点:

  1. 最多只有 个非零特征值(第三节 3.3 的推导),因为中心化使 。所以最多只能降到 维,不可能更多。
  2. 应该转而在 的 上做特征分解。由 7-1-SVD的构造与几何意义 定理 7.1.14,(,可能 )与 (,可能 )有相同的非零特征值。算小的那个:
  • 对 做特征分解得 ,即得到 与 ;
  • 再由 回推主方向(这正是 7-1-SVD的构造与几何意义 中" 时对称地做"的做法);
  • 这就是经典的"对偶 PCA"或"Gram 矩阵技巧"。
  1. 正则化仍然必要。 即使 个特征值全为正,样本协方差矩阵也是奇异的( 但秩只有 ),不能求逆。需要做岭正则化 或用伪逆(7-1-SVD的构造与几何意义 第九节)。

本篇小结

核心结论

  1. PCA 要解决的问题:把 维数据压到 维,同时尽量保留信息。它回答的是「哪几个方向承载了数据的大部分变化」。
  2. 第一步必须是中心化: 原始数据 (每列减去列均值)。忘记中心化会让第一主成分被「均值方向」占据,结果完全失去意义。
  3. 样本协方差矩阵 是整个 PCA 的核心对象——它是对称半正定的,所以有正交特征分解。
  4. PCA 就是数据矩阵的 SVD,两者是同一件事的两种写法:

  1. 两种等价视角:①方差最大化——找使投影方差最大的方向;②重构误差最小化——找使压扁后信息损失最小的方向。二者给出同一组主方向。
  2. 主成分得分 是数据在新方向上的坐标;载荷是 ,得分是 ,两者维数不同,绝不能互换。
  3. 选 的三种方法:累计方差贡献率(CVE,常用 或 )、碎石图的「拐点」、按目标重构误差反解。
  4. 误差与 CVE 是平方关系:。要求 等价于 ,不是 。
  5. 工程上用 SVD,不要对 做特征分解:数学等价,但 ,精度平方级恶化,还可能得到小的负特征值。
  6. 量纲不同时必须标准化,否则结果会随单位的任意选择而改变——这是 PCA 最常见的实际坑之一。
  7. PCA 只描述相关结构,不能下因果结论;主成分是线性组合,可解释性有限。
  8. 训练/测试必须分清:、、 都在训练集上确定,再原样应用到测试集,否则信息泄漏、评估虚高。

易混概念对照

容易混淆的一对区别一句话记住
中心化 与 标准化中心化只减均值;标准化再除以标准差量纲相同只需中心化,量纲不同必须标准化
主方向 与 主成分得分 有 个数(方向), 有 个数(得分)载荷是 ,得分是
对 做 SVD 与 对 做特征分解数学等价,数值上后者条件数平方恶化手算可以,工程必须用 SVD
与 ,差一个 因子校验:
相对重构误差 与 平方关系:别混用这两个尺度
PCA 与 特征选择PCA 的每个主成分都用了全部 个原始特征要选特征请用 Lasso/RFE
符号不唯一 与 算法错误 同时 结果不变别用两次运行逐元素比对

自学检查清单

  1. 中心化后的 为什么秩最多是 ?这与「中心化让秩少一个」有什么关系?
  2. 手算一个 的微小数据集:求 、特征值、主方向、得分、方差贡献率,再降到 1 维重构。
  3. 如果去掉中心化这一步会怎样?(用第七节 7.9 的对照实验说明:第一主成分被均值方向占据,方差贡献率变成毫无意义的数字。)
  4. 为什么「方差最大化」与「重构误差最小化」会给出同一组主方向?请用二次型在单位球上的极值来解释。
  5. 若要求相对重构误差 ,CVE 至少要多少?反过来 CVE 时误差是多少?
  6. 为什么在测试集上重新算 PCA 会导致评估虚高?正确的做法是什么?
  7. 给出一个「PCA 结果显示两特征强相关,但不能推出因果」的例子。

相关笔记

  • 7-1-SVD的构造与几何意义 —— 的推导与奇异值性质,PCA 的全部工具
  • 7-2-图像压缩与低秩逼近 —— 同一套截断 SVD 的几何/工程视角,Eckart–Young 定理
  • 12-2-协方差矩阵 —— 的对称性、半正定性与统计含义
  • 12-3-多元高斯与加权最小二乘 —— 主方向与高斯分布等概率椭球主轴的关系
  • 6-4-对称矩阵与正定矩阵 —— 谱定理 ,PCA 的存在性依据
  • 6-5-二次型与标准形 —— Rayleigh 商 的求法
  • 12-1-均值方差与概率 —— 方差、协方差的线性代数表达
  • 附录-矩阵分解总览 —— 、、、 的统一对比

参考来源