12-2-协方差矩阵
一句话概括
把随机向量的各分量两两之间的协方差排成一张 的表,就得到协方差矩阵(covariance matrix) ;它必然是实对称且半正定的,于是 6-4-对称矩阵与正定矩阵 的全部结论立刻可用——特征向量是数据云的主轴、特征值是沿主轴的方差、 是椭球。
本篇覆盖: 的定义与结构、对称性与半正定性的完整证明()、正定与「分量不线性相关」的等价链、样本协方差矩阵及其秩上界与判别分析的含义、线性变换下的 (含元素形式证明)、去相关与白化( 与对称版本 、白化的不唯一性)、几何直观(特征向量 = 数据云主轴、特征值 = 沿主轴方差、 是椭球)、独立与不相关在多元情形的对比。
本版的例题与实验:例题 3-补充( 数据手算 与 特征值/主轴全流程)、例题 4-补充(数值实验:定理 2/4/5/7 逐条验证)、例题 5-补充(两组观测方差相差 倍时 WLS 与 OLS 的完整对比)、例题 6-补充( 的元素形式证明 + 白化不唯一性)、例题 7-补充(半正定的概率构造 + + 条件数与判别分析诊断)。
一、定义
1.1 随机向量(random vector)
设 是定义在同一概率空间上的 个随机变量。把它们摞成列向量
就得到 维随机向量(random vector)。 的均值向量(mean vector) 定义为
(期望逐分量作用,这正是 12-1-均值方差与概率 中「期望是线性泛函」的直接推广。)
1.2 协方差矩阵(covariance matrix)的定义
定义: 维随机向量 的协方差矩阵定义为
其中 是 的外积矩阵,期望逐元素作用。
展开成元素形式:记 ,则第 个元素是
这解释了名字:协方差矩阵就是「两两协方差」排成的矩阵。
1.3 等价的计算公式
证明:展开外积,用期望的线性性(不需要任何独立性):
这与标量公式 完全平行。
1.4 中心化数据矩阵与样本协方差矩阵
设有 次观测、每次观测记录 个变量的数据矩阵(data matrix)
(约定:每行是一个观测样本,每列是一个变量——注意这与 np.cov 的默认约定 rowvar=True 相反,见第七节。)
中心化:设 是样本均值行,令
其中 是全一列向量。 的每一列之和为 。
样本协方差矩阵(sample covariance matrix):
验证它是协方差的无偏估计: 的第 个元素是
除以 后正是 12-1-均值方差与概率 中样本协方差的定义。
与「协方差就是内积」的联系
的第 列是第 个变量的 个中心化观测值,记作 。于是
就是中心化数据列向量两两内积的 Gram 矩阵除以 。 第 12-1 篇的核心洞察在这里升级为矩阵形式。
二、几何直观
2.1 对角元与非对角元的含义
| 位置 | 含义 | 几何解读 |
|---|---|---|
| :第 个分量的方差 | 点云沿第 个坐标轴的展开程度 | |
| () | 点云在 平面上的倾斜方向 | |
| 正相关 | 点云沿斜率为正的直线方向拉长 | |
| 负相关 | 点云沿斜率为负的直线方向拉长 | |
| 不相关 | 点云在该平面的投影不带线性倾斜 | |
| 为对角阵 | 两两不相关 | 点云的轴与坐标轴对齐(但不一定独立!) |
2.2 特征向量是数据云的主轴
因为 是实对称矩阵,由 6-4-对称矩阵与正定矩阵 存在正交对角化
几何解读:
- 的特征向量 (互相正交,可取自标准正交)给出数据云的 条主轴(principal axes);
- 对应的特征值 是数据沿该主轴的方差:令 (数据在第 个主轴上的投影坐标),则
- 所以 越大,数据沿 方向铺得越开; 越小,数据在该方向被压得越扁。
- 变换到主轴坐标系就是白化的「旋转」那一半:令 ,则 是对角阵,各分量不相关。
2.3 是椭球
断言:当 正定时,集合 ()是一个椭球,中心在原点,半轴方向为 的特征向量 ,半轴长为 。
推导:做变量代换 (旋转到主轴坐标系)。因为 ,有
于是方程变成
这正是标准椭球方程:沿 方向的半轴长是 (因为令其余 得 )。
解读:椭球在方差大的方向上伸得长、在方差小的方向上压得扁,形状完全由 的谱(特征值集合)决定,朝向完全由特征向量决定。这正是 6-5-二次型与标准形 中「二次型正交化为标准形」的几何图像在概率论中的重现。
2.4 高维小样本:点云掉进低维子空间
若样本数 小于变量数 ,则中心化数据矩阵 的秩至多 ,因此
是 的奇异矩阵。几何上: 个点总是落在 中一个至多 维的仿射子空间里(想想 时 3 个点必共面),点云在这个方向上的「厚度」为零, 在该方向的特征值为 ,椭球退化成「薄饼」。
三、性质与定理
定理 1(对称性)
表述:。
条件:二阶矩存在。
证明:按元素验证。对任意 ,
(中间一步用了实数乘法的交换律。)故 。
直接证明(矩阵形式): 的转置是 自身(因为 ,取 ),即每个样本的外积本身对称,期望逐元素作用后仍对称。
单个样本的外积一定是秩 1 半正定
对任意 ,。这已经预告了下一个定理。
定理 2(半正定性)——本篇最漂亮的证明
表述:对任意 ,
即 是半正定矩阵(positive semidefinite)。
条件:仅要求二阶矩存在。不需要任何独立性、不需要 可逆。
证明:注意 是一个标量随机变量。先求它的均值:
于是
(第 3 步用了标量等于自身转置:;第 4 步把与随机变量无关的 提到期望外,这是期望线性性。)
而方差永远非负,即 ,故 。
为什么这个证明漂亮
大多数教材用「 是半正定外积的期望,而半正定矩阵的期望仍半正定」来论证,需要额外说明「半正定矩阵的集合是凸锥、对期望封闭」。上面的证明绕开了矩阵论,直接把二次型认成方差——而方差非负是最原始的直观。「二次型 = 方差」这个等式本身就是全部内容。
反过来它也给出判定半正定性的概率方法:想验证一个矩阵 半正定,只要构造一个随机向量使 即可。
定理 3(正定 ⟺ 各分量不线性相关)
表述: 正定(记为 )当且仅当对任意 有 ,即不存在非平凡的线性组合是常数(几乎必然)。等价地:各分量 不线性相关(不存在 不全为零与常数 使 几乎必然)。
证明:由定理 2,。而 几乎必然是常数。于是
而后者等价于「线性组合 几乎必然是常数」。因此 正定 不存在 使 几乎必然是常数。
退化情形的具体例子:设 且 (几乎必然)。取 ,则
右边是常数零,故 ,, 有零特征值,奇异不可逆。
几何图像:点云被压进了子空间 的正交补方向厚度为零,椭球退化成「椭圆柱」或更低维的对象。
定理 4(线性变换下的协方差)
表述:设 ,其中 ,,则
条件:二阶矩存在; 是非随机的常数矩阵与向量。(若 也随机且与 独立,公式需修正。)
证明:先算均值(期望线性性):
于是中心化向量为
代入协方差定义:
(第 2 步用了 型转置律 ,其中 、;第 3 步把常数矩阵提出期望。)
特例:
- (标量)的方差:,与定理 2 一致;
- 平移不改协方差:(取 );
- 缩放: 时 。
公式 是白化与 PCA 的基础
它告诉我们:线性变换如何搬运协方差。要「去掉」相关性,就要找 使 变成对角阵(或单位阵)。这正是下一节的主题,也是 7-3-主成分分析PCA 的出发点。
定理 5(去相关与白化)
表述:设 且 是其正交对角化(,)。定义
则
证明:
(用了 对角故 对称、与 可交换。)再由定理 4 得 。
几何解读:白化(whitening)由两步组成:
- 旋转():把坐标轴转到数据云的主轴上,使协方差变成对角阵 。这一步去相关。
- 缩放():把每个主轴方向的方差都拉成 。这一步标准化。
两步合起来,点云被拉成一个各向同性的球(协方差为单位阵)。
与 PCA 的关系:
| PCA | 白化 | |
|---|---|---|
| 变换 | ||
| 协方差 | (对角) | (单位) |
| 目的 | 降维(保留大方差方向,丢掉小方差方向) | 去相关 + 统一尺度 |
| 是否保长度 | 是(旋转) | 否(还有拉伸) |
| 常见用途 | 数据可视化、压缩、特征提取 | 独立成分分析预处理、优化问题的条件数改善 |
所以白化 = PCA + 各方向重新缩放。详细推导见 7-3-主成分分析PCA。
另一种构造:。还可以取
它是对称矩阵,且 ,故确实是「 的逆的平方根」。用它可以写出 (矩阵平方根,用于从标准正态生成相关数据)。
定理 6(不相关的矩阵刻画与独立的关系)
表述:以下三条等价:
- 是对角矩阵;
- 任意 有 (两两不相关);
- 对任意 有 。
此外:若 相互独立,则 是对角矩阵;反之不成立(除多元高斯情形外,见 12-3-多元高斯与加权最小二乘)。
证明(1 ⟺ 2):,对角矩阵意味着所有非对角元为零,即两两协方差为零。
(2 ⟺ 3):由 (第 12-1 篇定理 4 的多元版本)。
(独立 ⟹ 对角):由第 12-1 篇定理 6,独立 ⟹ 两两不相关 ⟹ 对角。
(反之不成立):取经典的二维反例。设 等可能地取 ,令 ,。
(计算见第 12-1 篇例题 2。)于是
是对角阵,但 与 不独立。「 对角」只说明没有线性关联,不排除非线性依赖。
为什么只有多元高斯才能「不相关 ⟹ 独立」
高斯的密度函数完全由 与 决定(见 12-3-多元高斯与加权最小二乘)。若 对角,联合密度就分解成各分量密度的乘积,于是独立。这是高斯分布独有的「信息不多不少」的性质——它的全部依赖结构都被二阶矩描述完了。一般的分布还有偏度、峰度等更高阶结构,协方差捕捉不到。
定理 7(样本协方差矩阵的秩)
表述:设 是数据矩阵, 是中心化数据矩阵,则
从而
证明: 的每一列之和为零,即 ,所以 的 个行向量线性相关(它们的一个非平凡线性组合 等于零向量),故 。另一方面 的列数只有 ,故 。合起来 。
又因为对任意矩阵 ,(这是 4-3-最小二乘逼近 中 可逆性讨论的关键引理),故 ,而 只差一个非零标量因子 ,秩不变。
这意味着什么:
- 时 必然奇异,, 不存在。
- 凡是需要求 的方法都会失效,典型例子:
- 线性判别分析(LDA):需要 计算判别方向,高维小样本时必须先降维或用伪逆/正则化(这就是「小样本问题」small sample size problem);
- 多元高斯密度: 为零、 不存在,密度不再有定义(见 12-3);
- 广义最小二乘(GLS): 不存在时公式无定义。
- 常用补救:降维(PCA 保留前 个主成分)、正则化(,岭估计 / shrinkage 估计)、用伪逆 代替 。
定理 8(正定性、线性相关与「密度是否存在」三者的等价链)
把定理 2、定理 3 与 12-3 的密度公式串起来,可以得到一条非常实用的等价链。设 是 维随机向量 的协方差矩阵,则以下六条互相等价:
- 对一切 有 (即 );
- 对一切 有 ;
- 不存在非零 使 几乎必然是常数;
- 的各分量不线性相关(不存在 不全为零与常数 使 几乎必然);
- ,, 可逆;
- 全部特征值 。
证明:链条 是定理 2 的等式 ; 用「方差为零 几乎必然是常数」; 只需把 写成 ,再减去均值 得到一个「零方差的线性组合」。
:若 有零特征值 与对应特征向量 ,则 ,与 1 矛盾。
:对称矩阵的行列式等于特征值之积,故 排除任何零特征值;又由定理 2 所有 ,故都为正。
:由谱分解 ,令 ,则 。
为什么「正定 ⟺ 分量不线性相关」这么重要
这条等价把代数条件(矩阵可逆、特征值为正)与概率条件(没有冗余的分量)绑在一起,于是:
1. 可以被检验:拿数据算出 ,看最小特征值是否接近 、看条件数 (11-2-范数与条件数)。 巨大就意味着「几乎线性相关」——这是共线性(collinearity)诊断的标准做法。
2. 解释了为什么共线性会让回归失效。在 4-3-最小二乘逼近 里 可逆要求 列满秩。把 的每一列看成一组「变量取值」,列线性相关就是「变量之间线性相关」;此时 (本质上是这些变量的协方差结构)奇异,法方程的解不唯一或极不稳定(11-1-数值稳定性与LU 讨论的误差放大)。
3. 给出了「几乎不相关」的量化含义。实际数据几乎不可能精确线性相关,但可能近似相关: 时 形式上可逆,数值上却完全不可靠。判断标准不是「是否奇异」,而是「条件数有多大」。
谱分解与二次型的几何图像(把三件事串成一条线)
定理 5 与 2.2、2.3 节讲了平移、椭圆与二次型,这里把 、、 与三种几何对象放在一张表里,方便随时查阅。
| 线性代数对象 | 数据/几何含义 | 在 12-3 中的用途 |
|---|---|---|
| 特征向量 | 数据云的主轴方向(一条直线,正负号无意义) | 马氏距离里的旋转矩阵 |
| 特征值 | 沿主轴 的方差,即 | 白化时除以 |
| 沿主轴的标准差;椭球半轴长与它成正比 | 等密度椭球的半轴 | |
| 该主成分解释的方差占比 | PCA 保留前 个主成分的判据 | |
| 椭球的体积伸缩率的平方;也是密度的归一化因子 | 高斯密度中的 | |
| 总方差(各分量方差之和),与坐标旋转无关 | 白化后总方差变成 | |
| 旋转到主轴坐标系(正交变换,保长度) | 去相关 | |
| 各主轴方向缩放到单位方差 | 标准化 | |
| 白化矩阵(对称正定) | 马氏距离 = 先用它变换再算欧氏距离 |
为什么 与坐标旋转无关:(用迹的循环置换性质 )。所以「总方差」是一个旋转不变量——把坐标系转到任何方向,各分量方差之和都不变,变的只是它们如何分配。这正是 PCA 里「方差占比」有意义的前提。
判别分析(LDA)里为什么必须求
线性判别分析(linear discriminant analysis)的思想是:找一个方向 ,使两类数据投影到这个方向后类间距离尽量大、类内散布尽量小。若两类共享类内协方差 ,Fisher 判别方向满足
为什么需要 :几何上,乘以 相当于先把数据白化(把类内点云揉成球形),在白化后的空间里「最近邻 / 最近中心」就是最自然的分类规则;再变回原坐标系,方向就是 。这与 12-3 中「马氏距离 = 先白化再算欧氏距离」是同一个变换。
高维小样本的灾难:由定理 7, 时 必然奇异, 不存在,上式直接失效。这不是小问题——生物信息( 达上万、样本只有几十)、文本分类、图像识别都落在这个区域。这就是著名的「小样本问题(small sample size problem)」。补救手段与它们的代价:
| 补救方案 | 做法 | 代价 / 注意 |
|---|---|---|
| 先降维再判别 | 用 PCA 把 降到 ,再算 | 可能丢掉类间判别信息(PCA 是无监督的,只看总方差) |
| 正则化 | 用 代替 | 引入偏差, 需交叉验证选择;本质是岭估计 |
| 伪逆 | 用 (np.linalg.pinv) | 等价于只在非零特征值方向上求逆,丢掉了零空间方向 |
| 收缩估计 | 统计学上更精细(Ledoit–Wolf),仍然要选 | |
| 直接用对角阵 | 只保留 | 等价于假设各变量独立(朴素贝叶斯),偏差大但方差小 |
「 就够了」是个常见误解
定理 7 只说 时 可以满秩,并没说它良态。 与 接近时条件数可能高达 , 的数值结果毫无意义(11-2-范数与条件数 给出误差放大的定量估计)。实践中的经验法则是: 至少要是 的 到 倍,或者干脆用正则化、降维。
完全不相关( 为对角阵)与独立:定理 6 的补充讨论
定理 6 给出「 对角 两两不相关」,并指出独立 对角、反之不成立。这里补三点:
(1) 为什么对角化只是「必要条件的一半」。 独立性要求联合分布函数分解,而 对角只保证二阶混合中心矩为零。用信息量的话说:一个 维分布有无穷多个参数,协方差矩阵只有 个;除非分布族本身只有这么多参数(高斯就是这样),否则 对角必然丢信息。
(2) 去掉「高斯」条件后能救回多少? 有一类更一般的结论:若 的分量独立,则不仅 对角,而且任意形式的「不相关」都成立(例如 对任意函数 成立)。反之,只要存在一对函数 使上述等式不成立,就不独立。这给出了一个比协方差强得多的检验工具:协方差只检验 、 这一对特例。
(3) 距离相关(distance correlation):把上面的想法推广,用 这类「距离」代替乘积,得到的统计量 满足 独立(对一切分布成立)。这是对「 不蕴含独立」的现代修补,在实践中用于特征筛选。
一句话记住
协方差矩阵能看见的关系,只有线性的那一部分。 想看见非线性关系,要么换个统计量(距离相关、互信息),要么给分布加假设(高斯、椭圆分布族)。
四、计算方法与步骤
4.1 手算样本协方差矩阵的步骤
- 整理数据矩阵 (每行一个样本、每列一个变量)。
- 逐列求均值 ,得到均值行 。
- 中心化 (这一步绝不能省)。
- 算 Gram 矩阵 ,其 元为 。
- 除以 :。
- 验证对称:检查 (数值上应完全相等或差机器精度)。
- 验证半正定:求特征值,检查全部 (可能出现 量级的负值,属正常浮点误差)。
- 求特征值与特征向量: 与对应的正交特征向量 。
- 解释主轴: 是方差最大的方向, 是沿它的方差;半轴长与 成正比。
4.2 计算 的两条路
- 矩阵路线:直接算 。
- 概率路线:算 (对数据就是
np.var(Xc @ a, ddof=1))。 - 两者必须相等——这是定理 2 的数值验证。
4.3 白化的步骤
- 求 的特征分解 (用
np.linalg.eigh,专门用于对称矩阵,比eig更稳更快)。 - 检查所有 ;若有零特征值,白化不可逆,只能做「降维白化」(只对正特征值方向缩放)。
- 构造 (或对称版本 )。
- 变换数据 。
- 验证 。
五、例题
例题 1(完整计算样本协方差矩阵、验证性质、解释主轴)
题目:某班级测量 5 名学生的两门课成绩(已减去班级平均分后的「偏差分」),得数据
| 学生 | (数学偏差) | (物理偏差) |
|---|---|---|
| 1 | ||
| 2 | ||
| 3 | ||
| 4 | ||
| 5 |
求样本协方差矩阵 ,验证它对称、半正定,并解释主轴。
解答:
第 1 步:中心化。先算各列均值:
均值恰好为 ,所以中心化后数据不变:。
第 2 步:算 Gram 矩阵 。
先算需要的和各列平方和与交叉积:
于是
第 3 步:除以 :
第 4 步:验证对称性。,。✓
第 5 步:验证半正定性。主子式 ,。由 6-4-对称矩阵与正定矩阵 的判据(Sylvester 判据:各阶顺序主子式全正), 正定。✓
第 6 步:解释主轴。求特征值,解特征方程
,故
验证: ✓; ✓。
第 7 步:求特征向量。对 ,解 :
由第二行:。取 得 ,归一化:
对 ,正交性给出 (交换分量并变号,使其与 正交)。
特征向量的符号是自由的
与 描述同一条主轴,都是合法答案。本节采用「 的第一分量为正」的约定;
np.linalg.eigh可能返回相反符号(第七节代码里输出的就是 ),换符号不改变任何结论( 不变、 不变、 不变)。
第 8 步:解释。
- 第一主轴 :数学与物理偏差反方向变化,方差 ,占总方差的比例
即约 的变异由「数学好则物理差」这一个方向解释。
- 第二主轴 :沿此方向两个偏差同向变化,方差仅 。
- 相关系数(顺带验证):
这与「点云沿斜率为负的主轴拉长」一致。
例题 2(线性变换下的协方差与白化)
题目:承接例题 1,取 。
(1) 设 ,求 (用样本协方差)。
(2) 设 ,求 。
(3) 构造白化变换 使 。
解答:
(1) 由定理 2 与定理 4:()。
先算 :
再算内积:
直接验证:数据 为 ,均值 ,偏差平方和 ,样本方差 。✓
(2) 由定理 4,:
(对称 ✓,因为 永远对称。)注意方差被放大了: 把第一分量的尺度乘 ,方差乘 ( ✓)。
(3) 用例题 1 的特征分解。,。
(逐项验算:,,,。)
验证: 应等于 。逐项验算一遍(用 ):
✓(数值上 与 的最大偏差约 ,来自上面把 与 各自四舍五入到 4 位小数的误差;用未舍入的值计算时偏差是机器精度量级。)
解读:白化后的数据 在各方向方差都为 ,点云变成圆(球)。这时的「距离」就是普通欧氏距离——这正是 12-3-多元高斯与加权最小二乘 中马氏距离的定义方式。
例题 3-补充( 数据:手算 、手算 特征值与主轴)
题目
测得 5 个样本、2 个变量的数据如下(每行一个样本)。
| 样本 | | |
|---|---|---|
| 1 | | |
| 2 | | |
| 3 | | |
| 4 | | |
| 5 | | |
求:(1) 样本协方差矩阵 ;(2) 的特征值(手算,不跳步);(3) 特征向量(主轴)与它们对应的样本方差;(4) 相关系数 ;(5) 主轴的倾角与第一主成分的方差占比;(6) 白化矩阵 。
解答:
第 1 步:求列均值。
第 2 步:中心化(逐元素减去对应列的均值):
验证中心化:每一列之和为零: ✓, ✓。
第 3 步:算 。三个需要的量:
于是
第 4 步:除以 :
第 5 步:验证对称性与正定性。 ✓。用 Sylvester 判据:,而
故 正定(两个顺序主子式全正),。
第 6 步:手算特征值。解特征方程:
逐项展开(不要跳步):
所以
用求根公式:
计算 :因为 、,根在 与 之间。取 ,,故
于是
两个必须做的验证:
(这两个恒等式来自「特征值之和等于迹、之积等于行列式」,见 6-1-特征值引论。它们是最省事的查错手段——先验证再往下算。)
第 7 步:手算特征向量。对 ,解 :
取第一行:,即
所以 ,更整齐地写成(用 )
归一化:,于是
验证它就是特征向量(乘开看看):
对 ,同样由第一行得 ,即 ,故
正交性验证(正交矩阵必须满足):
特征向量的速记法
对 ,特征向量可取 (对每个特征值各取一个)。本题 、,立刻得到 与 ,与上面的结果一致。注意两个特征向量要各自归一化(它们长度相同,因为都等于 ,而 与 对称地分布在 两侧……这里只是巧合,一般要分别算)。
第 8 步:验证「特征值 = 沿主轴的方差」。把 5 个样本投影到 上:
平方求和:,除以 :
同理投影到 得到方差 ✓。(浮点出入来自上面把 等四舍五入到 4 位小数。)
第 9 步:相关系数。
第 10 步:主轴的几何解释。
- 第一主轴:,倾角
与 轴成约 ,斜率约 。方差 ,占总方差的
即 的变异由这一个方向解释——数据几乎是「一维」的。
- 第二主轴:,与 垂直,倾角约 ,方差仅 (占 )。
- 与 的呼应:相关系数越大,第一主成分占比越高。一般地有
当 且 时占比为 (各向同性,没有主轴可言);当 时占比 (退化成一条直线)。
第 11 步:白化矩阵 (对称版本):
验证: 应等于 。数值上最大偏差约 (机器精度),而 也成立 ✓。注意这个矩阵是对称的——它不是唯一的白化矩阵(任何 都行, 正交),但它是对称的那一个,在 12-3 篇的广义最小二乘推导里最方便。
例题 4-补充(数值实验:定理 2、定理 4、定理 5、定理 7 全部验证一遍)
题目(数值实验)
用 numpy 对例题 3-补充 的数据做四组实验:
(1) 验证 (定理 2);
(2) 验证特征值就是沿主轴的方差,并检查 、;
(3) 用矩形矩阵 验证 (定理 4),并验证白化 (定理 5);
(4) 验证秩上界 与奇异时的后果(定理 7)。
本示例只用 numpy,无需额外安装。
import numpy as np
# ---------- 数据:例题 3-补充 ----------
X = np.array([[1.0, 2.0],
[3.0, 4.0],
[5.0, 3.0],
[7.0, 6.0],
[9.0, 8.0]])
n, p = X.shape
Xc = X - X.mean(axis=0)
S = Xc.T @ Xc / (n - 1)
print("S =\n", S)
print("det(S) =", np.linalg.det(S), " tr(S) =", np.trace(S))
# ---------- 1. 定理 2:二次型 = 方差 ----------
print("\n--- 定理 2:a' S a = Var(a'x) ---")
for a in [np.array([1.0, 1.0]), np.array([1.0, -2.0]), np.array([0.6, 0.8])]:
quad = a @ S @ a
var = np.var(Xc @ a, ddof=1)
print(f"a = {a} a'Sa = {quad:.10f} Var(a'x) = {var:.10f} 差 = {abs(quad-var):.2e}")
# ---------- 2. 特征值 = 沿主轴的方差;主轴的正交性 ----------
print("\n--- 特征分解 ---")
w, Q = np.linalg.eigh(S) # 对称矩阵专用,升序返回
idx = np.argsort(w)[::-1]
w, Q = w[idx], Q[:, idx]
print("降序特征值 =", w)
print("特征向量(列) =\n", Q)
print("Q^T Q 与 I 的最大偏差 =", np.abs(Q.T @ Q - np.eye(p)).max())
print("Q Lam Q^T 与 S 的最大偏差 =", np.abs(Q @ np.diag(w) @ Q.T - S).max())
print("特征值之和 =", w.sum(), " (应等于迹", np.trace(S), ")")
print("特征值之积 =", w.prod(), " (应等于行列式", np.linalg.det(S), ")")
for i in range(p):
qi = Q[:, i]
print(f"沿主轴 {i} 的样本方差 = {np.var(Xc @ qi, ddof=1):.10f}"
f" 特征值 = {w[i]:.10f}")
print("方差占比 =", w / w.sum())
print("相关系数 r =", S[0, 1] / np.sqrt(S[0, 0] * S[1, 1]),
" np.corrcoef =", np.corrcoef(X, rowvar=False)[0, 1])
# ---------- 3. 定理 4:Cov(Ax) = A S A^T ----------
print("\n--- 定理 4:线性变换下的协方差 ---")
A = np.array([[1.0, 1.0],
[2.0, -1.0],
[0.0, 3.0]]) # 3x2,非方阵也可以
Y = Xc @ A.T
print("经验 Cov(Ax) =\n", np.cov(Y, rowvar=False))
print("理论 A S A^T =\n", A @ S @ A.T)
print("最大偏差 =", np.abs(np.cov(Y, rowvar=False) - A @ S @ A.T).max())
# 旋转 90 度:方差不变量应等于交换对角元
B = np.array([[0.0, -1.0], [1.0, 0.0]])
print("B S B^T =\n", B @ S @ B.T, " (应等于交换 S 的两个对角元)")
# ---------- 4. 定理 5:白化 W S W^T = I ----------
print("\n--- 定理 5:白化 ---")
W = np.diag(1.0 / np.sqrt(w)) @ Q.T
print("W =\n", W)
print("W S W^T =\n", W @ S @ W.T)
print("与 I 的最大偏差 =", np.abs(W @ S @ W.T - np.eye(p)).max())
Sig_inv_sqrt = Q @ np.diag(1.0 / np.sqrt(w)) @ Q.T
print("对称 Sigma^{-1/2} =\n", Sig_inv_sqrt)
print("是否对称(最大偏差) =", np.abs(Sig_inv_sqrt - Sig_inv_sqrt.T).max())
print("Sigma^{-1/2} S Sigma^{-1/2} 与 I 的偏差 =",
np.abs(Sig_inv_sqrt @ S @ Sig_inv_sqrt - np.eye(p)).max())
print("Sigma^{-1/2} Sigma^{-1/2} 与 S^{-1} 的偏差 =",
np.abs(Sig_inv_sqrt @ Sig_inv_sqrt - np.linalg.inv(S)).max())
Zw = Xc @ Sig_inv_sqrt
print("白化后数据 =\n", np.round(Zw, 6))
print("白化后样本协方差 =\n", np.cov(Zw, rowvar=False))
print("每点的欧氏距离 =", np.round(np.linalg.norm(Zw, axis=1), 6))
print("每点的马氏距离 =",
np.round(np.sqrt(np.einsum('ij,jk,ik->i', Xc, np.linalg.inv(S), Xc)), 6))
print("马氏距离平方之和 =",
np.sum(np.einsum('ij,jk,ik->i', Xc, np.linalg.inv(S), Xc)))
# ---------- 5. 定理 7:秩上界与奇异 ----------
print("\n--- 定理 7:秩与奇异 ---")
rng = np.random.default_rng(seed=7)
for (nn, pp) in [(5, 2), (3, 5), (4, 4), (6, 6), (10, 5)]:
D = rng.normal(size=(nn, pp))
Dc = D - D.mean(axis=0)
Sd = Dc.T @ Dc / (nn - 1)
print(f"n={nn:2d} p={pp}: rank(S)={np.linalg.matrix_rank(Sd)}"
f" <= min(n-1,p)={min(nn-1, pp)} cond={np.linalg.cond(Sd):.3e}")
D = rng.normal(size=(4, 4)) # n = p = 4 仍然奇异!
Dc = D - D.mean(axis=0)
Sd = Dc.T @ Dc / 3
print("n=p=4 时 rank(S) =", np.linalg.matrix_rank(Sd), " <= 3")
try:
inv = np.linalg.inv(Sd)
print("inv 没有抛异常,但检查 ||S inv(S) - I|| =",
np.abs(Sd @ inv - np.eye(4)).max(), " <- 完全不是单位阵")
except np.linalg.LinAlgError as e:
print("np.linalg.inv 抛 LinAlgError:", e)
print("改用伪逆:||S pinv(S) S - S|| =",
np.abs(Sd @ np.linalg.pinv(Sd) @ Sd - Sd).max())
print("正则化后 cond(S + 0.01 I) =", np.linalg.cond(Sd + 0.01 * np.eye(4)))
运行结果(实测输出):
S =
[[10. 7. ]
[ 7. 5.8]]
det(S) = 8.999999999999998 tr(S) = 15.8
--- 定理 2:a' S a = Var(a'x) ---
a = [1. 1.] a'Sa = 29.8000000000 Var(a'x) = 29.8000000000 差 = 0.00e+00
a = [ 1. -2.] a'Sa = 5.2000000000 Var(a'x) = 5.2000000000 差 = 8.88e-16
a = [0.6 0.8] a'Sa = 14.0320000000 Var(a'x) = 14.0320000000 差 = 3.55e-15
--- 特征分解 ---
降序特征值 = [15.20821456 0.59178544]
特征向量(列) =
[[-0.80229293 0.59693053]
[-0.59693053 -0.80229293]]
Q^T Q 与 I 的最大偏差 = 1.1102230246251565e-16
Q Lam Q^T 与 S 的最大偏差 = 1.7763568394002505e-15
特征值之和 = 15.800000000000002 (应等于迹 15.8 )
特征值之积 = 9.000000000000007 (应等于行列式 8.999999999999998 )
沿主轴 0 的样本方差 = 15.2082145562 特征值 = 15.2082145562
沿主轴 1 的样本方差 = 0.5917854438 特征值 = 0.5917854438
方差占比 = [0.96254523 0.03745477]
相关系数 r = 0.9191450300180578 np.corrcoef = 0.9191450300180578
--- 定理 4:线性变换下的协方差 ---
经验 Cov(Ax) =
[[29.8 21.2 38.4]
[21.2 17.8 24.6]
[38.4 24.6 52.2]]
理论 A S A^T =
[[29.8 21.2 38.4]
[21.2 17.8 24.6]
[38.4 24.6 52.2]]
最大偏差 = 7.105427357601002e-15
B S B^T =
[[ 5.8 -7. ]
[-7. 10. ]]
--- 定理 5:白化 ---
W =
[[-0.20572821 -0.15306809]
[ 0.77596414 -1.04291959]]
W S W^T 与 I 的最大偏差 = 5.551115123125783e-16
对称 Sigma^{-1/2} =
[[ 0.62825097 -0.49974509]
[-0.49974509 0.92809803]]
是否对称(最大偏差) = 5.551115123125783e-17
Sigma^{-1/2} S Sigma^{-1/2} 与 I 的偏差 = 4.440892098500626e-16
Sigma^{-1/2} Sigma^{-1/2} 与 S^{-1} 的偏差 = 1.7763568394002505e-15
白化后数据 =
[[-1.213667 -0.414075]
[-0.956655 0.442631]
[ 0.799592 -1.484957]
[ 0.556859 0.299847]
[ 0.813871 1.156553]]
白化后样本协方差 =
[[1.0000000e+00 4.0492586e-16]
[4.0492586e-16 1.0000000e+00]]
每点的欧氏距离 = [1.282359 1.054093 1.686548 0.632456 1.414214]
每点的马氏距离 = [1.282359 1.054093 1.686548 0.632456 1.414214]
马氏距离平方之和 = 8.0
--- 定理 7:秩与奇异 ---
n= 5 p=2: rank(S)=2 <= min(n-1,p)=2 cond=7.230e+01
n= 3 p=5: rank(S)=2 <= min(n-1,p)=2 cond=1.582e+18
n= 4 p=4: rank(S)=3 <= min(n-1,p)=3 cond=8.340e+16
n= 6 p=6: rank(S)=5 <= min(n-1,p)=5 cond=1.289e+16
n=10 p=5: rank(S)=5 <= min(n-1,p)=5 cond=1.882e+01
n=p=4 时 rank(S) = 3 <= 3
n=p=4 时 cond(S) = 2.640678049268695e+16
inv 没有抛异常,但检查 ||S inv(S) - I|| = 0.5 <- 完全不是单位阵
改用伪逆:||S pinv(S) S - S|| = 8.881784197001252e-16
正则化后 cond(S + 0.01 I) = 269.7857353720953
运行结果要点:
- 第 1 段:三个不同 的 与「线性组合的样本方差」在 内相等,这就是定理 2 的数值形式—— 就是一个方差,所以它不可能为负。
- 第 2 段:、、、、 全部成立。注意
eigh返回的 是 ,与手算的 整体差一个负号——同一个主轴,结论不变(见 4.3 节的符号说明)。 - 第 3 段:经验协方差与 的最大偏差是精确的 (本例用的是样本协方差,两者的代数恒等是精确的,不是近似的)。 是 旋转, 恰好把 的两个对角元互换,体现了「旋转不改变总方差」。
- 第 4 段:白化后样本协方差是精确的单位阵(偏差 )。最有意思的是最后两行:白化后每点的欧氏距离与原空间每点的马氏距离逐点完全相等()——这就是 12-3-多元高斯与加权最小二乘 里「马氏距离 = 先白化再算欧氏距离」的直接数值证据。并且马氏距离平方之和为 ,符合「 个样本、 个变量时样本马氏距离平方之和恒为 」这一有趣的一般结论。
- 第 5 段:五种 组合下 全部成立; 时条件数高达 (数值上等于无穷); 时秩仍只有 (中心化消耗一个自由度),此时
np.linalg.inv可能不报错但给出完全错误的结果(,而不是 )。这是一个非常重要的警告:判断奇异性不能只看「有没有抛异常」,要看条件数或残差,稳妥做法是用pinv或加正则化。
例题 5-补充(两组观测方差相差 100 倍:加权最小二乘 vs 普通最小二乘)
题目
用两套精度悬殊的仪器测量同一个线性关系 ( 是截距、 是斜率),得数据
| 组 | | | 误差标准差 | 方差 |
|---|---|---|---|---|
| A(精密) | | | | |
| B(粗糙) | | | | |
两组的方差相差 (即标准差相差 倍)。(1) 写出设计矩阵 与权重矩阵 ,解加权正规方程求 WLS 估计;(2) 求普通最小二乘 OLS 估计;(3) 比较两者的目标函数值、与真值 的偏差、以及两个估计量的协方差矩阵;(4) 说明「忽略精度差异」的实际危害。
解答:
第 1 步:设计矩阵与权重矩阵。
第 2 步:算 的四个元素。由 的取值(前四个 ,后四个 ):
所以
第 3 步:算 。逐项(前四项乘 ,后四项乘 ):
先算两个括号:
于是
所以 。
第 4 步:解加权正规方程(用 求逆公式):
分子两项:
所以
第 5 步:OLS 对比。不加权时
分子:
第 6 步:比较。
| 截距 | 斜率 | 与真值 的偏差 | |
|---|---|---|---|
| 真值 | — | ||
| WLS(逆方差加权) | |||
| OLS(等权) |
结论:OLS 把斜率估成了负数(,真值是 ),方向都反了——因为它给方差大 倍的粗糙观测与精密观测同样的权。WLS 的两个参数都紧贴真值。
第 7 步:目标函数值(加权残差平方和 ):
| 代入的解 | 加权残差平方和 |
|---|---|
| WLS 解 | (最小) |
| 真值 | |
| OLS 解 |
两个值得注意的现象:
(a) OLS 解的加权残差平方和是 WLS 解的 倍。OLS 也是「最小二乘」,但它最小化的是不加权的残差平方和,在正确的(加权)目标下毫无最优性可言。
(b) 真值的加权残差平方和略大于 WLS 解的()。这不是矛盾:WLS 是 的极小值点,真值只是一个好的候选,单次实现当然可能比不上极小点。「无偏」是重复实验的平均性质,不是单次实现的保证——这一点极容易混淆。
第 8 步:两个估计量的协方差矩阵(这一步最能说明「加权为什么值钱」)。
WLS 的协方差由 与定理 5 后的公式给出:
OLS 的真实协方差。注意:OLS 的教科书公式 只在同方差时成立,这里必须用精确的「三明治」公式:
先算中间的 (前四项乘 ,后四项乘 ):
(逐项验算:;;。)
代进去:
对比标准差(标准误):
| 截距的标准误 | 斜率的标准误 | |
|---|---|---|
| WLS | (代码 ) | (代码 ) |
| OLS | ||
| 比值(OLS / WLS) | (代码 ) | (代码 ) |
OLS 的标准误比 WLS 大 倍左右,方差大 倍以上。
(表中的 WLS 标准误是用四舍五入到 位小数的协方差矩阵算的:、。代码用未舍入的精确值算得到 ;相应地 OLS 的精确值是 ,方差比 = 、标准误比 = 。同一组数据的完整代码见 12-3-多元高斯与加权最小二乘 例题 5-补充。)
这两个协方差矩阵的公式并排放:
不存在「」这样的通用标量关系——两个矩阵一般不成比例,必须逐项比较。本例中逐项相除后发现三个比值恰好都是 (确实成比例),但这是本例数据的特殊结构造成的,不能当成一般规律使用。
可靠的比较方式有两种:
- 直接数值:算两个 矩阵,逐项相比(本例两个对角元的比值都是 ,非对角元的比值也是 )。
- 通用结论(Aitken 定理):
即差矩阵半正定,所以每个对角元(方差)都满足 。这才是「加权不会更差」的精确、普适的陈述——不依赖任何数值巧合。
这个例子真正要记住的一句话
加权最小二乘在所有线性无偏估计中方差最小(Aitken / Gauss–Markov 定理),而 OLS 只是「所有权重都取 」的那个特例。当真实权重与 相差很远时(本例 相差 倍),OLS 就离开最优解很远——估计仍然无偏,但方差可能大几百倍。
第 9 步:如果忽视异方差、硬套同方差公式,标准误会错得多离谱。用 OLS 残差估计方差:
然后用同方差公式 :
而真实标准误是 。截距的标准误被高估了 倍(),而斜率的标准误只差 ——同一个错误的公式,在不同参数上造成的偏差方向与幅度完全不同,事先无法预测。这就是异方差的实际危害:它让「标准误」这个用来做检验与置信区间的量变得不可信。
(顺带说明:这个例子中假标准误偏大,会让本来显著的参数变得不显著;换一批数据完全可能偏小,把不可靠的估计说成高度显著。两种方向都出现过,唯一可靠的判断方式是使用正确的三明治公式或稳健标准误。)
三个易错点
1. 加权与不加权的目标函数不同,不能拿「谁的(未加权)残差平方和小」评判优劣。要比较的是在同一个正确目标函数下的值,以及估计量的协方差矩阵。
2. OLS 不是「错」的——它仍然无偏(,因为 ),只是在异方差下不再是有效估计(方差不是最小)。放弃已知的精度信息等于白扔效率。
3. 只在同方差且不相关时成立。异方差下必须用三明治公式,否则标准误全错——这就是稳健标准误(heteroskedasticity-consistent standard errors)的由来。
例题 6-补充(证明题: 的元素形式、白化不唯一性与 的对称性)
题目
(1) 用元素形式(分量写法)重新证明定理 4:设 ,证明 ,即 。
(2) 证明:白化矩阵不唯一——若 满足 ,则对任意正交矩阵 , 也满足;并说明为什么在所有白化矩阵中 是唯一的对称正定解。
(3) 设 的协方差为 ,证明 ,并说明 与「去相关」的关系。
解答:
(1) 记 的第 个分量为 。由协方差的双线性性(12-1 篇定理 4 的多元版本,逐项展开即可):
为什么双线性性可以直接用到这里:协方差对每个自变量都是线性的(12-1 篇定理 4 已证,不需要任何独立性),所以有限和可以逐项拆开、常数系数可以提出来。写成矩阵形式:第 元是「 的第 行」「」「 的第 列」的三重组合,即
这个证明的价值:它不依赖任何矩阵分解,只用了「协方差双线性」这一条。即使 奇异、 不是方阵,公式照样成立。
(2) 白化的不唯一性。设 , 为正交矩阵()。令 ,则
所以白化矩阵有无穷多个,它们相差一个任意的正交变换。几何上很容易理解:白化把椭球变成球,但球是对称的——你可以在变成球之后再随便旋转,它还是球。所以「白化到单位协方差」这个要求不能唯一确定变换。
为什么 是唯一的对称正定解:设 对称正定且 。则 (用了 ),两边左乘 、右乘 得 ,即 是 的对称正定平方根。而正定矩阵的对称正定平方根是唯一的(谱分解给出 ,故 )。
两者的取舍:
| 是否对称 | 否 | 是 |
| 与 是否可交换 | 否,但 | 是, |
| 用途 | 变换数据(一步到位) | 代入公式(如 GLS、马氏距离),因为对称性让 的推导最简洁 |
(3) 由定理 4(取 、):
(中间用了 对称、且 。)这就是「去相关」的完整含义:变换后各分量的协方差矩阵是单位阵,即两两不相关且方差都为 。
顺带一个有用的推论
因为 ,所以对任意向量 :
右边与 完全无关。这正是「白化把问题变成标准欧氏几何」的确切含义,也是 12-3 篇里「马氏距离 = 白化后的欧氏距离」与「GLS = 白化后的 OLS」两条结论的共同根源。
例题 7-补充(思考题: 的特征值能否为负、条件数与判别分析)
题目
(1) 一个矩阵 若满足「对一切 有 」是否一定是某个随机向量的协方差矩阵?给出构造。
(2) 用 的情形证明:,并由此判断 时 的秩。
(3) 某判别分析任务中 、。有人直接用 ,程序不但没报错,还给出了看起来合理的分类结果。用条件数解释发生了什么,并给出两种诊断办法。
解答:
(1) 由本篇 Q1 的思路:任何半正定矩阵都是协方差矩阵。构造如下。设 半正定,取其对称平方根 (, 用 ),令
(即各分量不相关、方差 ,例如标准正态向量或均匀取 的向量。)则由定理 4:
所以「半正定」与「是某个随机向量的协方差矩阵」是同一件事。反向(协方差矩阵必半正定)就是定理 2。
这条等价让我们可以「借」几何结论
想验证一个矩阵半正定,把它解释成协方差矩阵;想给协方差矩阵找一个具体模型,取 。这是 12-3 篇「由标准正态生成相关数据」的全部内容。
(2) 对 情形,(这里 是相关系数,)。于是
这是「特征值之积 = 行列式」的直接应用。由定理 2()立刻得到 ;并且
- 时 ,两个特征值都严格为正, 正定(秩为 );
- 时 ,有一个特征值为 , 奇异(秩为 )。
秩为 意味着什么:秩 的 半正定矩阵可以写成 ,于是 的全部随机性集中在一个方向上——这正是「 几乎必然成立」的图像。换句话说, 时点云退化成一条直线(不再是二维分布)。这与 12-1 篇定理 5 的等号条件完全一致:两个视角得到同一个结论。
(3) 条件数的解释。,由定理 7,,所以 必然奇异——理论上根本不可逆。
那为什么程序没报错?因为数值线性代数不会告诉你「这个矩阵是奇异的」,它只会告诉你「这个矩阵条件数极大」。np.linalg.inv 内部是 LU 分解,只要某个主元在浮点意义下不是精确的 (例如 ),除法就能做下去,只是结果被误差彻底淹没:相对误差大致按 放大()。若 ,求逆结果一位有效数字都没有。最终得到的判别方向 实际上主要由舍入噪声决定。
两种诊断办法:
- 看条件数:
np.linalg.cond(Sigma_hat)。经验阈值: 视为数值奇异, 应警惕(详见 11-2-范数与条件数)。 - 看秩与特征值谱:
np.linalg.matrix_rank(Sigma_hat)应等于 才可逆;再看np.linalg.eigvalsh的最小特征值与最大特征值。更稳妥的做法是根本不要显式求逆,改用np.linalg.solve(解方程比求逆稳定),或者干脆用伪逆/正则化。
「跑通了」不等于「算对了」
数值线性代数里最危险的情形不是「报错」,而是「悄悄给出错误答案」。奇异矩阵求逆就是典型例子:它通常不报错,只是结果毫无意义。防御性编程的三条习惯:
1. 关键矩阵求逆前先查
cond与matrix_rank;2. 用
solve代替inv(11-1-数值稳定性与LU 的核心建议);3. 用「残差」当验收标准:算完 后检查 是否小,而不是相信
inv没抛异常。
六、应用
| 场景 | 用的结构 |
|---|---|
| PCA 降维 | 的特征值排序、保留前 个主成分([[7-3-主成分分析PCA]]) |
| 马氏距离 / 异常检测 | 度量「多少个标准差之外」 |
| 线性判别分析(LDA) | 类内散度矩阵 与类间散度矩阵之比(Fisher 判别) |
| 投资组合优化 | 组合方差 ,Markowitz 均值—方差模型 |
| 卡尔曼滤波 | 状态协方差矩阵的传播 (正是定理 4) |
| 数据标准化 / z-score | 对角线元素的平方根缩放,即「只做 不做旋转」 |
| 生成相关随机数 | ,(定理 4 的逆用) |
| 实验设计 / 参数不确定性 | 给出参数估计的置信椭球 |
投资组合的例子(说明「相关性为什么值钱」):两只资产方差都是 (标准差 ),相关系数 。等权组合方差为
| 组合方差 | 组合标准差 | |
|---|---|---|
从 降到 ,组合风险从 一路降到 ——这就是「分散化(diversification)免费午餐」的线性代数解释:风险由二次型 决定,而非对角元之和。
七、可运行代码示例
本示例只用 numpy,无需额外安装。
import numpy as np
# ---------- 1. 例题 1 的数据:手算 vs np.cov ----------
X = np.array([[-2., 4.],
[-1., 1.],
[ 0., -1.],
[ 1., -5.],
[ 2., 1.]])
n, p = X.shape
Xc = X - X.mean(axis=0) # 中心化(关键一步!)
S_manual = Xc.T @ Xc / (n - 1) # X_c^T X_c / (n-1)
S_numpy = np.cov(X, rowvar=False) # 注意 rowvar=False:列是变量
print("手算样本协方差矩阵:\n", S_manual)
print("np.cov(rowvar=False):\n", S_numpy)
print("最大差值:", np.abs(S_manual - S_numpy).max())
# ---------- 2. 验证对称性与半正定性 ----------
print("\n对称性检查 (S - S.T).max():", np.abs(S_manual - S_manual.T).max())
eigvals = np.linalg.eigvalsh(S_manual) # eigh 系列专用于对称矩阵
print("特征值:", eigvals)
print("全部 >= 0 ?", np.all(eigvals >= -1e-10)) # 用容差,容忍浮点误差
print("行列式:", np.linalg.det(S_manual), " 迹:", np.trace(S_manual))
print("特征值之和 =", eigvals.sum(), " (应等于迹)")
print("特征值之积 =", eigvals.prod(), " (应等于行列式)")
# ---------- 3. 二次型 = 方差(定理 2 的数值验证)----------
rng = np.random.default_rng(seed=12)
for a in [np.array([1., 1.]), np.array([2., -1.]), np.array([0.3, 0.7])]:
quadratic = a @ S_manual @ a
variance = np.var(Xc @ a, ddof=1) # 直接算线性组合的样本方差
print(f"a={a} a' S a = {quadratic:.10f} Var(a'x) = {variance:.10f}")
# ---------- 4. 特征向量 = 主轴,特征值 = 沿主轴的方差 ----------
w, Q = np.linalg.eigh(S_manual) # 升序返回
idx = np.argsort(w)[::-1] # 改成降序
w, Q = w[idx], Q[:, idx]
print("\n降序特征值:", w)
print("特征向量(列):\n", Q)
print("正交性 Q.T @ Q:\n", np.round(Q.T @ Q, 12))
for i in range(p):
qi = Q[:, i]
print(f"沿主轴 {i} 的样本方差 = {np.var(Xc @ qi, ddof=1):.6f} "
f"特征值 = {w[i]:.6f}")
print("方差占比:", w / w.sum())
print("相关系数 r =", S_manual[0, 1] / np.sqrt(S_manual[0, 0] * S_manual[1, 1]))
print("np.corrcoef r =", np.corrcoef(X, rowvar=False)[0, 1])
# ---------- 5. 线性变换 Cov(Ax) = A Sigma A^T (定理 4)----------
A = np.array([[2., 0.],
[0., -1.],
[1., 1.]])
Y = Xc @ A.T # 变换后的中心化数据
cov_empirical = np.cov(Y, rowvar=False)
cov_theory = A @ S_manual @ A.T
print("\n经验协方差 Cov(Ax):\n", cov_empirical)
print("理论值 A Sigma A^T:\n", cov_theory)
print("最大差值:", np.abs(cov_empirical - cov_theory).max())
# ---------- 6. 白化 W = Lambda^{-1/2} Q^T ----------
W = np.diag(1.0 / np.sqrt(w)) @ Q.T
print("\n白化矩阵 W:\n", np.round(W, 4))
Z = Xc @ W.T
print("白化后协方差 (应为 I):\n", np.round(np.cov(Z, rowvar=False), 12))
print("WSW^T 与 I 的最大偏差:", np.abs(W @ S_manual @ W.T - np.eye(p)).max())
# 用例题 2(3) 中四舍五入到 4 位小数的 Q 与 Lambda 复算,偏差量级约 1e-5
Q_rounded = np.array([[0.3025, 0.9532], [-0.9532, 0.3025]])
w_rounded = np.array([11.9522, 1.5478])
W_rounded = np.diag(1.0 / np.sqrt(w_rounded)) @ Q_rounded.T
print("W(用 4 位小数) =\n", np.round(W_rounded, 4))
print("此时 WSW^T 与 I 的最大偏差:", np.abs(W_rounded @ S_manual @ W_rounded.T - np.eye(p)).max())
# 对称版本 Sigma^{-1/2} = Q Lambda^{-1/2} Q^T
Sig_inv_sqrt = Q @ np.diag(1.0 / np.sqrt(w)) @ Q.T
print("Sigma^{-1/2} Sigma Sigma^{-1/2} 与 I 的偏差:",
np.abs(Sig_inv_sqrt @ S_manual @ Sig_inv_sqrt - np.eye(p)).max())
print("Sigma^{-1/2} 是否对称:", np.abs(Sig_inv_sqrt - Sig_inv_sqrt.T).max())
# ---------- 7. 秩与奇异性:n <= p 时必然奇异 ----------
rng = np.random.default_rng(seed=7)
for (nn, pp) in [(5, 2), (3, 5), (10, 5), (4, 4)]:
D = rng.normal(size=(nn, pp))
Dc = D - D.mean(axis=0)
Sd = Dc.T @ Dc / (nn - 1)
r = np.linalg.matrix_rank(Sd)
cond = np.linalg.cond(Sd)
print(f"n={nn:2d}, p={pp}: rank(S)={r} <= min(n-1,p)={min(nn-1,pp)} "
f"cond={cond:.3e} det={np.linalg.det(Sd):.3e}")
# 奇异时求逆会失败或给出荒谬结果
D = rng.normal(size=(4, 4))
Dc = D - D.mean(axis=0)
Sd = Dc.T @ Dc / 3
print("\nn=p=4 时 rank(S) =", np.linalg.matrix_rank(Sd), " <= 3")
try:
inv = np.linalg.inv(Sd)
print("inv 居然成功了, 但 ||S @ inv - I|| =", np.abs(Sd @ inv - np.eye(4)).max())
except np.linalg.LinAlgError as e:
print("np.linalg.inv 抛出 LinAlgError:", e)
print("改用伪逆 pinv, ||S @ pinv(S) @ S - S|| =",
np.abs(Sd @ np.linalg.pinv(Sd) @ Sd - Sd).max())
# ---------- 8. 不相关但不独立:Sigma 对角(定理 6 的反例)----------
rng = np.random.default_rng(seed=2026)
Xa = rng.choice([-1, 0, 1], size=200000, p=[1/3, 1/3, 1/3])
Ya = Xa ** 2
D = np.column_stack([Xa, Ya])
Sd = np.cov(D, rowvar=False)
print("\n反例的样本协方差矩阵:\n", Sd)
print("非对角元 (应接近 0):", Sd[0, 1])
print("但 P(X=1,Y=1) =", np.mean((Xa == 1) & (Ya == 1)),
" vs P(X=1)P(Y=1) =", np.mean(Xa == 1) * np.mean(Ya == 1))
print("=> Sigma 对角, 但两变量不独立")
运行结果要点:
- 第 1 段手算结果应为 ,与
np.cov完全一致(注意rowvar=False)。 - 第 3 段中 与「线性组合的样本方差」在 内相等,验证定理 2。
- 第 4 段每个主轴的样本方差都等于对应特征值,,验证「特征值 = 沿主轴的方差」。
- 第 5 段经验协方差与 相等,验证定理 4。
- 第 7 段中 的两种情形
rank(S)都 , 奇异; 时秩仍只有 (因为中心化消耗一个自由度),np.linalg.inv抛异常而pinv仍然可用。 - 第 8 段非对角元接近 (抽样波动 ),但联合概率与边缘概率之积明显不等。
八、易错点
六个高频错误
1. 忘记中心化。 只有在列均值为 时才等于样本协方差矩阵。若没中心化,得到的是二阶矩矩阵 的估计,与真正的 差一个 。这是代码里最常见的 bug:数据带一个很大的常数偏移时,协方差矩阵会「凭空」出现巨大的正相关。
2. 用 而非 。 是有偏的(这是 的极大似然估计)。
np.cov默认bias=False即除以 ;想除以 要写np.cov(X, bias=True)或ddof=0。3. 以为 一定可逆。 只是半正定。只要某个分量是其他分量的线性组合,或者样本数不超过变量数(), 就奇异。此时 、、马氏距离、多元高斯密度、LDA 全部失效,必须降维、正则化()或用伪逆。
4. 把不相关当独立。 对角只说明没有线性关联。除多元高斯外,「不相关」推不出「独立」( 就是反例)。要把 对角的结论用在「能不能把联合分布拆成乘积」上,必须先确认高斯假设(见 12-3-多元高斯与加权最小二乘)。
5. 量纲不同时直接比较协方差。身高(厘米)与体重(千克)的协方差数值受单位支配:把身高从「米」换成「厘米」会让相关的那一项乘以 。比较「哪个方向变异大」必须用相关系数矩阵(无量纲)或先把各变量标准化;比较主轴方向的方差占比时也要小心单位。
6. 用
np.linalg.eig而不是eigh处理 。 是对称矩阵,eigh利用对称性,更快、更稳,而且返回实特征值并按升序排列。用eig可能得到复数(形如 )与未排序的结果,argsort之后还容易搞错从大到小还是从小到大。
九、练习题
练习 1(基础):设 的协方差矩阵为 。求 、 与 。
练习 2(基础):设 ,。写出 所定义的椭球(中心、半轴方向、半轴长),并用 说明它与中心在原点的版本的关系。
练习 3(进阶):设 的协方差矩阵为
(1) 求 的全部特征值与特征向量。 (2) 判断 是否正定;若不正定,找出一个非零向量 使 并解释其概率含义。
练习 4(进阶):用定理 4 与定理 5 证明:若 ,则 。再说明为什么 是最「自然」的白化矩阵(提示:在所有满足 的 中, 是对称的那个;对比 ,它是正交矩阵乘对称矩阵)。
练习 5(思考):设 个样本、 个变量,且 。证明 ,并说明为什么此时「多元高斯密度」没有定义。给出至少两种补救方案并比较它们的优缺点。
练习 6(思考):两个变量 的相关系数为 。用 协方差矩阵的特征值证明:,并由此解释为什么 时 奇异。
十、常见问题 FAQ
Q1:协方差矩阵为什么一定是半正定的?能不能给出一个「一眼看懂」的理由?
A:因为 就是 ,而方差永远不小于零。不需要任何矩阵论知识。反过来说,任何半正定矩阵都能写成某个随机向量的协方差矩阵(取 , 各分量独立同方差 ),所以「半正定」与「是协方差矩阵」是同一件事。
Q2:为什么 的特征向量就是数据的「主轴」?
A:因为 是实对称矩阵,可正交对角化 。令 ,则 是对角阵,各分量不相关,。也就是说 把坐标系转到了「数据沿各坐标轴互不相关」的方向上,而这些方向正是数据云伸展/压扁的方向,也就是主轴。 越大,数据沿 铺得越开。
Q3:样本协方差矩阵为什么是 ,而不是除以 ?
A:为了无偏性。与第 12-1 篇中 用 的理由完全相同:中心化时把 换成 会消耗一个自由度,使 的期望变成 而不是 。除以 恰好补回来。np.cov 默认就是这么做的。
Q4:白化和 PCA 到底差在哪?
A:PCA 只做旋转,白化还要拉伸。PCA 的输出 的协方差是 (对角但不等于 ),保留了各主成分的方差大小,目的是降维(丢掉 很小的方向)。白化的输出 的协方差是 ,各方向方差都为 ,目的是去相关 + 统一尺度(常用于优化问题的预处理与独立成分分析)。白化 = PCA + 缩放。
Q5: 的特征值能不能是负数?
A:数理上不能——半正定性保证了 。但数值计算时可能得到 量级的小负数,这是浮点舍入误差,不是理论问题。判断「是否半正定」时应该用容差,例如 np.all(eigvals >= -1e-10 * max(1.0, eigvals.max())),而不是严格比较 >= 0。
本篇小结
核心结论(十二条)
- 定义:,第 元是 ;等价形式 。
- 对称:(协方差本身的对称性)。
- 半正定:。这是本篇最漂亮的一步——把二次型直接认成方差,绕开全部矩阵论。
- 正定 各分量不线性相关: 不存在非零 使 几乎必然是常数。共线性诊断(看最小特征值、看条件数)就建立在这条上。
- 线性变换:。一切协方差传播公式(卡尔曼滤波、误差传播)都是这一条。
- 主轴与方差:,特征向量是数据云主轴,特征值 是沿主轴的方差, 是总方差(旋转不变量)。
- 椭球: 是半轴长为 的椭球,朝向由 决定。
- 去相关与白化: 使 ;对称版本 是唯一的对称正定白化矩阵。
- 白化不唯一:任何 ( 正交)都能白化;白化的几何含义是「椭球 → 球」,球是旋转对称的,所以旋转自由度留着。
- 样本协方差矩阵: 是 的无偏估计( 的样本版)。
- 秩上界:。 时 必然奇异,、、马氏距离、多元高斯密度、LDA、GLS 全部失效。
- 不相关 vs 独立: 对角 两两不相关;独立 对角,反之不成立(除高斯外)。
易混概念对照表
| 概念 A | 概念 B | 关键区别 | 关系 |
|---|---|---|---|
| 协方差矩阵 | 相关系数矩阵 | 有量纲; 无量纲 | , |
| 二阶矩矩阵 | 协方差矩阵 | 前者不中心化;带巨大常数偏移时会「凭空」出现强相关 | |
| 半正定 | 正定 | 半正定允许零特征值(有冗余分量/共线) | 正定 全部 可逆 |
| 样本协方差分母 | 分母 | 无偏; 是极大似然(bias=True/ddof=0) | |
| 去相关(PCA 旋转) | 白化(旋转 + 缩放) | PCA 输出协方差 (对角);白化输出 | 白化 = PCA + 各方向除以 |
| 前者不对称;后者对称且与 可交换 | 两者都满足 | ||
| 奇异() | 病态( 极大) | 奇异是精确的秩亏;病态是数值上不可靠 | , 时趋于奇异 |
np.linalg.eig | np.linalg.eigh | 对称,必须用 eigh:更快、更稳、返回实特征值 | eigh 升序返回,用 argsort 降序 |
rowvar=True(默认) | rowvar=False | np.cov 默认每行一个变量,与「每行一个样本」相反 | 数据矩阵按样本行组织时要写 rowvar=False |
| 迹 | 行列式 | 迹 = 总方差(旋转不变);行列式 = 椭球体积平方的伸缩率 | 都等于特征值之和 / 之积 |
自学检查清单
读完本篇,你应该能不看笔记回答:
1. 为什么 ?给出不用任何矩阵论的证明。
2. 正定与「各分量不线性相关」为什么等价?举一个线性相关导致奇异的例子。
3. 推导 ,并说明为什么「平移不改变协方差」。
4. 白化矩阵为什么不唯一? 的特殊性在哪里?
5. 、 时 的秩最大是多少?此时 LDA 与多元高斯密度分别会遇到什么问题?
6. 举例说明「 对角但不独立」,并说明高斯为什么是例外。
相关笔记
- 12-1-均值方差与概率:本篇的单变量基础——方差是长度平方、协方差是内积; 就是「协方差 = 内积」的矩阵形式
- 6-4-对称矩阵与正定矩阵: 的两个核心性质(对称、半正定)与正交对角化 ;判断正定的五个等价条件都用得上
- 6-1-特征值引论:、 这两个查错恒等式的出处,手算 特征值时必须用
- 6-5-二次型与标准形: 的椭球就是二次型的等值线,半轴长 来自二次型正交化为标准形
- 7-3-主成分分析PCA:把 的特征分解用到降维上,白化 = PCA + 缩放;方差占比 是保留主成分个数的判据
- 4-3-最小二乘逼近:法方程 ; 可逆性依赖「列满秩」,而这与「变量线性相关」是同一件事
- 11-2-范数与条件数: 决定 的数值可靠性;例题 7-补充 的诊断办法全部来自这里
- 11-1-数值稳定性与LU:奇异矩阵求逆不报错却给出错误结果的原因(LU 主元不为精确零);「能解方程就不要求逆」的原则
- 12-3-多元高斯与加权最小二乘: 进入密度函数得到马氏距离与椭球,进入最小二乘得到加权/广义最小二乘(GLS = 先白化再 OLS)
参考来源
- MIT 18.06 Linear Algebra, Spring 2010(Gilbert Strang)——课程主页,第 12 章关于协方差矩阵与正定性的讲授:https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/
- Gilbert Strang, Introduction to Linear Algebra(第 5 版)教材官方主页:https://math.mit.edu/~gs/linearalgebra/
- NumPy 官方文档
numpy.cov:rowvar、bias、ddof参数与「默认除以 」的说明,以及加权协方差的算法:https://numpy.org/doc/stable/reference/generated/numpy.cov.html - NumPy 官方文档「Linear algebra」总览:
eigh(对称矩阵特征分解)、matrix_rank、cond、pinv、det等函数的定义:https://numpy.org/doc/stable/reference/routines.linalg.html - 教材(文字列名,非链接):盛骤、谢式千、潘承毅《概率论与数理统计》(第五版),高等教育出版社——第四章「协方差与相关系数」、 维随机向量的数字特征