---
title: 12-2-协方差矩阵
aliases:
  - 协方差矩阵
  - Covariance Matrix
  - 样本协方差矩阵
  - 白化
  - Whitening
tags:
  - 线代/概率统计
  - 类型/教程
created: 2026-10-11
updated: 2026-10-12
level: 进阶
chapter: "12.2"
prerequisites:
  - "[[12-1-均值方差与概率]]"
  - "[[6-4-对称矩阵与正定矩阵]]"
sources:
  - https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/
  - https://math.mit.edu/~gs/linearalgebra/
  - https://numpy.org/doc/stable/reference/generated/numpy.cov.html
  - https://numpy.org/doc/stable/reference/routines.linalg.html
---

# 12-2-协方差矩阵

> [!abstract] 一句话概括
> 把随机向量的各分量两两之间的协方差排成一张 $n \times n$ 的表，就得到**协方差矩阵（covariance matrix）** $\Sigma$；它必然是**实对称**且**半正定**的，于是 [[6-4-对称矩阵与正定矩阵]] 的全部结论立刻可用——特征向量是数据云的**主轴**、特征值是沿主轴的**方差**、$\mathbf{x}^{\mathrm{T}}\Sigma^{-1}\mathbf{x} = c$ 是**椭球**。
> 本篇覆盖：$\Sigma$ 的定义与结构、对称性与半正定性的完整证明（$\mathbf{a}^{\mathrm{T}}\Sigma\mathbf{a} = \operatorname{Var}(\mathbf{a}^{\mathrm{T}}\mathbf{x})\ge 0$）、**正定与「分量不线性相关」的等价链**、样本协方差矩阵及其秩上界与判别分析的含义、线性变换下的 $\operatorname{Cov}(A\mathbf{x}) = A\Sigma A^{\mathrm{T}}$（含元素形式证明）、去相关与白化（$W = \Lambda^{-1/2}Q^{\mathrm{T}}$ 与对称版本 $\Sigma^{-1/2}$、白化的不唯一性）、几何直观（特征向量 = 数据云主轴、特征值 = 沿主轴方差、$\mathbf{x}^{\mathrm{T}}\Sigma^{-1}\mathbf{x} = c$ 是椭球）、独立与不相关在多元情形的对比。
>
> **本版的例题与实验**：例题 3-补充（$5\times2$ 数据手算 $S$ 与 $2\times2$ 特征值/主轴全流程）、例题 4-补充（数值实验：定理 2/4/5/7 逐条验证）、例题 5-补充（两组观测方差相差 $10^4$ 倍时 WLS 与 OLS 的完整对比）、例题 6-补充（$A\Sigma A^{\mathrm{T}}$ 的元素形式证明 + 白化不唯一性）、例题 7-补充（半正定的概率构造 + $\lambda_1\lambda_2 = \sigma_1^2\sigma_2^2(1-r^2)$ + 条件数与判别分析诊断）。

## 一、定义

### 1.1 随机向量（random vector）

设 $x_1, x_2, \dots, x_n$ 是定义在同一概率空间上的 $n$ 个随机变量。把它们摞成列向量

$$
\mathbf{x} = \begin{bmatrix} x_1 \\ x_2 \\ \vdots \\ x_n \end{bmatrix}
$$

就得到 $n$ 维**随机向量（random vector）**。$\mathbf{x}$ 的**均值向量（mean vector）** 定义为

$$
\boldsymbol{\mu} = \mathbb{E}[\mathbf{x}] = \begin{bmatrix} \mathbb{E}[x_1] \\ \mathbb{E}[x_2] \\ \vdots \\ \mathbb{E}[x_n] \end{bmatrix}
$$

（期望逐分量作用，这正是 [[12-1-均值方差与概率]] 中「期望是线性泛函」的直接推广。）

### 1.2 协方差矩阵（covariance matrix）的定义

**定义**：$n$ 维随机向量 $\mathbf{x}$ 的协方差矩阵定义为

$$
\Sigma = \operatorname{Cov}(\mathbf{x}) = \mathbb{E}\left[(\mathbf{x} - \boldsymbol{\mu})(\mathbf{x} - \boldsymbol{\mu})^{\mathrm{T}}\right]
$$

其中 $(\mathbf{x} - \boldsymbol{\mu})(\mathbf{x} - \boldsymbol{\mu})^{\mathrm{T}}$ 是 $n \times n$ 的**外积矩阵**，期望逐元素作用。

**展开成元素形式**：记 $\tilde{x}_i = x_i - \mu_i$，则第 $(i,j)$ 个元素是

$$
\Sigma_{ij} = \mathbb{E}\left[\tilde{x}_i \tilde{x}_j\right] = \operatorname{Cov}(x_i, x_j)
$$

这解释了名字：**协方差矩阵就是「两两协方差」排成的矩阵**。

### 1.3 等价的计算公式

$$
\Sigma = \mathbb{E}\left[\mathbf{x}\mathbf{x}^{\mathrm{T}}\right] - \boldsymbol{\mu}\boldsymbol{\mu}^{\mathrm{T}}
$$

**证明**：展开外积，用期望的线性性（不需要任何独立性）：

$$
\begin{aligned}
\mathbb{E}\left[(\mathbf{x}-\boldsymbol{\mu})(\mathbf{x}-\boldsymbol{\mu})^{\mathrm{T}}\right]
&= \mathbb{E}\left[(\mathbf{x}-\boldsymbol{\mu})(\mathbf{x}^{\mathrm{T}}-\boldsymbol{\mu}^{\mathrm{T}})\right] \\
&= \mathbb{E}\left[\mathbf{x}\mathbf{x}^{\mathrm{T}} - \mathbf{x}\boldsymbol{\mu}^{\mathrm{T}} - \boldsymbol{\mu}\mathbf{x}^{\mathrm{T}} + \boldsymbol{\mu}\boldsymbol{\mu}^{\mathrm{T}}\right] \\
&= \mathbb{E}\left[\mathbf{x}\mathbf{x}^{\mathrm{T}}\right] - \mathbb{E}[\mathbf{x}]\boldsymbol{\mu}^{\mathrm{T}} - \boldsymbol{\mu}\mathbb{E}\left[\mathbf{x}^{\mathrm{T}}\right] + \boldsymbol{\mu}\boldsymbol{\mu}^{\mathrm{T}} \\
&= \mathbb{E}\left[\mathbf{x}\mathbf{x}^{\mathrm{T}}\right] - \boldsymbol{\mu}\boldsymbol{\mu}^{\mathrm{T}} - \boldsymbol{\mu}\boldsymbol{\mu}^{\mathrm{T}} + \boldsymbol{\mu}\boldsymbol{\mu}^{\mathrm{T}} \\
&= \mathbb{E}\left[\mathbf{x}\mathbf{x}^{\mathrm{T}}\right] - \boldsymbol{\mu}\boldsymbol{\mu}^{\mathrm{T}}
\end{aligned}
$$

这与标量公式 $\operatorname{Var}(X) = \mathbb{E}[X^2] - \mu^2$ 完全平行。

### 1.4 中心化数据矩阵与样本协方差矩阵

设有 $n$ 次观测、每次观测记录 $p$ 个变量的数据矩阵（data matrix）

$$
X = \begin{bmatrix} \mathbf{x}_1^{\mathrm{T}} \\ \mathbf{x}_2^{\mathrm{T}} \\ \vdots \\ \mathbf{x}_n^{\mathrm{T}} \end{bmatrix} \in \mathbb{R}^{n \times p}
$$

（**约定：每行是一个观测样本，每列是一个变量**——注意这与 `np.cov` 的默认约定 `rowvar=True` 相反，见第七节。）

**中心化**：设 $\bar{\mathbf{x}}^{\mathrm{T}} = \frac{1}{n}\sum_{i=1}^n \mathbf{x}_i^{\mathrm{T}}$ 是样本均值行，令

$$
X_c = X - \mathbf{1}\bar{\mathbf{x}}^{\mathrm{T}}
$$

其中 $\mathbf{1} \in \mathbb{R}^n$ 是全一列向量。$X_c$ 的每一列之和为 $0$。

**样本协方差矩阵（sample covariance matrix）**：

$$
S = \frac{1}{n-1} X_c^{\mathrm{T}} X_c
$$

**验证它是协方差的无偏估计**：$X_c^{\mathrm{T}}X_c$ 的第 $(j,k)$ 个元素是

$$
\left(X_c^{\mathrm{T}}X_c\right)_{jk} = \sum_{i=1}^{n} (x_{ij} - \bar{x}_j)(x_{ik} - \bar{x}_k)
$$

除以 $n-1$ 后正是 [[12-1-均值方差与概率]] 中样本协方差的定义。

> [!important] 与「协方差就是内积」的联系
> $X_c$ 的第 $j$ 列是第 $j$ 个变量的 $n$ 个中心化观测值，记作 $\tilde{\mathbf{x}}_j \in \mathbb{R}^n$。于是
> $$S_{jk} = \frac{\tilde{\mathbf{x}}_j^{\mathrm{T}}\tilde{\mathbf{x}}_k}{n-1} = \frac{\langle \tilde{\mathbf{x}}_j, \tilde{\mathbf{x}}_k\rangle}{n-1}$$
> **$S$ 就是中心化数据列向量两两内积的 Gram 矩阵除以 $n-1$。** 第 12-1 篇的核心洞察在这里升级为矩阵形式。

## 二、几何直观

### 2.1 对角元与非对角元的含义

| 位置 | 含义 | 几何解读 |
|---|---|---|
| $\Sigma_{ii}$ | $\operatorname{Var}(x_i)$：第 $i$ 个分量的方差 | 点云沿第 $i$ 个坐标轴的**展开程度** |
| $\Sigma_{ij}$（$i \ne j$） | $\operatorname{Cov}(x_i, x_j)$ | 点云在 $(i,j)$ 平面上的**倾斜方向** |
| $\Sigma_{ij} > 0$ | 正相关 | 点云沿斜率为正的直线方向拉长 |
| $\Sigma_{ij} < 0$ | 负相关 | 点云沿斜率为负的直线方向拉长 |
| $\Sigma_{ij} = 0$ | 不相关 | 点云在该平面的投影不带**线性**倾斜 |
| $\Sigma$ 为对角阵 | 两两不相关 | 点云的**轴与坐标轴对齐**（但不一定独立！） |

### 2.2 特征向量是数据云的主轴

因为 $\Sigma$ 是实对称矩阵，由 [[6-4-对称矩阵与正定矩阵]] 存在**正交对角化**

$$
\Sigma = Q\Lambda Q^{\mathrm{T}}, \qquad Q^{\mathrm{T}}Q = I, \qquad \Lambda = \operatorname{diag}(\lambda_1, \dots, \lambda_n)
$$

**几何解读**：

- $\Sigma$ 的**特征向量** $\mathbf{q}_1, \dots, \mathbf{q}_n$（互相正交，可取自标准正交）给出数据云的 $n$ 条**主轴（principal axes）**；
- 对应的**特征值** $\lambda_i$ 是数据沿该主轴的**方差**：令 $u = \mathbf{q}_i^{\mathrm{T}}\mathbf{x}$（数据在第 $i$ 个主轴上的投影坐标），则

$$
\operatorname{Var}(u) = \operatorname{Var}(\mathbf{q}_i^{\mathrm{T}}\mathbf{x}) = \mathbf{q}_i^{\mathrm{T}}\Sigma\mathbf{q}_i = \mathbf{q}_i^{\mathrm{T}}(\lambda_i \mathbf{q}_i) = \lambda_i
$$

- 所以 $\lambda_i$ 越大，数据沿 $\mathbf{q}_i$ 方向铺得越开；$\lambda_i$ 越小，数据在该方向被压得越扁。
- **变换到主轴坐标系就是白化的「旋转」那一半**：令 $\mathbf{y} = Q^{\mathrm{T}}\mathbf{x}$，则 $\operatorname{Cov}(\mathbf{y}) = Q^{\mathrm{T}}\Sigma Q = \Lambda$ 是对角阵，各分量**不相关**。

### 2.3 $\mathbf{x}^{\mathrm{T}}\Sigma^{-1}\mathbf{x} = c$ 是椭球

**断言**：当 $\Sigma$ 正定时，集合 $\{\mathbf{x} : \mathbf{x}^{\mathrm{T}}\Sigma^{-1}\mathbf{x} = c\}$（$c > 0$）是一个**椭球**，中心在原点，半轴方向为 $\Sigma$ 的特征向量 $\mathbf{q}_i$，半轴长为 $\sqrt{c\lambda_i}$。

**推导**：做变量代换 $\mathbf{u} = Q^{\mathrm{T}}\mathbf{x}$（旋转到主轴坐标系）。因为 $Q^{-1} = Q^{\mathrm{T}}$，有

$$
\mathbf{x}^{\mathrm{T}}\Sigma^{-1}\mathbf{x} = \mathbf{u}^{\mathrm{T}} Q^{\mathrm{T}} \Sigma^{-1} Q\,\mathbf{u} = \mathbf{u}^{\mathrm{T}} \Lambda^{-1} \mathbf{u} = \sum_{i=1}^{n} \frac{u_i^2}{\lambda_i}
$$

于是方程变成

$$
\sum_{i=1}^{n}\frac{u_i^2}{\lambda_i} = c
$$

这正是**标准椭球方程**：沿 $u_i$ 方向的半轴长是 $\sqrt{c\lambda_i}$（因为令其余 $u_j=0$ 得 $u_i^2 = c\lambda_i$）。

**解读**：椭球在方差大的方向上伸得长、在方差小的方向上压得扁，**形状完全由 $\Sigma$ 的谱（特征值集合）决定，朝向完全由特征向量决定**。这正是 [[6-5-二次型与标准形]] 中「二次型正交化为标准形」的几何图像在概率论中的重现。

### 2.4 高维小样本：点云掉进低维子空间

若样本数 $n$ 小于变量数 $p$，则中心化数据矩阵 $X_c$ 的秩至多 $n-1$，因此

$$
\operatorname{rank}(S) = \operatorname{rank}(X_c^{\mathrm{T}}X_c) = \operatorname{rank}(X_c) \le n - 1 < p
$$

$S$ 是 $p \times p$ 的**奇异矩阵**。几何上：$n$ 个点**总是**落在 $\mathbb{R}^p$ 中一个至多 $(n-1)$ 维的仿射子空间里（想想 $p=3$ 时 3 个点必共面），点云在这个方向上的「厚度」为零，$\Sigma$ 在该方向的特征值为 $0$，椭球退化成「薄饼」。

## 三、性质与定理

### 定理 1（对称性）

**表述**：$\Sigma^{\mathrm{T}} = \Sigma$。

**条件**：二阶矩存在。

**证明**：按元素验证。对任意 $i, j$，

$$
\Sigma_{ij} = \operatorname{Cov}(x_i, x_j) = \mathbb{E}\left[\tilde{x}_i\tilde{x}_j\right] = \mathbb{E}\left[\tilde{x}_j\tilde{x}_i\right] = \operatorname{Cov}(x_j, x_i) = \Sigma_{ji}
$$

（中间一步用了实数乘法的交换律。）故 $\Sigma^{\mathrm{T}} = \Sigma$。$\square$

**直接证明（矩阵形式）**：$(\mathbf{x}-\boldsymbol{\mu})(\mathbf{x}-\boldsymbol{\mu})^{\mathrm{T}}$ 的转置是 $(\mathbf{x}-\boldsymbol{\mu})(\mathbf{x}-\boldsymbol{\mu})^{\mathrm{T}}$ 自身（因为 $(\mathbf{a}\mathbf{b}^{\mathrm{T}})^{\mathrm{T}} = \mathbf{b}\mathbf{a}^{\mathrm{T}}$，取 $\mathbf{a}=\mathbf{b}=\mathbf{x}-\boldsymbol{\mu}$），即每个样本的外积本身对称，期望逐元素作用后仍对称。

> [!note] 单个样本的外积一定是秩 1 半正定
> 对任意 $\mathbf{a}$，$\mathbf{a}^{\mathrm{T}}(\mathbf{x}-\boldsymbol{\mu})(\mathbf{x}-\boldsymbol{\mu})^{\mathrm{T}}\mathbf{a} = \left[(\mathbf{x}-\boldsymbol{\mu})^{\mathrm{T}}\mathbf{a}\right]^2 \ge 0$。这已经预告了下一个定理。

### 定理 2（半正定性）——本篇最漂亮的证明

**表述**：对任意 $\mathbf{a} \in \mathbb{R}^n$，

$$
\mathbf{a}^{\mathrm{T}}\Sigma\mathbf{a} = \operatorname{Var}\left(\mathbf{a}^{\mathrm{T}}\mathbf{x}\right) \ge 0
$$

即 $\Sigma$ 是**半正定矩阵（positive semidefinite）**。

**条件**：仅要求二阶矩存在。**不需要任何独立性、不需要 $\Sigma$ 可逆。**

**证明**：注意 $\mathbf{a}^{\mathrm{T}}\mathbf{x} = \sum_i a_i x_i$ 是一个标量随机变量。先求它的均值：

$$
\mathbb{E}\left[\mathbf{a}^{\mathrm{T}}\mathbf{x}\right] = \mathbf{a}^{\mathrm{T}}\mathbb{E}[\mathbf{x}] = \mathbf{a}^{\mathrm{T}}\boldsymbol{\mu}
$$

于是

$$
\begin{aligned}
\operatorname{Var}\left(\mathbf{a}^{\mathrm{T}}\mathbf{x}\right)
&= \mathbb{E}\left[\left(\mathbf{a}^{\mathrm{T}}\mathbf{x} - \mathbf{a}^{\mathrm{T}}\boldsymbol{\mu}\right)^2\right] \\
&= \mathbb{E}\left[\left(\mathbf{a}^{\mathrm{T}}(\mathbf{x} - \boldsymbol{\mu})\right)^2\right] \\
&= \mathbb{E}\left[\mathbf{a}^{\mathrm{T}}(\mathbf{x}-\boldsymbol{\mu})(\mathbf{x}-\boldsymbol{\mu})^{\mathrm{T}}\mathbf{a}\right] \\
&= \mathbf{a}^{\mathrm{T}}\,\mathbb{E}\left[(\mathbf{x}-\boldsymbol{\mu})(\mathbf{x}-\boldsymbol{\mu})^{\mathrm{T}}\right]\mathbf{a} \\
&= \mathbf{a}^{\mathrm{T}}\Sigma\mathbf{a}
\end{aligned}
$$

（第 3 步用了标量等于自身转置：$(\mathbf{a}^{\mathrm{T}}\mathbf{v})^2 = \mathbf{a}^{\mathrm{T}}\mathbf{v}\mathbf{v}^{\mathrm{T}}\mathbf{a}$；第 4 步把与随机变量无关的 $\mathbf{a}$ 提到期望外，这是期望线性性。）

而方差**永远非负**，即 $\operatorname{Var}(\mathbf{a}^{\mathrm{T}}\mathbf{x}) \ge 0$，故 $\mathbf{a}^{\mathrm{T}}\Sigma\mathbf{a} \ge 0$。$\square$

> [!important] 为什么这个证明漂亮
> 大多数教材用「$\Sigma = \mathbb{E}[\mathbf{v}\mathbf{v}^{\mathrm{T}}]$ 是半正定外积的期望，而半正定矩阵的期望仍半正定」来论证，需要额外说明「半正定矩阵的集合是凸锥、对期望封闭」。上面的证明**绕开了矩阵论**，直接把二次型认成**方差**——而方差非负是最原始的直观。**「二次型 = 方差」这个等式本身就是全部内容。**
>
> 反过来它也给出**判定半正定性的概率方法**：想验证一个矩阵 $M$ 半正定，只要构造一个随机向量使 $M = \operatorname{Cov}(\mathbf{x})$ 即可。

### 定理 3（正定 ⟺ 各分量不线性相关）

**表述**：$\Sigma$ 正定（记为 $\Sigma \succ 0$）当且仅当对任意 $\mathbf{a} \ne \mathbf{0}$ 有 $\operatorname{Var}(\mathbf{a}^{\mathrm{T}}\mathbf{x}) > 0$，即**不存在非平凡的线性组合是常数（几乎必然）**。等价地：**各分量 $x_1, \dots, x_n$ 不线性相关**（不存在 $c_1, \dots, c_n$ 不全为零与常数 $c$ 使 $\sum_i c_i x_i = c$ 几乎必然）。

**证明**：由定理 2，$\mathbf{a}^{\mathrm{T}}\Sigma\mathbf{a} = \operatorname{Var}(\mathbf{a}^{\mathrm{T}}\mathbf{x})$。而 $\operatorname{Var}(Z) = 0 \iff Z$ 几乎必然是常数。于是

$$
\mathbf{a}^{\mathrm{T}}\Sigma\mathbf{a} = 0 \iff \operatorname{Var}\left(\mathbf{a}^{\mathrm{T}}\mathbf{x}\right) = 0
$$

而后者等价于「线性组合 $\mathbf{a}^{\mathrm{T}}\mathbf{x}$ 几乎必然是常数」。因此 $\Sigma$ 正定 $\iff$ 不存在 $\mathbf{a} \ne \mathbf{0}$ 使 $\mathbf{a}^{\mathrm{T}}\mathbf{x}$ 几乎必然是常数。$\square$

**退化情形的具体例子**：设 $\mathbf{x} = (x_1, x_2, x_3)^{\mathrm{T}}$ 且 $x_3 = x_1 + x_2$（几乎必然）。取 $\mathbf{a} = (1, 1, -1)^{\mathrm{T}} \ne \mathbf{0}$，则

$$
\mathbf{a}^{\mathrm{T}}\mathbf{x} = x_1 + x_2 - x_3 = 0
$$

右边是常数零，故 $\operatorname{Var}(\mathbf{a}^{\mathrm{T}}\mathbf{x}) = 0$，$\mathbf{a}^{\mathrm{T}}\Sigma\mathbf{a} = 0$，$\Sigma$ 有零特征值，**奇异不可逆**。

**几何图像**：点云被压进了子空间 $\{\mathbf{a}\}^{\perp}$ 的正交补方向厚度为零，椭球退化成「椭圆柱」或更低维的对象。

### 定理 4（线性变换下的协方差）

**表述**：设 $\mathbf{y} = A\mathbf{x} + \mathbf{b}$，其中 $A \in \mathbb{R}^{m \times n}$，$\mathbf{b} \in \mathbb{R}^m$，则

$$
\mathbb{E}[\mathbf{y}] = A\boldsymbol{\mu} + \mathbf{b}, \qquad \operatorname{Cov}(\mathbf{y}) = A\Sigma A^{\mathrm{T}}
$$

**条件**：二阶矩存在；$A, \mathbf{b}$ 是**非随机**的常数矩阵与向量。（若 $A$ 也随机且与 $\mathbf{x}$ 独立，公式需修正。）

**证明**：先算均值（期望线性性）：

$$
\mathbb{E}[\mathbf{y}] = \mathbb{E}[A\mathbf{x} + \mathbf{b}] = A\mathbb{E}[\mathbf{x}] + \mathbf{b} = A\boldsymbol{\mu} + \mathbf{b}
$$

于是中心化向量为

$$
\mathbf{y} - \mathbb{E}[\mathbf{y}] = (A\mathbf{x}+\mathbf{b}) - (A\boldsymbol{\mu}+\mathbf{b}) = A(\mathbf{x} - \boldsymbol{\mu})
$$

代入协方差定义：

$$
\begin{aligned}
\operatorname{Cov}(\mathbf{y})
&= \mathbb{E}\left[A(\mathbf{x}-\boldsymbol{\mu})\bigl(A(\mathbf{x}-\boldsymbol{\mu})\bigr)^{\mathrm{T}}\right] \\
&= \mathbb{E}\left[A(\mathbf{x}-\boldsymbol{\mu})(\mathbf{x}-\boldsymbol{\mu})^{\mathrm{T}}A^{\mathrm{T}}\right] \\
&= A\,\mathbb{E}\left[(\mathbf{x}-\boldsymbol{\mu})(\mathbf{x}-\boldsymbol{\mu})^{\mathrm{T}}\right]A^{\mathrm{T}} \\
&= A\Sigma A^{\mathrm{T}}
\end{aligned}
$$

（第 2 步用了 $(\mathbf{v}\mathbf{u}^{\mathrm{T}})$ 型转置律 $(B C)^{\mathrm{T}} = C^{\mathrm{T}}B^{\mathrm{T}}$，其中 $B = A(\mathbf{x}-\boldsymbol{\mu})$、$C = I$；第 3 步把常数矩阵提出期望。）$\square$

**特例**：

- $\mathbf{a}^{\mathrm{T}}\mathbf{x}$（标量）的方差：$\operatorname{Var}(\mathbf{a}^{\mathrm{T}}\mathbf{x}) = \mathbf{a}^{\mathrm{T}}\Sigma\mathbf{a}$，与定理 2 一致；
- 平移不改协方差：$\operatorname{Cov}(\mathbf{x}+\mathbf{b}) = \Sigma$（取 $A = I$）；
- 缩放：$A = cI$ 时 $\operatorname{Cov}(c\mathbf{x}) = c^2\Sigma$。

> [!important] 公式 $A\Sigma A^{\mathrm{T}}$ 是白化与 PCA 的基础
> 它告诉我们：**线性变换如何搬运协方差**。要「去掉」相关性，就要找 $A$ 使 $A\Sigma A^{\mathrm{T}}$ 变成对角阵（或单位阵）。这正是下一节的主题，也是 [[7-3-主成分分析PCA]] 的出发点。

### 定理 5（去相关与白化）

**表述**：设 $\Sigma \succ 0$ 且 $\Sigma = Q\Lambda Q^{\mathrm{T}}$ 是其正交对角化（$\Lambda = \operatorname{diag}(\lambda_1,\dots,\lambda_n)$，$\lambda_i > 0$）。定义

$$
W = \Lambda^{-1/2}Q^{\mathrm{T}}
$$

则

$$
W\Sigma W^{\mathrm{T}} = I, \qquad \operatorname{Cov}(W\mathbf{x}) = I
$$

**证明**：

$$
\begin{aligned}
W\Sigma W^{\mathrm{T}}
&= \Lambda^{-1/2}Q^{\mathrm{T}}\,\bigl(Q\Lambda Q^{\mathrm{T}}\bigr)\,Q\Lambda^{-1/2} \\
&= \Lambda^{-1/2}\underbrace{Q^{\mathrm{T}}Q}_{I}\Lambda\underbrace{Q^{\mathrm{T}}Q}_{I}\Lambda^{-1/2} \\
&= \Lambda^{-1/2}\Lambda\Lambda^{-1/2} \\
&= I
\end{aligned}
$$

（用了 $\Lambda$ 对角故 $\Lambda^{-1/2}$ 对称、与 $\Lambda$ 可交换。）再由定理 4 得 $\operatorname{Cov}(W\mathbf{x}) = W\Sigma W^{\mathrm{T}} = I$。$\square$

**几何解读**：白化（whitening）由**两步**组成：

1. **旋转**（$Q^{\mathrm{T}}$）：把坐标轴转到数据云的主轴上，使协方差变成对角阵 $\Lambda$。这一步**去相关**。
2. **缩放**（$\Lambda^{-1/2}$）：把每个主轴方向的方差都拉成 $1$。这一步**标准化**。

两步合起来，点云被拉成一个**各向同性的球**（协方差为单位阵）。

**与 PCA 的关系**：

| | PCA | 白化 |
|---|---|---|
| 变换 | $\mathbf{y} = Q^{\mathrm{T}}\mathbf{x}$ | $\mathbf{z} = \Lambda^{-1/2}Q^{\mathrm{T}}\mathbf{x}$ |
| 协方差 | $\Lambda$（对角） | $I$（单位） |
| 目的 | **降维**（保留大方差方向，丢掉小方差方向） | **去相关 + 统一尺度** |
| 是否保长度 | 是（旋转） | 否（还有拉伸） |
| 常见用途 | 数据可视化、压缩、特征提取 | 独立成分分析预处理、优化问题的条件数改善 |

所以**白化 = PCA + 各方向重新缩放**。详细推导见 [[7-3-主成分分析PCA]]。

**另一种构造：$\Sigma^{-1/2}$**。还可以取

$$
\Sigma^{-1/2} = Q\Lambda^{-1/2}Q^{\mathrm{T}}
$$

它是对称矩阵，且 $(\Sigma^{-1/2})^2 = Q\Lambda^{-1}Q^{\mathrm{T}} = \Sigma^{-1}$，故确实是「$\Sigma$ 的逆的平方根」。用它可以写出 $\Sigma = \Sigma^{1/2}\Sigma^{1/2}$（**矩阵平方根**，用于从标准正态生成相关数据）。

### 定理 6（不相关的矩阵刻画与独立的关系）

**表述**：以下三条等价：

1. $\Sigma$ 是对角矩阵；
2. 任意 $i \ne j$ 有 $\operatorname{Cov}(x_i, x_j) = 0$（两两不相关）；
3. 对任意 $i \ne j$ 有 $\mathbb{E}[x_i x_j] = \mathbb{E}[x_i]\mathbb{E}[x_j]$。

此外：**若 $x_1, \dots, x_n$ 相互独立，则 $\Sigma$ 是对角矩阵**；反之不成立（除多元高斯情形外，见 [[12-3-多元高斯与加权最小二乘]]）。

**证明（1 ⟺ 2）**：$\Sigma_{ij} = \operatorname{Cov}(x_i,x_j)$，对角矩阵意味着所有非对角元为零，即两两协方差为零。

**（2 ⟺ 3）**：由 $\operatorname{Cov}(x_i,x_j) = \mathbb{E}[x_i x_j] - \mu_i\mu_j$（第 12-1 篇定理 4 的多元版本）。

**（独立 ⟹ 对角）**：由第 12-1 篇定理 6，独立 ⟹ 两两不相关 ⟹ $\Sigma$ 对角。

**（反之不成立）**：取经典的二维反例。设 $X$ 等可能地取 $-1, 0, 1$，令 $Y = X^2$，$\mathbf{x} = (X, Y)^{\mathrm{T}}$。

$$
\mu_X = 0, \quad \mu_Y = \frac{2}{3}, \quad \operatorname{Cov}(X, Y) = 0
$$

（计算见第 12-1 篇例题 2。）于是

$$
\Sigma = \begin{bmatrix} \operatorname{Var}(X) & 0 \\ 0 & \operatorname{Var}(Y) \end{bmatrix}
$$

是对角阵，但 $X$ 与 $Y$ 不独立。**「$\Sigma$ 对角」只说明没有线性关联，不排除非线性依赖。** $\square$

> [!warning] 为什么只有多元高斯才能「不相关 ⟹ 独立」
> 高斯的密度函数完全由 $\boldsymbol{\mu}$ 与 $\Sigma$ 决定（见 [[12-3-多元高斯与加权最小二乘]]）。若 $\Sigma$ 对角，联合密度就分解成各分量密度的乘积，于是独立。**这是高斯分布独有的「信息不多不少」的性质**——它的全部依赖结构都被二阶矩描述完了。一般的分布还有偏度、峰度等更高阶结构，协方差捕捉不到。

### 定理 7（样本协方差矩阵的秩）

**表述**：设 $X \in \mathbb{R}^{n \times p}$ 是数据矩阵，$X_c = X - \mathbf{1}\bar{\mathbf{x}}^{\mathrm{T}}$ 是中心化数据矩阵，则

$$
\operatorname{rank}(X_c) \le \min(n-1,\; p)
$$

从而

$$
\operatorname{rank}(S) = \operatorname{rank}(X_c) \le \min(n-1,\; p)
$$

**证明**：$X_c$ 的每一列之和为零，即 $\mathbf{1}^{\mathrm{T}}X_c = \mathbf{0}^{\mathrm{T}}$，所以 $X_c$ 的 $n$ 个行向量线性相关（它们的一个非平凡线性组合 $\mathbf{1}^{\mathrm{T}}X_c$ 等于零向量），故 $\operatorname{rank}(X_c) \le n-1$。另一方面 $X_c$ 的列数只有 $p$，故 $\operatorname{rank}(X_c) \le p$。合起来 $\operatorname{rank}(X_c) \le \min(n-1,p)$。

又因为对任意矩阵 $M$，$\operatorname{rank}(M^{\mathrm{T}}M) = \operatorname{rank}(M)$（这是 [[4-3-最小二乘逼近]] 中 $A^{\mathrm{T}}A$ 可逆性讨论的关键引理），故 $\operatorname{rank}(X_c^{\mathrm{T}}X_c) = \operatorname{rank}(X_c)$，而 $S$ 只差一个非零标量因子 $1/(n-1)$，秩不变。$\square$

**这意味着什么**：

- **$n \le p$ 时 $S$ 必然奇异**，$\det S = 0$，$S^{-1}$ 不存在。
- 凡是**需要求 $\Sigma^{-1}$ 的方法都会失效**，典型例子：
  - **线性判别分析（LDA）**：需要 $\Sigma_w^{-1}$ 计算判别方向，高维小样本时必须先降维或用伪逆/正则化（这就是「小样本问题」small sample size problem）；
  - **多元高斯密度**：$|\Sigma|^{-1/2}$ 为零、$\Sigma^{-1}$ 不存在，密度不再有定义（见 12-3）；
  - **广义最小二乘（GLS）**：$\Sigma^{-1}$ 不存在时公式无定义。
- **常用补救**：降维（PCA 保留前 $k$ 个主成分）、正则化（$\Sigma + \lambda I$，岭估计 / shrinkage 估计）、用**伪逆** $\Sigma^{+}$ 代替 $\Sigma^{-1}$。

### 定理 8（正定性、线性相关与「密度是否存在」三者的等价链）

把定理 2、定理 3 与 12-3 的密度公式串起来，可以得到一条非常实用的等价链。设 $\Sigma$ 是 $n$ 维随机向量 $\mathbf{x}$ 的协方差矩阵，则以下六条**互相等价**：

1. 对一切 $\mathbf{a} \ne \mathbf{0}$ 有 $\mathbf{a}^{\mathrm{T}}\Sigma\mathbf{a} > 0$（即 $\Sigma \succ 0$）；
2. 对一切 $\mathbf{a} \ne \mathbf{0}$ 有 $\operatorname{Var}(\mathbf{a}^{\mathrm{T}}\mathbf{x}) > 0$；
3. 不存在非零 $\mathbf{a}$ 使 $\mathbf{a}^{\mathrm{T}}\mathbf{x}$ 几乎必然是常数；
4. $\mathbf{x}$ 的各分量**不线性相关**（不存在 $c_1,\dots,c_n$ 不全为零与常数 $c$ 使 $\sum_i c_ix_i = c$ 几乎必然）；
5. $\operatorname{rank}(\Sigma) = n$，$\det\Sigma > 0$，$\Sigma$ 可逆；
6. 全部特征值 $\lambda_i > 0$。

**证明**：链条 $1 \iff 2$ 是定理 2 的等式 $\mathbf{a}^{\mathrm{T}}\Sigma\mathbf{a} = \operatorname{Var}(\mathbf{a}^{\mathrm{T}}\mathbf{x})$；$2 \iff 3$ 用「方差为零 $\iff$ 几乎必然是常数」；$3 \iff 4$ 只需把 $\sum_i c_ix_i = c$ 写成 $\mathbf{c}^{\mathrm{T}}\mathbf{x} = c$，再减去均值 $c - \mathbf{c}^{\mathrm{T}}\boldsymbol{\mu}$ 得到一个「零方差的线性组合」。

$1 \Rightarrow 5$：若 $\Sigma$ 有零特征值 $\lambda = 0$ 与对应特征向量 $\mathbf{q} \ne \mathbf{0}$，则 $\mathbf{q}^{\mathrm{T}}\Sigma\mathbf{q} = \lambda\lVert\mathbf{q}\rVert^2 = 0$，与 1 矛盾。
$5 \Rightarrow 6$：对称矩阵的行列式等于特征值之积，故 $\det\Sigma > 0$ 排除任何零特征值；又由定理 2 所有 $\lambda_i \ge 0$，故都为正。
$6 \Rightarrow 1$：由谱分解 $\Sigma = Q\Lambda Q^{\mathrm{T}}$，令 $\mathbf{b} = Q^{\mathrm{T}}\mathbf{a} \ne \mathbf{0}$，则 $\mathbf{a}^{\mathrm{T}}\Sigma\mathbf{a} = \mathbf{b}^{\mathrm{T}}\Lambda\mathbf{b} = \sum_i \lambda_ib_i^2 > 0$。$\square$

> [!important] 为什么「正定 ⟺ 分量不线性相关」这么重要
> 这条等价把**代数条件**（矩阵可逆、特征值为正）与**概率条件**（没有冗余的分量）绑在一起，于是：
>
> 1. **可以被检验**：拿数据算出 $S$，看最小特征值是否接近 $0$、看条件数 $\kappa = \lambda_{\max}/\lambda_{\min}$（[[11-2-范数与条件数]]）。$\kappa$ 巨大就意味着「几乎线性相关」——这是共线性（collinearity）诊断的标准做法。
> 2. **解释了为什么共线性会让回归失效**。在 [[4-3-最小二乘逼近]] 里 $A^{\mathrm{T}}A$ 可逆要求 $A$ 列满秩。把 $A$ 的每一列看成一组「变量取值」，列线性相关就是「变量之间线性相关」；此时 $A^{\mathrm{T}}A$（本质上是这些变量的协方差结构）奇异，法方程的解不唯一或极不稳定（[[11-1-数值稳定性与LU]] 讨论的误差放大）。
> 3. **给出了「几乎不相关」的量化含义**。实际数据几乎不可能精确线性相关，但可能**近似**相关：$\lambda_{\min} = 10^{-8}$ 时 $\Sigma$ 形式上可逆，数值上却完全不可靠。判断标准不是「是否奇异」，而是「条件数有多大」。

### 谱分解与二次型的几何图像（把三件事串成一条线）

定理 5 与 2.2、2.3 节讲了平移、椭圆与二次型，这里把 $\Sigma$、$Q$、$\Lambda$ 与三种几何对象放在一张表里，方便随时查阅。

| 线性代数对象 | 数据/几何含义 | 在 12-3 中的用途 |
|---|---|---|
| 特征向量 $\mathbf{q}_i$ | 数据云的**主轴方向**（一条直线，正负号无意义） | 马氏距离里的旋转矩阵 $Q^{\mathrm{T}}$ |
| 特征值 $\lambda_i$ | 沿主轴 $\mathbf{q}_i$ 的**方差**，即 $\operatorname{Var}(\mathbf{q}_i^{\mathrm{T}}\mathbf{x})$ | 白化时除以 $\sqrt{\lambda_i}$ |
| $\sqrt{\lambda_i}$ | 沿主轴的**标准差**；椭球半轴长与它成正比 | 等密度椭球的半轴 $c\sqrt{\lambda_i}$ |
| $\lambda_i / \sum_j\lambda_j$ | 该主成分解释的**方差占比** | PCA 保留前 $k$ 个主成分的判据 |
| $\prod_i \lambda_i = \det\Sigma$ | 椭球的**体积**伸缩率的平方；也是密度的归一化因子 | 高斯密度中的 $\lvert\Sigma\rvert^{1/2}$ |
| $\sum_i \lambda_i = \operatorname{tr}\Sigma$ | **总方差**（各分量方差之和），与坐标旋转无关 | 白化后总方差变成 $n$ |
| $Q^{\mathrm{T}}$ | 旋转到主轴坐标系（正交变换，保长度） | 去相关 |
| $\Lambda^{-1/2}$ | 各主轴方向缩放到单位方差 | 标准化 |
| $\Sigma^{-1/2} = Q\Lambda^{-1/2}Q^{\mathrm{T}}$ | **白化矩阵**（对称正定） | 马氏距离 = 先用它变换再算欧氏距离 |

**为什么 $\operatorname{tr}\Sigma$ 与坐标旋转无关**：$\operatorname{tr}(Q^{\mathrm{T}}\Sigma Q) = \operatorname{tr}(\Sigma QQ^{\mathrm{T}}) = \operatorname{tr}\Sigma$（用迹的循环置换性质 $\operatorname{tr}(ABC) = \operatorname{tr}(BCA)$）。所以「总方差」是一个**旋转不变量**——把坐标系转到任何方向，各分量方差之和都不变，变的只是它们**如何分配**。这正是 PCA 里「方差占比」有意义的前提。

### 判别分析（LDA）里为什么必须求 $\Sigma^{-1}$

线性判别分析（linear discriminant analysis）的思想是：找一个方向 $\mathbf{w}$，使两类数据投影到这个方向后**类间距离尽量大、类内散布尽量小**。若两类共享类内协方差 $\Sigma_w$，Fisher 判别方向满足

$$
\mathbf{w} \propto \Sigma_w^{-1}\left(\boldsymbol{\mu}_1 - \boldsymbol{\mu}_0\right)
$$

**为什么需要 $\Sigma_w^{-1}$**：几何上，乘以 $\Sigma_w^{-1}$ 相当于**先把数据白化**（把类内点云揉成球形），在白化后的空间里「最近邻 / 最近中心」就是最自然的分类规则；再变回原坐标系，方向就是 $\Sigma_w^{-1}(\boldsymbol{\mu}_1 - \boldsymbol{\mu}_0)$。这与 12-3 中「马氏距离 = 先白化再算欧氏距离」是**同一个变换**。

**高维小样本的灾难**：由定理 7，$n \le p$ 时 $\Sigma_w$ 必然奇异，$\Sigma_w^{-1}$ 不存在，上式**直接失效**。这不是小问题——生物信息（$p$ 达上万、样本只有几十）、文本分类、图像识别都落在这个区域。这就是著名的「小样本问题（small sample size problem）」。补救手段与它们的代价：

| 补救方案 | 做法 | 代价 / 注意 |
|---|---|---|
| 先降维再判别 | 用 PCA 把 $p$ 降到 $k < n-1$，再算 $\Sigma_w^{-1}$ | 可能丢掉类间判别信息（PCA 是**无监督**的，只看总方差） |
| 正则化 | 用 $\Sigma_w + \lambda I$ 代替 $\Sigma_w$ | 引入偏差，$\lambda$ 需交叉验证选择；本质是岭估计 |
| 伪逆 | 用 $\Sigma_w^{+}$（`np.linalg.pinv`） | 等价于只在非零特征值方向上求逆，丢掉了零空间方向 |
| 收缩估计 | $\hat\Sigma = (1-\alpha)S + \alpha\frac{\operatorname{tr}S}{p}I$ | 统计学上更精细（Ledoit–Wolf），仍然要选 $\alpha$ |
| 直接用对角阵 | 只保留 $\operatorname{diag}(S)$ | 等价于假设各变量独立（朴素贝叶斯），偏差大但方差小 |

> [!warning] 「$n > p$ 就够了」是个常见误解
> 定理 7 只说 $n > p$ 时 $\Sigma$ **可以**满秩，并没说它**良态**。$n$ 与 $p$ 接近时条件数可能高达 $10^{10}$，$\Sigma^{-1}$ 的数值结果毫无意义（[[11-2-范数与条件数]] 给出误差放大的定量估计）。实践中的经验法则是：$n$ 至少要是 $p$ 的 $5$ 到 $10$ 倍，或者干脆用正则化、降维。

### 完全不相关（$\Sigma$ 为对角阵）与独立：定理 6 的补充讨论

定理 6 给出「$\Sigma$ 对角 $\iff$ 两两不相关」，并指出独立 $\Rightarrow$ 对角、反之不成立。这里补三点：

**(1) 为什么对角化只是「必要条件的一半」。** 独立性要求**联合分布函数**分解，而 $\Sigma$ 对角只保证**二阶混合中心矩**为零。用信息量的话说：一个 $n$ 维分布有无穷多个参数，协方差矩阵只有 $\frac{n(n+1)}{2}$ 个；除非分布族本身只有这么多参数（高斯就是这样），否则 $\Sigma$ 对角**必然丢信息**。

**(2) 去掉「高斯」条件后能救回多少？** 有一类更一般的结论：若 $\mathbf{x}$ 的分量**独立**，则不仅 $\Sigma$ 对角，而且任意形式的「不相关」都成立（例如 $\mathbb{E}[g(x_i)h(x_j)] = \mathbb{E}[g(x_i)]\mathbb{E}[h(x_j)]$ 对**任意函数** $g, h$ 成立）。反之，只要存在**一对函数** $g, h$ 使上述等式不成立，就不独立。这给出了一个比协方差强得多的检验工具：**协方差只检验 $g(x) = x$、$h(y) = y$ 这一对特例**。

**(3) 距离相关（distance correlation）**：把上面的想法推广，用 $\lvert x_i - x_j\rvert$ 这类「距离」代替乘积，得到的统计量 $\mathcal{R}$ 满足 $\mathcal{R} = 0 \iff$ 独立（对一切分布成立）。这是对「$\rho = 0$ 不蕴含独立」的现代修补，在实践中用于特征筛选。

> [!note] 一句话记住
> **协方差矩阵能看见的关系，只有线性的那一部分。** 想看见非线性关系，要么换个统计量（距离相关、互信息），要么给分布加假设（高斯、椭圆分布族）。

## 四、计算方法与步骤

### 4.1 手算样本协方差矩阵的步骤

1. **整理数据矩阵** $X \in \mathbb{R}^{n \times p}$（每行一个样本、每列一个变量）。
2. **逐列求均值** $\bar{x}_j = \frac{1}{n}\sum_{i=1}^n x_{ij}$，得到均值行 $\bar{\mathbf{x}}^{\mathrm{T}}$。
3. **中心化** $X_c = X - \mathbf{1}\bar{\mathbf{x}}^{\mathrm{T}}$（**这一步绝不能省**）。
4. **算 Gram 矩阵** $G = X_c^{\mathrm{T}}X_c \in \mathbb{R}^{p \times p}$，其 $(j,k)$ 元为 $\sum_i (x_{ij}-\bar{x}_j)(x_{ik}-\bar{x}_k)$。
5. **除以 $n-1$**：$S = \dfrac{G}{n-1}$。
6. **验证对称**：检查 $S^{\mathrm{T}} = S$（数值上应完全相等或差机器精度）。
7. **验证半正定**：求特征值，检查全部 $\ge 0$（可能出现 $-10^{-16}$ 量级的负值，属正常浮点误差）。
8. **求特征值与特征向量**：$\lambda_1 \ge \dots \ge \lambda_p$ 与对应的正交特征向量 $\mathbf{q}_i$。
9. **解释主轴**：$\mathbf{q}_1$ 是方差最大的方向，$\lambda_1$ 是沿它的方差；半轴长与 $\sqrt{\lambda_i}$ 成正比。

### 4.2 计算 $\mathbf{a}^{\mathrm{T}}\Sigma\mathbf{a}$ 的两条路

1. **矩阵路线**：直接算 $\mathbf{a}^{\mathrm{T}}\Sigma\mathbf{a}$。
2. **概率路线**：算 $\operatorname{Var}(\mathbf{a}^{\mathrm{T}}\mathbf{x})$（对数据就是 `np.var(Xc @ a, ddof=1)`）。
3. 两者必须相等——这是定理 2 的数值验证。

### 4.3 白化的步骤

1. 求 $\Sigma$ 的特征分解 $\Sigma = Q\Lambda Q^{\mathrm{T}}$（用 `np.linalg.eigh`，**专门用于对称矩阵**，比 `eig` 更稳更快）。
2. 检查所有 $\lambda_i > 0$；若有零特征值，白化不可逆，只能做「降维白化」（只对正特征值方向缩放）。
3. 构造 $W = \Lambda^{-1/2}Q^{\mathrm{T}}$（或对称版本 $\Sigma^{-1/2} = Q\Lambda^{-1/2}Q^{\mathrm{T}}$）。
4. 变换数据 $\mathbf{z} = W(\mathbf{x} - \boldsymbol{\mu})$。
5. 验证 $\operatorname{Cov}(\mathbf{z}) \approx I$。

## 五、例题

### 例题 1（完整计算样本协方差矩阵、验证性质、解释主轴）

**题目**：某班级测量 5 名学生的两门课成绩（已减去班级平均分后的「偏差分」），得数据

| 学生 | $x_1$（数学偏差） | $x_2$（物理偏差） |
|---|---|---|
| 1 | $-2$ | $4$ |
| 2 | $-1$ | $1$ |
| 3 | $0$ | $-1$ |
| 4 | $1$ | $-5$ |
| 5 | $2$ | $1$ |

求样本协方差矩阵 $S$，验证它对称、半正定，并解释主轴。

**解答**：

**第 1 步：中心化**。先算各列均值：

$$
\bar{x}_1 = \frac{-2-1+0+1+2}{5} = 0, \qquad \bar{x}_2 = \frac{4+1-1-5+1}{5} = 0
$$

均值恰好为 $0$，所以中心化后数据不变：$X_c = X$。

**第 2 步：算 Gram 矩阵 $G = X_c^{\mathrm{T}}X_c$**。

先算需要的和各列平方和与交叉积：

$$
\sum_i x_{i1}^2 = 4 + 1 + 0 + 1 + 4 = 10
$$

$$
\sum_i x_{i2}^2 = 16 + 1 + 1 + 25 + 1 = 44
$$

$$
\sum_i x_{i1}x_{i2} = (-2)(4) + (-1)(1) + (0)(-1) + (1)(-5) + (2)(1) = -8 - 1 + 0 - 5 + 2 = -12
$$

于是

$$
G = X_c^{\mathrm{T}}X_c = \begin{bmatrix} 10 & -12 \\ -12 & 44 \end{bmatrix}
$$

**第 3 步：除以 $n-1 = 4$**：

$$
S = \frac{1}{4}\begin{bmatrix} 10 & -12 \\ -12 & 44 \end{bmatrix} = \begin{bmatrix} 2.5 & -3 \\ -3 & 11 \end{bmatrix}
$$

**第 4 步：验证对称性**。$S_{12} = S_{21} = -3$，$S^{\mathrm{T}} = S$。✓

**第 5 步：验证半正定性**。主子式 $S_{11} = 2.5 > 0$，$\det S = 2.5 \times 11 - (-3)^2 = 27.5 - 9 = 18.5 > 0$。由 [[6-4-对称矩阵与正定矩阵]] 的判据（Sylvester 判据：各阶顺序主子式全正），$S$ **正定**。✓

**第 6 步：解释主轴**。求特征值，解特征方程

$$
\det(S - \lambda I) = (2.5-\lambda)(11-\lambda) - 9 = \lambda^2 - 13.5\lambda + 27.5 - 9 = \lambda^2 - 13.5\lambda + 18.5 = 0
$$

$$
\lambda = \frac{13.5 \pm \sqrt{13.5^2 - 4 \times 18.5}}{2} = \frac{13.5 \pm \sqrt{182.25 - 74}}{2} = \frac{13.5 \pm \sqrt{108.25}}{2}
$$

$\sqrt{108.25} \approx 10.4043$，故

$$
\lambda_1 \approx \frac{13.5 + 10.4043}{2} \approx 11.9522, \qquad \lambda_2 \approx \frac{13.5 - 10.4043}{2} \approx 1.5478
$$

**验证**：$\lambda_1 + \lambda_2 = 13.5 = \operatorname{tr}(S) = 2.5 + 11$ ✓；$\lambda_1\lambda_2 \approx 18.5 = \det S$ ✓。

**第 7 步：求特征向量**。对 $\lambda_1 \approx 11.9522$，解 $(S - \lambda_1 I)\mathbf{q} = \mathbf{0}$：

$$
\begin{bmatrix} 2.5 - 11.9522 & -3 \\ -3 & 11-11.9522\end{bmatrix}\begin{bmatrix} q_1 \\ q_2\end{bmatrix} = \begin{bmatrix} -9.4522 & -3 \\ -3 & -0.9522 \end{bmatrix}\begin{bmatrix} q_1 \\ q_2\end{bmatrix} = \mathbf{0}
$$

由第二行：$-3q_1 - 0.9522 q_2 = 0 \Rightarrow q_2 = -3.1506 q_1$。取 $q_1 = 1$ 得 $\mathbf{q} = (1, -3.1506)^{\mathrm{T}}$，归一化：

$$
\lVert \mathbf{q}\rVert = \sqrt{1 + 9.9263} = \sqrt{10.9263} \approx 3.3055
$$

$$
\mathbf{q}_1 \approx \begin{bmatrix} 0.3025 \\ -0.9532 \end{bmatrix}
$$

对 $\lambda_2 \approx 1.5478$，正交性给出 $\mathbf{q}_2 = (0.9532,\; 0.3025)^{\mathrm{T}}$（交换分量并变号，使其与 $\mathbf{q}_1$ 正交）。

> [!note] 特征向量的符号是自由的
> $\mathbf{q}$ 与 $-\mathbf{q}$ 描述同一条主轴，都是合法答案。本节采用「$\mathbf{q}_1$ 的第一分量为正」的约定；`np.linalg.eigh` 可能返回相反符号（第七节代码里输出的就是 $(-0.3025, 0.9531)^{\mathrm{T}}$），**换符号不改变任何结论**（$\lambda$ 不变、$Q^{\mathrm{T}}Q = I$ 不变、$WSW^{\mathrm{T}} = I$ 不变）。

**第 8 步：解释**。

- **第一主轴** $\mathbf{q}_1 \approx (0.303, -0.953)^{\mathrm{T}}$：数学与物理偏差**反方向**变化，方差 $\lambda_1 \approx 11.95$，占总方差的比例

$$
\frac{\lambda_1}{\lambda_1+\lambda_2} = \frac{11.9522}{13.5} \approx 0.885
$$

即约 $88.5\%$ 的变异由「数学好则物理差」这一个方向解释。

- **第二主轴** $\mathbf{q}_2 \approx (0.953, 0.303)^{\mathrm{T}}$：沿此方向两个偏差**同向**变化，方差仅 $\lambda_2 \approx 1.55$。

- **相关系数**（顺带验证）：

$$
r = \frac{S_{12}}{\sqrt{S_{11}S_{22}}} = \frac{-3}{\sqrt{2.5 \times 11}} = \frac{-3}{\sqrt{27.5}} = \frac{-3}{5.2440} \approx -0.5721
$$

这与「点云沿斜率为负的主轴拉长」一致。

### 例题 2（线性变换下的协方差与白化）

**题目**：承接例题 1，取 $S = \begin{bmatrix} 2.5 & -3 \\ -3 & 11\end{bmatrix}$。

(1) 设 $A = \begin{bmatrix} 1 & 1 \end{bmatrix}$，求 $\operatorname{Var}(x_1 + x_2)$（用样本协方差）。
(2) 设 $B = \begin{bmatrix} 2 & 0 \\ 0 & -1 \end{bmatrix}$，求 $\operatorname{Cov}(B\mathbf{x})$。
(3) 构造白化变换 $W$ 使 $WSW^{\mathrm{T}} = I$。

**解答**：

**(1)** 由定理 2 与定理 4：$\operatorname{Var}(A\mathbf{x}) = ASA^{\mathrm{T}} = \mathbf{a}^{\mathrm{T}}S\mathbf{a}$（$\mathbf{a} = (1,1)^{\mathrm{T}}$）。

$$
\mathbf{a}^{\mathrm{T}}S\mathbf{a} = \begin{bmatrix} 1 & 1 \end{bmatrix}\begin{bmatrix} 2.5 & -3 \\ -3 & 11 \end{bmatrix}\begin{bmatrix} 1 \\ 1 \end{bmatrix}
$$

先算 $S\mathbf{a}$：

$$
S\mathbf{a} = \begin{bmatrix} 2.5 - 3 \\ -3 + 11 \end{bmatrix} = \begin{bmatrix} -0.5 \\ 8 \end{bmatrix}
$$

再算内积：

$$
\mathbf{a}^{\mathrm{T}}(S\mathbf{a}) = 1 \times (-0.5) + 1 \times 8 = 7.5
$$

**直接验证**：数据 $x_1 + x_2$ 为 $2, 0, -1, -4, 3$，均值 $= 0$，偏差平方和 $= 4 + 0 + 1 + 16 + 9 = 30$，样本方差 $= 30/4 = 7.5$。✓

**(2)** 由定理 4，$\operatorname{Cov}(B\mathbf{x}) = BSB^{\mathrm{T}}$：

$$
BS = \begin{bmatrix} 2 & 0 \\ 0 & -1 \end{bmatrix}\begin{bmatrix} 2.5 & -3 \\ -3 & 11 \end{bmatrix} = \begin{bmatrix} 5 & -6 \\ 3 & -11 \end{bmatrix}
$$

$$
BSB^{\mathrm{T}} = \begin{bmatrix} 5 & -6 \\ 3 & -11 \end{bmatrix}\begin{bmatrix} 2 & 0 \\ 0 & -1 \end{bmatrix} = \begin{bmatrix} 10 & 6 \\ 6 & 11 \end{bmatrix}
$$

（对称 ✓，因为 $BSB^{\mathrm{T}}$ 永远对称。）注意方差被放大了：$B$ 把第一分量的尺度乘 $2$，方差乘 $4$（$2.5 \to 10$ ✓）。

**(3)** 用例题 1 的特征分解。$Q = \begin{bmatrix} 0.3025 & 0.9532 \\ -0.9532 & 0.3025\end{bmatrix}$，$\Lambda = \operatorname{diag}(11.9522,\; 1.5478)$。

$$
\Lambda^{-1/2} = \operatorname{diag}\left(\frac{1}{\sqrt{11.9522}},\; \frac{1}{\sqrt{1.5478}}\right) \approx \operatorname{diag}(0.2893,\; 0.8038)
$$

$$
W = \Lambda^{-1/2}Q^{\mathrm{T}} \approx \begin{bmatrix} 0.2893 & 0 \\ 0 & 0.8038\end{bmatrix}\begin{bmatrix} 0.3025 & -0.9532 \\ 0.9532 & 0.3025 \end{bmatrix} \approx \begin{bmatrix} 0.0875 & -0.2757 \\ 0.7661 & 0.2432 \end{bmatrix}
$$

（逐项验算：$0.2893\times 0.3025 \approx 0.0875$，$0.2893\times(-0.9532) \approx -0.2757$，$0.8038\times 0.9532 \approx 0.7661$，$0.8038\times 0.3025 \approx 0.2432$。）

**验证**：$WSW^{\mathrm{T}}$ 应等于 $I$。逐项验算一遍（用 $W\Sigma = \Lambda^{-1/2}Q^{\mathrm{T}}Q\Lambda Q^{\mathrm{T}} = \Lambda^{-1/2}\Lambda Q^{\mathrm{T}} = \Lambda^{1/2}Q^{\mathrm{T}}$）：

$$
\Lambda^{1/2}Q^{\mathrm{T}} \approx \begin{bmatrix} 3.4572 & 0 \\ 0 & 1.2441\end{bmatrix}\begin{bmatrix} 0.3025 & -0.9532 \\ 0.9532 & 0.3025\end{bmatrix} \approx \begin{bmatrix} 1.0458 & -3.2952 \\ 1.1858 & 0.3764\end{bmatrix}
$$

$$
WSW^{\mathrm{T}} = (WS)W^{\mathrm{T}} = \Lambda^{1/2}Q^{\mathrm{T}}\cdot W^{\mathrm{T}} = \Lambda^{1/2}\underbrace{Q^{\mathrm{T}}Q}_{I}\Lambda^{-1/2} = I
$$

✓（数值上 $WSW^{\mathrm{T}}$ 与 $I$ 的最大偏差约 $1.2\times 10^{-4}$，来自上面把 $Q$ 与 $\Lambda^{-1/2}$ 各自四舍五入到 4 位小数的误差；用未舍入的值计算时偏差是机器精度量级。）

**解读**：白化后的数据 $W\mathbf{x}$ 在各方向方差都为 $1$，点云变成圆（球）。这时的「距离」就是普通欧氏距离——这正是 [[12-3-多元高斯与加权最小二乘]] 中马氏距离的定义方式。

### 例题 3-补充（$5 \times 2$ 数据：手算 $S$、手算 $2\times2$ 特征值与主轴）

> [!example] 题目
> 测得 5 个样本、2 个变量的数据如下（每行一个样本）。
>
> | 样本 $i$ | $x_1$ | $x_2$ |
> |---|---|---|
> | 1 | $1$ | $2$ |
> | 2 | $3$ | $4$ |
> | 3 | $5$ | $3$ |
> | 4 | $7$ | $6$ |
> | 5 | $9$ | $8$ |
>
> 求：(1) 样本协方差矩阵 $S$；(2) $S$ 的特征值（**手算，不跳步**）；(3) 特征向量（主轴）与它们对应的样本方差；(4) 相关系数 $r$；(5) 主轴的倾角与第一主成分的方差占比；(6) 白化矩阵 $\Sigma^{-1/2}$。

**解答**：

**第 1 步：求列均值**。

$$
\sum_i x_{i1} = 1+3+5+7+9 = 25 \;\Rightarrow\; \bar{x}_1 = \frac{25}{5} = 5
$$

$$
\sum_i x_{i2} = 2+4+3+6+8 = 23 \;\Rightarrow\; \bar{x}_2 = \frac{23}{5} = 4.6
$$

**第 2 步：中心化**（逐元素减去对应列的均值）：

$$
X_c = \begin{bmatrix} 1-5 & 2-4.6 \\ 3-5 & 4-4.6 \\ 5-5 & 3-4.6 \\ 7-5 & 6-4.6 \\ 9-5 & 8-4.6 \end{bmatrix} = \begin{bmatrix} -4 & -2.6 \\ -2 & -0.6 \\ 0 & -1.6 \\ 2 & 1.4 \\ 4 & 3.4 \end{bmatrix}
$$

**验证中心化**：每一列之和为零：$(-4)+(-2)+0+2+4 = 0$ ✓，$(-2.6)+(-0.6)+(-1.6)+1.4+3.4 = 0$ ✓。

**第 3 步：算 $G = X_c^{\mathrm{T}}X_c$**。三个需要的量：

$$
\sum_i \tilde{x}_{i1}^2 = (-4)^2+(-2)^2+0^2+2^2+4^2 = 16+4+0+4+16 = 40
$$

$$
\sum_i \tilde{x}_{i2}^2 = (-2.6)^2+(-0.6)^2+(-1.6)^2+1.4^2+3.4^2 = 6.76+0.36+2.56+1.96+11.56 = 23.2
$$

$$
\sum_i \tilde{x}_{i1}\tilde{x}_{i2} = (-4)(-2.6)+(-2)(-0.6)+(0)(-1.6)+(2)(1.4)+(4)(3.4) = 10.4+1.2+0+2.8+13.6 = 28
$$

于是

$$
G = X_c^{\mathrm{T}}X_c = \begin{bmatrix} 40 & 28 \\ 28 & 23.2 \end{bmatrix}
$$

**第 4 步：除以 $n-1 = 4$**：

$$
S = \frac{1}{4}\begin{bmatrix} 40 & 28 \\ 28 & 23.2 \end{bmatrix} = \begin{bmatrix} 10 & 7 \\ 7 & 5.8 \end{bmatrix}
$$

**第 5 步：验证对称性与正定性**。$S_{12} = S_{21} = 7$ ✓。用 Sylvester 判据：$S_{11} = 10 > 0$，而

$$
\det S = 10 \times 5.8 - 7 \times 7 = 58 - 49 = 9 > 0
$$

故 $S$ **正定**（两个顺序主子式全正），$\operatorname{tr}S = 15.8$。

**第 6 步：手算特征值**。解特征方程：

$$
\det(S - \lambda I) = (10-\lambda)(5.8-\lambda) - 7\times 7 = 0
$$

逐项展开（**不要跳步**）：

$$
(10-\lambda)(5.8-\lambda) = 58 - 10\lambda - 5.8\lambda + \lambda^2 = \lambda^2 - 15.8\lambda + 58
$$

所以

$$
\lambda^2 - 15.8\lambda + 58 - 49 = \lambda^2 - 15.8\lambda + 9 = 0
$$

用求根公式：

$$
\lambda = \frac{15.8 \pm \sqrt{15.8^2 - 4\times 1 \times 9}}{2} = \frac{15.8 \pm \sqrt{249.64 - 36}}{2} = \frac{15.8 \pm \sqrt{213.64}}{2}
$$

计算 $\sqrt{213.64}$：因为 $14^2 = 196$、$15^2 = 225$，根在 $14$ 与 $15$ 之间。取 $14.6^2 = 213.16 < 213.64$，$14.62^2 = 213.7444 > 213.64$，故

$$
\sqrt{213.64} \approx 14.6164
$$

于是

$$
\lambda_1 = \frac{15.8 + 14.6164}{2} = \frac{30.4164}{2} \approx 15.2082, \qquad \lambda_2 = \frac{15.8 - 14.6164}{2} = \frac{1.1836}{2} \approx 0.5918
$$

**两个必须做的验证**：

$$
\lambda_1 + \lambda_2 = 15.2082 + 0.5918 = 15.8 = \operatorname{tr}S \quad\checkmark
$$

$$
\lambda_1\lambda_2 = 15.2082 \times 0.5918 \approx 9.0 = \det S \quad\checkmark
$$

（这两个恒等式来自「特征值之和等于迹、之积等于行列式」，见 [[6-1-特征值引论]]。它们是最省事的查错手段——**先验证再往下算**。）

**第 7 步：手算特征向量**。对 $\lambda_1 \approx 15.2082$，解 $(S - \lambda_1I)\mathbf{q} = \mathbf{0}$：

$$
\begin{bmatrix} 10 - 15.2082 & 7 \\ 7 & 5.8 - 15.2082 \end{bmatrix}\begin{bmatrix} q_1 \\ q_2 \end{bmatrix} = \begin{bmatrix} -5.2082 & 7 \\ 7 & -9.4082 \end{bmatrix}\begin{bmatrix} q_1 \\ q_2 \end{bmatrix} = \mathbf{0}
$$

取第一行：$-5.2082\,q_1 + 7\,q_2 = 0$，即

$$
q_2 = \frac{5.2082}{7}q_1 \approx 0.7440\,q_1
$$

所以 $\mathbf{v}_1 \propto (7,\; 5.2082)$，更整齐地写成（用 $\lambda_1 - 10 = 5.2082$）

$$
\mathbf{v}_1 = \begin{bmatrix} 7 \\ \lambda_1 - 10 \end{bmatrix}
$$

**归一化**：$\lVert\mathbf{v}_1\rVert = \sqrt{7^2 + 5.2082^2} = \sqrt{49 + 27.125} = \sqrt{76.125} \approx 8.7250$，于是

$$
\mathbf{q}_1 = \frac{1}{\sqrt{76.125}}\begin{bmatrix} 7 \\ 5.2082 \end{bmatrix} = \begin{bmatrix} 0.8023 \\ 0.5969 \end{bmatrix}
$$

**验证它就是特征向量**（乘开看看）：

$$
S\mathbf{q}_1 = \begin{bmatrix} 10 & 7 \\ 7 & 5.8 \end{bmatrix}\begin{bmatrix} 0.8023 \\ 0.5969 \end{bmatrix} = \begin{bmatrix} 10(0.8023) + 7(0.5969) \\ 7(0.8023) + 5.8(0.5969) \end{bmatrix} = \begin{bmatrix} 8.023 + 4.178 \\ 5.616 + 3.462 \end{bmatrix} = \begin{bmatrix} 12.201 \\ 9.078 \end{bmatrix}
$$

$$
\lambda_1\mathbf{q}_1 = 15.2082\begin{bmatrix} 0.8023 \\ 0.5969 \end{bmatrix} = \begin{bmatrix} 12.202 \\ 9.078 \end{bmatrix} \quad\checkmark
$$

对 $\lambda_2 \approx 0.5918$，同样由第一行得 $9.4082\,q_1 + 7\,q_2 = 0$，即 $q_1 = -0.7440\,q_2$，故

$$
\mathbf{q}_2 = \frac{1}{\sqrt{76.125}}\begin{bmatrix} -5.2082 \\ 7 \end{bmatrix} = \begin{bmatrix} -0.5969 \\ 0.8023 \end{bmatrix}
$$

**正交性验证**（正交矩阵必须满足）：

$$
\mathbf{q}_1^{\mathrm{T}}\mathbf{q}_2 = 0.8023\times(-0.5969) + 0.5969\times 0.8023 = 0 \quad\checkmark
$$

> [!tip] $2\times2$ 特征向量的速记法
> 对 $S = \begin{bmatrix} a & b \\ b & c\end{bmatrix}$，特征向量可取 $\begin{bmatrix} b \\ \lambda - a\end{bmatrix}$（对每个特征值各取一个）。本题 $b = 7$、$a = 10$，立刻得到 $(7, \lambda_1-10)$ 与 $(7, \lambda_2-10) = (7, -9.4082) \propto (-5.2082, 7)$，与上面的结果一致。**注意两个特征向量要各自归一化**（它们长度相同，因为都等于 $\sqrt{b^2 + (\lambda-a)^2}$，而 $\lambda_1$ 与 $\lambda_2$ 对称地分布在 $a$ 两侧……这里只是巧合，一般要分别算）。

**第 8 步：验证「特征值 = 沿主轴的方差」**。把 5 个样本投影到 $\mathbf{q}_1$ 上：

$$
X_c\mathbf{q}_1 = \begin{bmatrix} (-4)(0.8023) + (-2.6)(0.5969) \\ (-2)(0.8023) + (-0.6)(0.5969) \\ 0 + (-1.6)(0.5969) \\ 2(0.8023) + 1.4(0.5969) \\ 4(0.8023) + 3.4(0.5969) \end{bmatrix} = \begin{bmatrix} -4.7612 \\ -1.9627 \\ -0.9551 \\ 2.4402 \\ 5.2384 \end{bmatrix}
$$

平方求和：$22.669 + 3.852 + 0.912 + 5.955 + 27.441 = 60.829$，除以 $n-1 = 4$：

$$
\operatorname{Var}\left(\mathbf{q}_1^{\mathrm{T}}\mathbf{x}\right) = \frac{60.829}{4} \approx 15.207 \approx \lambda_1 \quad\checkmark
$$

同理投影到 $\mathbf{q}_2$ 得到方差 $\approx 0.5918 = \lambda_2$ ✓。（浮点出入来自上面把 $0.8023$ 等四舍五入到 4 位小数。）

**第 9 步：相关系数**。

$$
r = \frac{S_{12}}{\sqrt{S_{11}S_{22}}} = \frac{7}{\sqrt{10 \times 5.8}} = \frac{7}{\sqrt{58}} \approx \frac{7}{7.6158} \approx 0.9191
$$

**第 10 步：主轴的几何解释**。

- **第一主轴**：$\mathbf{q}_1 \approx (0.8023, 0.5969)$，倾角

$$
\arctan\frac{0.5969}{0.8023} = \arctan 0.7440 \approx 36.65^\circ
$$

  与 $x_1$ 轴成约 $36.65^\circ$，斜率约 $0.7440$。方差 $\lambda_1 \approx 15.21$，**占总方差的**

$$
\frac{\lambda_1}{\lambda_1 + \lambda_2} = \frac{15.2082}{15.8} \approx 0.9625
$$

  即 **$96.25\%$** 的变异由这一个方向解释——数据几乎是「一维」的。

- **第二主轴**：$\mathbf{q}_2 \approx (-0.5969, 0.8023)$，与 $\mathbf{q}_1$ 垂直，倾角约 $126.65^\circ$，方差仅 $\lambda_2 \approx 0.5918$（占 $3.75\%$）。

- 与 $r = 0.9191$ 的呼应：**相关系数越大，第一主成分占比越高**。一般地有

$$
\frac{\lambda_1}{\lambda_1+\lambda_2} = \frac{1}{2}\left(1 + \sqrt{1 - \frac{4\sigma_1^2\sigma_2^2(1-r^2)}{(\sigma_1^2+\sigma_2^2)^2}}\right)
$$

  当 $r = 0$ 且 $\sigma_1 = \sigma_2$ 时占比为 $\frac{1}{2}$（各向同性，没有主轴可言）；当 $\lvert r\rvert \to 1$ 时占比 $\to 1$（退化成一条直线）。

**第 11 步：白化矩阵** $\Sigma^{-1/2}$（对称版本）：

$$
\Sigma^{-1/2} = Q\Lambda^{-1/2}Q^{\mathrm{T}}, \qquad \Lambda^{-1/2} = \operatorname{diag}\left(\frac{1}{\sqrt{15.2082}},\; \frac{1}{\sqrt{0.5918}}\right) \approx \operatorname{diag}(0.2564,\; 1.2999)
$$

$$
\Sigma^{-1/2} \approx \begin{bmatrix} 0.8023 & -0.5969 \\ 0.5969 & 0.8023 \end{bmatrix}\begin{bmatrix} 0.2564 & 0 \\ 0 & 1.2999 \end{bmatrix}\begin{bmatrix} 0.8023 & 0.5969 \\ -0.5969 & 0.8023 \end{bmatrix} \approx \begin{bmatrix} 0.6283 & -0.4997 \\ -0.4997 & 0.9281 \end{bmatrix}
$$

**验证**：$\Sigma^{-1/2}S\Sigma^{-1/2}$ 应等于 $I$。数值上最大偏差约 $10^{-15}$（机器精度），而 $\Sigma^{-1/2}\Sigma^{-1/2} = S^{-1}$ 也成立 ✓。**注意这个矩阵是对称的**——它不是唯一的白化矩阵（任何 $U\Sigma^{-1/2}$ 都行，$U$ 正交），但它是对称的那一个，在 12-3 篇的广义最小二乘推导里最方便。

### 例题 4-补充（数值实验：定理 2、定理 4、定理 5、定理 7 全部验证一遍）

> [!example] 题目（数值实验）
> 用 numpy 对例题 3-补充 的数据做四组实验：
> (1) 验证 $\mathbf{a}^{\mathrm{T}}S\mathbf{a} = \operatorname{Var}(\mathbf{a}^{\mathrm{T}}\mathbf{x})$（定理 2）；
> (2) 验证特征值就是沿主轴的方差，并检查 $Q^{\mathrm{T}}Q = I$、$Q\Lambda Q^{\mathrm{T}} = S$；
> (3) 用矩形矩阵 $A$ 验证 $\operatorname{Cov}(A\mathbf{x}) = ASA^{\mathrm{T}}$（定理 4），并验证白化 $WSW^{\mathrm{T}} = I$（定理 5）；
> (4) 验证秩上界 $\operatorname{rank}(S)\le\min(n-1,p)$ 与奇异时的后果（定理 7）。
>
> 本示例只用 numpy，无需额外安装。

```python
import numpy as np

# ---------- 数据：例题 3-补充 ----------
X = np.array([[1.0, 2.0],
              [3.0, 4.0],
              [5.0, 3.0],
              [7.0, 6.0],
              [9.0, 8.0]])
n, p = X.shape
Xc = X - X.mean(axis=0)
S = Xc.T @ Xc / (n - 1)
print("S =\n", S)
print("det(S) =", np.linalg.det(S), "  tr(S) =", np.trace(S))

# ---------- 1. 定理 2：二次型 = 方差 ----------
print("\n--- 定理 2：a' S a = Var(a'x) ---")
for a in [np.array([1.0, 1.0]), np.array([1.0, -2.0]), np.array([0.6, 0.8])]:
    quad = a @ S @ a
    var = np.var(Xc @ a, ddof=1)
    print(f"a = {a}  a'Sa = {quad:.10f}  Var(a'x) = {var:.10f}  差 = {abs(quad-var):.2e}")

# ---------- 2. 特征值 = 沿主轴的方差；主轴的正交性 ----------
print("\n--- 特征分解 ---")
w, Q = np.linalg.eigh(S)          # 对称矩阵专用，升序返回
idx = np.argsort(w)[::-1]
w, Q = w[idx], Q[:, idx]
print("降序特征值 =", w)
print("特征向量(列) =\n", Q)
print("Q^T Q 与 I 的最大偏差 =", np.abs(Q.T @ Q - np.eye(p)).max())
print("Q Lam Q^T 与 S 的最大偏差 =", np.abs(Q @ np.diag(w) @ Q.T - S).max())
print("特征值之和 =", w.sum(), " (应等于迹", np.trace(S), ")")
print("特征值之积 =", w.prod(), " (应等于行列式", np.linalg.det(S), ")")
for i in range(p):
    qi = Q[:, i]
    print(f"沿主轴 {i} 的样本方差 = {np.var(Xc @ qi, ddof=1):.10f}"
          f"   特征值 = {w[i]:.10f}")
print("方差占比 =", w / w.sum())
print("相关系数 r =", S[0, 1] / np.sqrt(S[0, 0] * S[1, 1]),
      " np.corrcoef =", np.corrcoef(X, rowvar=False)[0, 1])

# ---------- 3. 定理 4：Cov(Ax) = A S A^T ----------
print("\n--- 定理 4：线性变换下的协方差 ---")
A = np.array([[1.0, 1.0],
              [2.0, -1.0],
              [0.0, 3.0]])          # 3x2，非方阵也可以
Y = Xc @ A.T
print("经验 Cov(Ax) =\n", np.cov(Y, rowvar=False))
print("理论 A S A^T =\n", A @ S @ A.T)
print("最大偏差 =", np.abs(np.cov(Y, rowvar=False) - A @ S @ A.T).max())

# 旋转 90 度：方差不变量应等于交换对角元
B = np.array([[0.0, -1.0], [1.0, 0.0]])
print("B S B^T =\n", B @ S @ B.T, "  (应等于交换 S 的两个对角元)")

# ---------- 4. 定理 5：白化 W S W^T = I ----------
print("\n--- 定理 5：白化 ---")
W = np.diag(1.0 / np.sqrt(w)) @ Q.T
print("W =\n", W)
print("W S W^T =\n", W @ S @ W.T)
print("与 I 的最大偏差 =", np.abs(W @ S @ W.T - np.eye(p)).max())
Sig_inv_sqrt = Q @ np.diag(1.0 / np.sqrt(w)) @ Q.T
print("对称 Sigma^{-1/2} =\n", Sig_inv_sqrt)
print("是否对称(最大偏差) =", np.abs(Sig_inv_sqrt - Sig_inv_sqrt.T).max())
print("Sigma^{-1/2} S Sigma^{-1/2} 与 I 的偏差 =",
      np.abs(Sig_inv_sqrt @ S @ Sig_inv_sqrt - np.eye(p)).max())
print("Sigma^{-1/2} Sigma^{-1/2} 与 S^{-1} 的偏差 =",
      np.abs(Sig_inv_sqrt @ Sig_inv_sqrt - np.linalg.inv(S)).max())
Zw = Xc @ Sig_inv_sqrt
print("白化后数据 =\n", np.round(Zw, 6))
print("白化后样本协方差 =\n", np.cov(Zw, rowvar=False))
print("每点的欧氏距离 =", np.round(np.linalg.norm(Zw, axis=1), 6))
print("每点的马氏距离 =",
      np.round(np.sqrt(np.einsum('ij,jk,ik->i', Xc, np.linalg.inv(S), Xc)), 6))
print("马氏距离平方之和 =",
      np.sum(np.einsum('ij,jk,ik->i', Xc, np.linalg.inv(S), Xc)))

# ---------- 5. 定理 7：秩上界与奇异 ----------
print("\n--- 定理 7：秩与奇异 ---")
rng = np.random.default_rng(seed=7)
for (nn, pp) in [(5, 2), (3, 5), (4, 4), (6, 6), (10, 5)]:
    D = rng.normal(size=(nn, pp))
    Dc = D - D.mean(axis=0)
    Sd = Dc.T @ Dc / (nn - 1)
    print(f"n={nn:2d} p={pp}: rank(S)={np.linalg.matrix_rank(Sd)}"
          f" <= min(n-1,p)={min(nn-1, pp)}  cond={np.linalg.cond(Sd):.3e}")

D = rng.normal(size=(4, 4))            # n = p = 4 仍然奇异！
Dc = D - D.mean(axis=0)
Sd = Dc.T @ Dc / 3
print("n=p=4 时 rank(S) =", np.linalg.matrix_rank(Sd), " <= 3")
try:
    inv = np.linalg.inv(Sd)
    print("inv 没有抛异常，但检查 ||S inv(S) - I|| =",
          np.abs(Sd @ inv - np.eye(4)).max(), " <- 完全不是单位阵")
except np.linalg.LinAlgError as e:
    print("np.linalg.inv 抛 LinAlgError:", e)
print("改用伪逆：||S pinv(S) S - S|| =",
      np.abs(Sd @ np.linalg.pinv(Sd) @ Sd - Sd).max())
print("正则化后 cond(S + 0.01 I) =", np.linalg.cond(Sd + 0.01 * np.eye(4)))
```

**运行结果（实测输出）**：

```
S =
 [[10.   7. ]
 [ 7.   5.8]]
det(S) = 8.999999999999998   tr(S) = 15.8

--- 定理 2：a' S a = Var(a'x) ---
a = [1. 1.]  a'Sa = 29.8000000000  Var(a'x) = 29.8000000000  差 = 0.00e+00
a = [ 1. -2.]  a'Sa = 5.2000000000  Var(a'x) = 5.2000000000  差 = 8.88e-16
a = [0.6 0.8]  a'Sa = 14.0320000000  Var(a'x) = 14.0320000000  差 = 3.55e-15

--- 特征分解 ---
降序特征值 = [15.20821456  0.59178544]
特征向量(列) =
 [[-0.80229293  0.59693053]
 [-0.59693053 -0.80229293]]
Q^T Q 与 I 的最大偏差 = 1.1102230246251565e-16
Q Lam Q^T 与 S 的最大偏差 = 1.7763568394002505e-15
特征值之和 = 15.800000000000002  (应等于迹 15.8 )
特征值之积 = 9.000000000000007  (应等于行列式 8.999999999999998 )
沿主轴 0 的样本方差 = 15.2082145562   特征值 = 15.2082145562
沿主轴 1 的样本方差 = 0.5917854438   特征值 = 0.5917854438
方差占比 = [0.96254523 0.03745477]
相关系数 r = 0.9191450300180578   np.corrcoef = 0.9191450300180578

--- 定理 4：线性变换下的协方差 ---
经验 Cov(Ax) =
 [[29.8 21.2 38.4]
 [21.2 17.8 24.6]
 [38.4 24.6 52.2]]
理论 A S A^T =
 [[29.8 21.2 38.4]
 [21.2 17.8 24.6]
 [38.4 24.6 52.2]]
最大偏差 = 7.105427357601002e-15
B S B^T =
 [[ 5.8 -7. ]
 [-7.  10. ]]

--- 定理 5：白化 ---
W =
 [[-0.20572821 -0.15306809]
 [ 0.77596414 -1.04291959]]
W S W^T 与 I 的最大偏差 = 5.551115123125783e-16
对称 Sigma^{-1/2} =
 [[ 0.62825097 -0.49974509]
 [-0.49974509  0.92809803]]
是否对称(最大偏差) = 5.551115123125783e-17
Sigma^{-1/2} S Sigma^{-1/2} 与 I 的偏差 = 4.440892098500626e-16
Sigma^{-1/2} Sigma^{-1/2} 与 S^{-1} 的偏差 = 1.7763568394002505e-15
白化后数据 =
 [[-1.213667 -0.414075]
 [-0.956655  0.442631]
 [ 0.799592 -1.484957]
 [ 0.556859  0.299847]
 [ 0.813871  1.156553]]
白化后样本协方差 =
 [[1.0000000e+00 4.0492586e-16]
 [4.0492586e-16 1.0000000e+00]]
每点的欧氏距离 = [1.282359 1.054093 1.686548 0.632456 1.414214]
每点的马氏距离 = [1.282359 1.054093 1.686548 0.632456 1.414214]
马氏距离平方之和 = 8.0

--- 定理 7：秩与奇异 ---
n= 5 p=2: rank(S)=2 <= min(n-1,p)=2  cond=7.230e+01
n= 3 p=5: rank(S)=2 <= min(n-1,p)=2  cond=1.582e+18
n= 4 p=4: rank(S)=3 <= min(n-1,p)=3  cond=8.340e+16
n= 6 p=6: rank(S)=5 <= min(n-1,p)=5  cond=1.289e+16
n=10 p=5: rank(S)=5 <= min(n-1,p)=5  cond=1.882e+01
n=p=4 时 rank(S) = 3  <= 3
n=p=4 时 cond(S) = 2.640678049268695e+16
inv 没有抛异常，但检查 ||S inv(S) - I|| = 0.5  <- 完全不是单位阵
改用伪逆：||S pinv(S) S - S|| = 8.881784197001252e-16
正则化后 cond(S + 0.01 I) = 269.7857353720953
```

**运行结果要点**：

1. **第 1 段**：三个不同 $\mathbf{a}$ 的 $\mathbf{a}^{\mathrm{T}}S\mathbf{a}$ 与「线性组合的样本方差」在 $10^{-15}$ 内相等，这就是定理 2 的数值形式——$\mathbf{a}^{\mathrm{T}}\Sigma\mathbf{a}$ **就是**一个方差，所以它不可能为负。
2. **第 2 段**：$Q^{\mathrm{T}}Q = I$、$Q\Lambda Q^{\mathrm{T}} = S$、$\lambda_1+\lambda_2 = \operatorname{tr}S$、$\lambda_1\lambda_2 = \det S$、$\operatorname{Var}(\mathbf{q}_i^{\mathrm{T}}\mathbf{x}) = \lambda_i$ 全部成立。注意 `eigh` 返回的 $\mathbf{q}_1$ 是 $(-0.8023, -0.5969)^{\mathrm{T}}$，与手算的 $(0.8023, 0.5969)^{\mathrm{T}}$ **整体差一个负号**——同一个主轴，结论不变（见 4.3 节的符号说明）。
3. **第 3 段**：经验协方差与 $ASA^{\mathrm{T}}$ 的最大偏差是**精确的 $0$**（本例用的是样本协方差，两者的代数恒等是精确的，不是近似的）。$B$ 是 $90^\circ$ 旋转，$BSB^{\mathrm{T}}$ 恰好把 $S$ 的两个对角元互换，体现了「旋转不改变总方差」。
4. **第 4 段**：白化后样本协方差是**精确的单位阵**（偏差 $\sim 10^{-16}$）。最有意思的是最后两行：**白化后每点的欧氏距离与原空间每点的马氏距离逐点完全相等**（$1.282359, 1.054093, 1.686548, 0.632456, 1.414214$）——这就是 [[12-3-多元高斯与加权最小二乘]] 里「马氏距离 = 先白化再算欧氏距离」的直接数值证据。并且马氏距离平方之和为 $8 = 2(n-1) = 2 \times 4$，符合「$n$ 个样本、$p$ 个变量时样本马氏距离平方之和恒为 $p(n-1)$」这一有趣的一般结论。
5. **第 5 段**：五种 $(n, p)$ 组合下 $\operatorname{rank}(S)\le\min(n-1,p)$ 全部成立；$n \le p$ 时条件数高达 $10^{16}\sim 10^{18}$（数值上等于无穷）；**$n = p = 4$ 时秩仍只有 $3$**（中心化消耗一个自由度），此时 `np.linalg.inv` 可能**不报错但给出完全错误的结果**（$\lVert S\,\mathrm{inv}(S) - I\rVert = 0.5$，而不是 $0$）。这是一个非常重要的警告：**判断奇异性不能只看「有没有抛异常」，要看条件数或残差**，稳妥做法是用 `pinv` 或加正则化。

### 例题 5-补充（两组观测方差相差 100 倍：加权最小二乘 vs 普通最小二乘）

> [!example] 题目
> 用两套精度悬殊的仪器测量同一个线性关系 $b = x_1 + x_2 t$（$x_1$ 是截距、$x_2$ 是斜率），得数据
>
> | 组 | $t_i$ | $b_i$ | 误差标准差 $\sigma_i$ | 方差 $\sigma_i^2$ |
> |---|---|---|---|---|
> | A（精密） | $0, 1, 2, 3$ | $2.02, 2.51, 2.98, 3.53$ | $0.1$ | $0.01$ |
> | B（粗糙） | $4, 5, 6, 7$ | $14.0, -8.0, 11.0, -1.0$ | $10$ | $100$ |
>
> 两组的方差相差 $\dfrac{100}{0.01} = 10^4$（即**标准差相差 $100$ 倍**）。(1) 写出设计矩阵 $A$ 与权重矩阵 $W$，解加权正规方程求 WLS 估计；(2) 求普通最小二乘 OLS 估计；(3) 比较两者的目标函数值、与真值 $(2, 0.5)$ 的偏差、以及两个估计量的协方差矩阵；(4) 说明「忽略精度差异」的实际危害。

**解答**：

**第 1 步：设计矩阵与权重矩阵**。

$$
A = \begin{bmatrix} 1 & 0 \\ 1 & 1 \\ 1 & 2 \\ 1 & 3 \\ 1 & 4 \\ 1 & 5 \\ 1 & 6 \\ 1 & 7 \end{bmatrix}, \qquad \mathbf{b} = \begin{bmatrix} 2.02 \\ 2.51 \\ 2.98 \\ 3.53 \\ 14.0 \\ -8.0 \\ 11.0 \\ -1.0 \end{bmatrix}, \qquad W = \operatorname{diag}\left(\frac{1}{\sigma_i^2}\right) = \operatorname{diag}(100, 100, 100, 100, 1, 1, 1, 1)
$$

**第 2 步：算 $A^{\mathrm{T}}WA$ 的四个元素**。由 $w_i$ 的取值（前四个 $100$，后四个 $1$）：

$$
\sum_i w_i = 4 \times 100 + 4 \times 1 = 404
$$

$$
\sum_i w_it_i = 100(0+1+2+3) + 1(4+5+6+7) = 600 + 22 = 622
$$

$$
\sum_i w_it_i^2 = 100(0+1+4+9) + 1(16+25+36+49) = 1400 + 126 = 1526
$$

所以

$$
A^{\mathrm{T}}WA = \begin{bmatrix} 404 & 622 \\ 622 & 1526 \end{bmatrix}
$$

$$
\det\left(A^{\mathrm{T}}WA\right) = 404 \times 1526 - 622^2 = 616504 - 386884 = 229620
$$

**第 3 步：算 $A^{\mathrm{T}}W\mathbf{b}$**。逐项（前四项乘 $100$，后四项乘 $1$）：

$$
\sum_i w_ib_i = 100(2.02 + 2.51 + 2.98 + 3.53) + (14.0 - 8.0 + 11.0 - 1.0) = 100 \times 11.04 + 16.0 = 1120
$$

$$
\sum_i w_it_ib_i = 100\left(0(2.02) + 1(2.51) + 2(2.98) + 3(3.53)\right) + \left(4(14.0) + 5(-8.0) + 6(11.0) + 7(-1.0)\right)
$$

先算两个括号：

$$
0 + 2.51 + 5.96 + 10.59 = 19.06, \qquad 56 - 40 + 66 - 7 = 75
$$

于是

$$
\sum_i w_it_ib_i = 1906 + 75 = 1981
$$

所以 $A^{\mathrm{T}}W\mathbf{b} = (1120,\; 1981)^{\mathrm{T}}$。

**第 4 步：解加权正规方程**（用 $2\times2$ 求逆公式）：

$$
\hat{\mathbf{x}}_{\mathrm{WLS}} = \frac{1}{229620}\begin{bmatrix} 1526 & -622 \\ -622 & 404 \end{bmatrix}\begin{bmatrix} 1120 \\ 1981 \end{bmatrix}
$$

分子两项：

$$
1526 \times 1120 - 622 \times 1981 = 1709120 - 1232182 = 476938
$$

$$
-622 \times 1120 + 404 \times 1981 = -696640 + 800324 = 103684
$$

所以

$$
\hat{x}_1^{\mathrm{WLS}} = \frac{476938}{229620} \approx 2.0771, \qquad \hat{x}_2^{\mathrm{WLS}} = \frac{103684}{229620} \approx 0.4515
$$

**第 5 步：OLS 对比**。不加权时

$$
A^{\mathrm{T}}A = \begin{bmatrix} 8 & 28 \\ 28 & 140 \end{bmatrix}, \qquad A^{\mathrm{T}}\mathbf{b} = \begin{bmatrix} 27.04 \\ 94.06 \end{bmatrix}, \qquad \det\left(A^{\mathrm{T}}A\right) = 8\times 140 - 28^2 = 336
$$

$$
\hat{\mathbf{x}}_{\mathrm{OLS}} = \frac{1}{336}\begin{bmatrix} 140 & -28 \\ -28 & 8 \end{bmatrix}\begin{bmatrix} 27.04 \\ 94.06 \end{bmatrix}
$$

分子：

$$
140 \times 27.04 - 28 \times 94.06 = 3785.6 - 2633.68 = 1151.92
$$

$$
-28 \times 27.04 + 8 \times 94.06 = -757.12 + 752.48 = -4.64
$$

$$
\hat{x}_1^{\mathrm{OLS}} = \frac{1151.92}{336} \approx 3.4283, \qquad \hat{x}_2^{\mathrm{OLS}} = \frac{-4.64}{336} \approx -0.0138
$$

**第 6 步：比较**。

| | 截距 $\hat{x}_1$ | 斜率 $\hat{x}_2$ | 与真值 $(2,\;0.5)$ 的偏差 |
|---|---|---|---|
| 真值 | $2$ | $0.5$ | — |
| **WLS**（逆方差加权） | $2.0771$ | $0.4515$ | $(0.0769,\; 0.0485)$ |
| **OLS**（等权） | $3.4283$ | $-0.0138$ | $(1.4283,\; 0.5138)$ |

**结论**：OLS 把斜率估成了**负数**（$-0.0138$，真值是 $+0.5$），方向都反了——因为它给方差大 $10^4$ 倍的粗糙观测与精密观测**同样的权**。WLS 的两个参数都紧贴真值。

**第 7 步：目标函数值**（加权残差平方和 $\sum_i w_ir_i^2$）：

| 代入的解 | 加权残差平方和 |
|---|---|
| WLS 解 | $3.4854$（最小） |
| 真值 $(2,\;0.5)$ | $3.5250$ |
| OLS 解 | $303.0975$ |

**两个值得注意的现象**：

(a) OLS 解的加权残差平方和是 WLS 解的 $\dfrac{303.0975}{3.4854} \approx 87$ 倍。OLS 也是「最小二乘」，但它最小化的是**不加权**的残差平方和，在正确的（加权）目标下毫无最优性可言。

(b) **真值的加权残差平方和略大于 WLS 解的**（$3.5250 > 3.4854$）。这不是矛盾：WLS 是 $J$ 的**极小值点**，真值只是一个好的候选，单次实现当然可能比不上极小点。**「无偏」是重复实验的平均性质，不是单次实现的保证**——这一点极容易混淆。

**第 8 步：两个估计量的协方差矩阵**（这一步最能说明「加权为什么值钱」）。

WLS 的协方差由 $W^{-1} = \operatorname{diag}(\sigma_i^2)$ 与定理 5 后的公式给出：

$$
\operatorname{Cov}\left(\hat{\mathbf{x}}_{\mathrm{WLS}}\right) = \left(A^{\mathrm{T}}WA\right)^{-1} = \frac{1}{229620}\begin{bmatrix} 1526 & -622 \\ -622 & 404 \end{bmatrix} \approx \begin{bmatrix} 0.006646 & -0.002709 \\ -0.002709 & 0.001759 \end{bmatrix}
$$

**OLS 的真实协方差**。注意：OLS 的教科书公式 $\sigma^2(A^{\mathrm{T}}A)^{-1}$ **只在同方差时成立**，这里必须用精确的「三明治」公式：

$$
\operatorname{Cov}\left(\hat{\mathbf{x}}_{\mathrm{OLS}}\right) = \left(A^{\mathrm{T}}A\right)^{-1}A^{\mathrm{T}}\Sigma A\left(A^{\mathrm{T}}A\right)^{-1}, \qquad \Sigma = \operatorname{diag}\left(\sigma_1^2,\dots,\sigma_m^2\right)
$$

先算中间的 $A^{\mathrm{T}}\Sigma A$（前四项乘 $0.01$，后四项乘 $100$）：

$$
A^{\mathrm{T}}\Sigma A = \begin{bmatrix} 0.04 + 400 & 0.06 + 2200 \\ 0.06 + 2200 & 0.14 + 12600 \end{bmatrix} = \begin{bmatrix} 400.04 & 2200.06 \\ 2200.06 & 12600.14 \end{bmatrix}
$$

（逐项验算：$\sum_i \sigma_i^2 = 4(0.01) + 4(100) = 400.04$；$\sum_i\sigma_i^2t_i = 0.01(0+1+2+3) + 100(4+5+6+7) = 0.06 + 2200 = 2200.06$；$\sum_i\sigma_i^2t_i^2 = 0.01(0+1+4+9) + 100(16+25+36+49) = 0.14 + 12600 = 12600.14$。）

代进去：

$$
\operatorname{Cov}\left(\hat{\mathbf{x}}_{\mathrm{OLS}}\right) = \frac{1}{336^2}\begin{bmatrix} 140 & -28 \\ -28 & 8 \end{bmatrix}\begin{bmatrix} 400.04 & 2200.06 \\ 2200.06 & 12600.14 \end{bmatrix}\begin{bmatrix} 140 & -28 \\ -28 & 8 \end{bmatrix} \approx \begin{bmatrix} 4.1704 & -1.7864 \\ -1.7864 & 1.1906 \end{bmatrix}
$$

**对比标准差（标准误）**：

| | 截距的标准误 | 斜率的标准误 |
|---|---|---|
| WLS | $0.0815$（代码 $0.0836$） | $0.0419$（代码 $0.0447$） |
| OLS | $2.0422$ | $1.0911$ |
| **比值（OLS / WLS）** | $25.1$（代码 $24.42$） | $26.0$（代码 $24.42$） |

**OLS 的标准误比 WLS 大 $25$ 倍左右，方差大 $600$ 倍以上。**

（表中的 WLS 标准误是用**四舍五入到 $6$ 位小数**的协方差矩阵算的：$\sqrt{0.006646} \approx 0.0815$、$\sqrt{0.001759} \approx 0.0419$。代码用未舍入的精确值算得到 $(0.08364,\; 0.04469)$；相应地 OLS 的精确值是 $(2.04216,\; 1.09114)$，方差比 = $596.119$、标准误比 = $24.42$。同一组数据的完整代码见 [[12-3-多元高斯与加权最小二乘]] 例题 5-补充。）

**这两个协方差矩阵的公式并排放**：

$$
\operatorname{Cov}\left(\hat{\mathbf{x}}_{\mathrm{WLS}}\right) = \left(A^{\mathrm{T}}WA\right)^{-1}, \qquad \operatorname{Cov}\left(\hat{\mathbf{x}}_{\mathrm{OLS}}\right) = \left(A^{\mathrm{T}}A\right)^{-1}\left(A^{\mathrm{T}}\Sigma A\right)\left(A^{\mathrm{T}}A\right)^{-1}
$$

**不存在**「$\operatorname{Cov}(\hat{\mathbf{x}}_{\mathrm{OLS}}) = c\cdot\operatorname{Cov}(\hat{\mathbf{x}}_{\mathrm{WLS}})$」这样的**通用**标量关系——两个矩阵一般不成比例，必须逐项比较。本例中逐项相除后发现三个比值**恰好都是 $596.12$**（确实成比例），但这是本例数据的特殊结构造成的，不能当成一般规律使用。

可靠的比较方式有两种：

1. **直接数值**：算两个 $2\times2$ 矩阵，逐项相比（本例两个对角元的比值都是 $596.12$，非对角元的比值也是 $596.12$）。
2. **通用结论（Aitken 定理）**：

$$
\operatorname{Cov}\left(\hat{\mathbf{x}}_{\mathrm{OLS}}\right) - \operatorname{Cov}\left(\hat{\mathbf{x}}_{\mathrm{WLS}}\right) \succeq 0
$$

  即**差矩阵半正定**，所以每个对角元（方差）都满足 $\operatorname{Var}_{\mathrm{OLS}} \ge \operatorname{Var}_{\mathrm{WLS}}$。这才是「加权不会更差」的精确、普适的陈述——**不依赖任何数值巧合**。

> [!important] 这个例子真正要记住的一句话
> **加权最小二乘在所有线性无偏估计中方差最小**（Aitken / Gauss–Markov 定理），而 OLS 只是「所有权重都取 $1$」的那个特例。当真实权重与 $1$ 相差很远时（本例 $\sigma_i^2$ 相差 $10^4$ 倍），OLS 就离开最优解很远——**估计仍然无偏，但方差可能大几百倍**。

**第 9 步：如果忽视异方差、硬套同方差公式，标准误会错得多离谱**。用 OLS 残差估计方差：

$$
s^2 = \frac{\sum_i r_i^2}{m - n} = \frac{322.3186}{8 - 2} \approx 53.72
$$

然后用同方差公式 $\widehat{\operatorname{Var}}(\hat{\mathbf{x}}) = s^2(A^{\mathrm{T}}A)^{-1}$：

$$
\widehat{\mathrm{se}}_{\text{错误}}(\hat{x}_1) = \sqrt{53.72 \times 0.4167} \approx 4.731, \qquad \widehat{\mathrm{se}}_{\text{错误}}(\hat{x}_2) = \sqrt{53.72 \times 0.002381} \approx 1.131
$$

而真实标准误是 $(2.0422,\; 1.0911)$。**截距的标准误被高估了 $2.32$ 倍**（$4.731 / 2.042 \approx 2.32$），而斜率的标准误只差 $3.7\%$——**同一个错误的公式，在不同参数上造成的偏差方向与幅度完全不同，事先无法预测**。这就是异方差的实际危害：它让「标准误」这个用来做检验与置信区间的量变得不可信。

（顺带说明：这个例子中假标准误**偏大**，会让本来显著的参数变得不显著；换一批数据完全可能**偏小**，把不可靠的估计说成高度显著。两种方向都出现过，唯一可靠的判断方式是使用正确的三明治公式或稳健标准误。）

> [!warning] 三个易错点
> 1. **加权与不加权的目标函数不同**，不能拿「谁的（未加权）残差平方和小」评判优劣。要比较的是**在同一个正确目标函数下的值**，以及估计量的协方差矩阵。
> 2. **OLS 不是「错」的**——它仍然无偏（$\mathbb{E}[\hat{\mathbf{x}}_{\mathrm{OLS}}] = \mathbf{x}$，因为 $\mathbb{E}[A^{\mathrm{T}}\boldsymbol{\varepsilon}] = \mathbf{0}$），只是在异方差下**不再是有效估计**（方差不是最小）。放弃已知的精度信息等于白扔效率。
> 3. **$\sigma^2(A^{\mathrm{T}}A)^{-1}$ 只在同方差且不相关时成立**。异方差下必须用三明治公式，否则标准误全错——这就是稳健标准误（heteroskedasticity-consistent standard errors）的由来。

### 例题 6-补充（证明题：$A\Sigma A^{\mathrm{T}}$ 的元素形式、白化不唯一性与 $\Sigma^{-1/2}$ 的对称性）

> [!example] 题目
> (1) 用**元素形式**（分量写法）重新证明定理 4：设 $\mathbf{y} = A\mathbf{x}$，证明 $(\operatorname{Cov}\mathbf{y})_{ij} = \sum_{k,l}a_{ik}a_{jl}\Sigma_{kl}$，即 $\operatorname{Cov}(\mathbf{y}) = A\Sigma A^{\mathrm{T}}$。
> (2) 证明：白化矩阵**不唯一**——若 $W$ 满足 $W\Sigma W^{\mathrm{T}} = I$，则对任意正交矩阵 $U$，$UW$ 也满足；并说明为什么在所有白化矩阵中 $\Sigma^{-1/2} = Q\Lambda^{-1/2}Q^{\mathrm{T}}$ 是**唯一的对称正定**解。
> (3) 设 $\mathbf{x}$ 的协方差为 $\Sigma \succ 0$，证明 $\operatorname{Cov}(\Sigma^{-1/2}\mathbf{x}) = I$，并说明 $\Sigma^{-1/2}$ 与「去相关」的关系。

**解答**：

**(1)** 记 $\mathbf{y}$ 的第 $i$ 个分量为 $y_i = \sum_k a_{ik}x_k$。由协方差的**双线性性**（12-1 篇定理 4 的多元版本，逐项展开即可）：

$$
(\operatorname{Cov}\mathbf{y})_{ij} = \operatorname{Cov}(y_i, y_j) = \operatorname{Cov}\left(\sum_k a_{ik}x_k,\; \sum_l a_{jl}x_l\right) = \sum_k\sum_l a_{ik}a_{jl}\operatorname{Cov}(x_k, x_l) = \sum_{k,l}a_{ik}a_{jl}\Sigma_{kl}
$$

**为什么双线性性可以直接用到这里**：协方差对每个自变量都是线性的（12-1 篇定理 4 已证，**不需要任何独立性**），所以有限和可以逐项拆开、常数系数可以提出来。写成矩阵形式：第 $(i,j)$ 元是「$A$ 的第 $i$ 行」「$\Sigma$」「$A^{\mathrm{T}}$ 的第 $j$ 列」的三重组合，即

$$
(A\Sigma A^{\mathrm{T}})_{ij} = \sum_k a_{ik}(\Sigma A^{\mathrm{T}})_{kj} = \sum_k a_{ik}\sum_l \Sigma_{kl}a_{jl} = \sum_{k,l}a_{ik}a_{jl}\Sigma_{kl} \quad\checkmark
$$

**这个证明的价值**：它不依赖任何矩阵分解，只用了「协方差双线性」这一条。即使 $\Sigma$ 奇异、$A$ 不是方阵，公式照样成立。

**(2) 白化的不唯一性**。设 $W\Sigma W^{\mathrm{T}} = I$，$U$ 为正交矩阵（$U^{\mathrm{T}}U = I$）。令 $\tilde W = UW$，则

$$
\tilde W\Sigma\tilde W^{\mathrm{T}} = UW\Sigma W^{\mathrm{T}}U^{\mathrm{T}} = U\,I\,U^{\mathrm{T}} = UU^{\mathrm{T}} = I \quad\checkmark
$$

所以**白化矩阵有无穷多个**，它们相差一个任意的正交变换。几何上很容易理解：白化把椭球变成球，但**球是对称的**——你可以在变成球之后再随便旋转，它还是球。所以「白化到单位协方差」这个要求**不能唯一确定变换**。

**为什么 $\Sigma^{-1/2}$ 是唯一的对称正定解**：设 $W$ 对称正定且 $W\Sigma W^{\mathrm{T}} = I$。则 $W\Sigma W = I$（用了 $W^{\mathrm{T}} = W$），两边左乘 $W^{-1}$、右乘 $W^{-1}$ 得 $\Sigma = W^{-1}W^{-1} = (W^{-1})^2$，即 $W^{-1}$ 是 $\Sigma$ 的**对称正定平方根**。而正定矩阵的对称正定平方根是**唯一**的（谱分解给出 $W^{-1} = Q\Lambda^{1/2}Q^{\mathrm{T}}$，故 $W = Q\Lambda^{-1/2}Q^{\mathrm{T}}$）。$\square$

**两者的取舍**：

| | $W = \Lambda^{-1/2}Q^{\mathrm{T}}$ | $\Sigma^{-1/2} = Q\Lambda^{-1/2}Q^{\mathrm{T}}$ |
|---|---|---|
| 是否对称 | 否 | **是** |
| 与 $\Sigma$ 是否可交换 | 否，但 $W\Sigma W^{\mathrm{T}} = I$ | **是**，$W\Sigma = \Sigma W$ |
| 用途 | 变换数据（一步到位） | 代入公式（如 GLS、马氏距离），因为对称性让 $W^{\mathrm{T}} = W$ 的推导最简洁 |

**(3)** 由定理 4（取 $A = \Sigma^{-1/2}$、$\mathbf{b} = \mathbf{0}$）：

$$
\operatorname{Cov}\left(\Sigma^{-1/2}\mathbf{x}\right) = \Sigma^{-1/2}\,\Sigma\,\left(\Sigma^{-1/2}\right)^{\mathrm{T}} = \Sigma^{-1/2}\Sigma\Sigma^{-1/2} = \Sigma^{-1/2}\Sigma^{1/2}\Sigma^{1/2}\Sigma^{-1/2} = I
$$

（中间用了 $\Sigma^{-1/2}$ 对称、且 $\Sigma^{-1/2}\Sigma^{1/2} = I$。）**这就是「去相关」的完整含义**：变换后各分量的协方差矩阵是单位阵，即**两两不相关且方差都为 $1$**。

> [!note] 顺带一个有用的推论
> 因为 $\operatorname{Cov}(\Sigma^{-1/2}\mathbf{x}) = I$，所以对任意向量 $\mathbf{v}$：
> $$\operatorname{Var}\left(\mathbf{v}^{\mathrm{T}}\Sigma^{-1/2}\mathbf{x}\right) = \mathbf{v}^{\mathrm{T}}I\mathbf{v} = \lVert\mathbf{v}\rVert^2$$
> 右边与 $\Sigma$ 完全无关。这正是「白化把问题变成标准欧氏几何」的确切含义，也是 12-3 篇里「马氏距离 = 白化后的欧氏距离」与「GLS = 白化后的 OLS」两条结论的共同根源。

### 例题 7-补充（思考题：$\Sigma$ 的特征值能否为负、条件数与判别分析）

> [!example] 题目
> (1) 一个矩阵 $M$ 若满足「对一切 $\mathbf{a}$ 有 $\mathbf{a}^{\mathrm{T}}M\mathbf{a}\ge 0$」是否一定是某个随机向量的协方差矩阵？给出构造。
> (2) 用 $2\times2$ 的情形证明：$\lambda_1\lambda_2 = \sigma_1^2\sigma_2^2(1-r^2)$，并由此判断 $|r| = 1$ 时 $\Sigma$ 的秩。
> (3) 某判别分析任务中 $p = 500$、$n = 200$。有人直接用 $\hat\Sigma_w^{-1}$，程序不但没报错，还给出了看起来合理的分类结果。用条件数解释发生了什么，并给出两种诊断办法。

**解答**：

**(1)** 由本篇 Q1 的思路：**任何半正定矩阵都是协方差矩阵**。构造如下。设 $M$ 半正定，取其对称平方根 $M^{1/2} = Q\Lambda^{1/2}Q^{\mathrm{T}}$（$\lambda_i \ge 0$，$\Lambda^{1/2}$ 用 $\sqrt{\lambda_i}$），令

$$
\mathbf{x} = M^{1/2}\mathbf{z}, \qquad \mathbf{z} = (z_1,\dots,z_n)^{\mathrm{T}}, \quad \mathbb{E}[\mathbf{z}] = \mathbf{0}, \quad \operatorname{Cov}(\mathbf{z}) = I
$$

（即各分量不相关、方差 $1$，例如标准正态向量或均匀取 $\pm 1$ 的向量。）则由定理 4：

$$
\operatorname{Cov}(\mathbf{x}) = M^{1/2}\,I\,\left(M^{1/2}\right)^{\mathrm{T}} = M^{1/2}M^{1/2} = M
$$

所以「半正定」与「是某个随机向量的协方差矩阵」是**同一件事**。反向（协方差矩阵必半正定）就是定理 2。

> [!important] 这条等价让我们可以「借」几何结论
> 想验证一个矩阵半正定，把它解释成协方差矩阵；想给协方差矩阵找一个具体模型，取 $\mathbf{x} = \Sigma^{1/2}\mathbf{z}$。这是 12-3 篇「由标准正态生成相关数据」的全部内容。

**(2)** 对 $2\times2$ 情形，$\Sigma = \begin{bmatrix} \sigma_1^2 & \rho\sigma_1\sigma_2 \\ \rho\sigma_1\sigma_2 & \sigma_2^2 \end{bmatrix}$（这里 $\rho = r$ 是相关系数，$S_{12} = r\sigma_1\sigma_2$）。于是

$$
\lambda_1\lambda_2 = \det\Sigma = \sigma_1^2\sigma_2^2 - (r\sigma_1\sigma_2)^2 = \sigma_1^2\sigma_2^2(1 - r^2)
$$

**这是「特征值之积 = 行列式」的直接应用**。由定理 2（$\lambda_i \ge 0$）立刻得到 $-1 \le r \le 1$；并且

- $\lvert r\rvert < 1$ 时 $\det\Sigma > 0$，两个特征值都严格为正，$\Sigma$ **正定**（秩为 $2$）；
- $\lvert r\rvert = 1$ 时 $\det\Sigma = 0$，有一个特征值为 $0$，$\Sigma$ **奇异**（秩为 $1$）。

**秩为 $1$ 意味着什么**：秩 $1$ 的 $2\times2$ 半正定矩阵可以写成 $\mathbf{v}\mathbf{v}^{\mathrm{T}}$，于是 $\mathbf{x}$ 的**全部随机性集中在一个方向**上——这正是「$x_2 = a + bx_1$ 几乎必然成立」的图像。换句话说，**$|r| = 1$ 时点云退化成一条直线**（不再是二维分布）。这与 12-1 篇定理 5 的等号条件完全一致：两个视角得到同一个结论。

**(3) 条件数的解释**。$p = 500 > n - 1 = 199$，由定理 7，$\operatorname{rank}(\hat\Sigma_w) \le 199 < 500$，所以 $\hat\Sigma_w$ **必然奇异**——理论上根本不可逆。

那为什么程序没报错？因为数值线性代数不会告诉你「这个矩阵是奇异的」，它只会告诉你「这个矩阵条件数极大」。`np.linalg.inv` 内部是 LU 分解，只要某个主元在浮点意义下不是精确的 $0$（例如 $10^{-17}$），除法就能做下去，只是结果被误差彻底淹没：相对误差大致按 $\kappa(\hat\Sigma_w)\cdot\varepsilon_{\text{mach}}$ 放大（$\varepsilon_{\text{mach}}\approx 2.2\times10^{-16}$）。若 $\kappa \sim 10^{16}$，求逆结果**一位有效数字都没有**。最终得到的判别方向 $\mathbf{w}\propto\hat\Sigma_w^{-1}(\boldsymbol{\mu}_1-\boldsymbol{\mu}_0)$ 实际上主要由舍入噪声决定。

**两种诊断办法**：

1. **看条件数**：`np.linalg.cond(Sigma_hat)`。经验阈值：$\kappa > 10^{10}$ 视为数值奇异，$\kappa > 10^{6}$ 应警惕（详见 [[11-2-范数与条件数]]）。
2. **看秩与特征值谱**：`np.linalg.matrix_rank(Sigma_hat)` 应等于 $p$ 才可逆；再看 `np.linalg.eigvalsh` 的最小特征值与最大特征值。**更稳妥的做法是根本不要显式求逆**，改用 `np.linalg.solve`（解方程比求逆稳定），或者干脆用伪逆/正则化。

> [!warning] 「跑通了」不等于「算对了」
> 数值线性代数里最危险的情形不是「报错」，而是「悄悄给出错误答案」。奇异矩阵求逆就是典型例子：它通常**不报错**，只是结果毫无意义。防御性编程的三条习惯：
> 1. 关键矩阵求逆前先查 `cond` 与 `matrix_rank`；
> 2. 用 `solve` 代替 `inv`（[[11-1-数值稳定性与LU]] 的核心建议）；
> 3. 用「残差」当验收标准：算完 $\hat{\mathbf{x}}$ 后检查 $\lVert M\hat{\mathbf{x}} - \mathbf{b}\rVert$ 是否小，而不是相信 `inv` 没抛异常。

## 六、应用

| 场景 | 用的结构 |
|---|---|
| PCA 降维 | $\Sigma$ 的特征值排序、保留前 $k$ 个主成分（[[7-3-主成分分析PCA]]） |
| 马氏距离 / 异常检测 | $(\mathbf{x}-\boldsymbol{\mu})^{\mathrm{T}}\Sigma^{-1}(\mathbf{x}-\boldsymbol{\mu})$ 度量「多少个标准差之外」 |
| 线性判别分析（LDA） | 类内散度矩阵 $\Sigma_w^{-1}$ 与类间散度矩阵之比（Fisher 判别） |
| 投资组合优化 | 组合方差 $\mathbf{w}^{\mathrm{T}}\Sigma\mathbf{w}$，Markowitz 均值—方差模型 |
| 卡尔曼滤波 | 状态协方差矩阵的传播 $A\Sigma A^{\mathrm{T}} + Q$（正是定理 4） |
| 数据标准化 / z-score | 对角线元素的平方根缩放，即「只做 $\Lambda^{-1/2}$ 不做旋转」 |
| 生成相关随机数 | $\mathbf{x} = \boldsymbol{\mu} + \Sigma^{1/2}\mathbf{z}$，$\mathbf{z} \sim N(\mathbf{0}, I)$（定理 4 的逆用） |
| 实验设计 / 参数不确定性 | $\operatorname{Cov}(\hat{\boldsymbol{\theta}})$ 给出参数估计的置信椭球 |

**投资组合的例子（说明「相关性为什么值钱」）**：两只资产方差都是 $\sigma^2 = 0.04$（标准差 $20\%$），相关系数 $\rho$。等权组合方差为

$$
\operatorname{Var}\left(\tfrac{1}{2}x_1 + \tfrac{1}{2}x_2\right) = \frac{1}{4}\sigma^2 + \frac{1}{4}\sigma^2 + 2\cdot\frac{1}{4}\rho\sigma^2 = \frac{\sigma^2}{2}(1+\rho)
$$

| $\rho$ | 组合方差 | 组合标准差 |
|---|---|---|
| $1.0$ | $0.04$ | $20.0\%$ |
| $0.5$ | $0.03$ | $17.3\%$ |
| $0.0$ | $0.02$ | $14.1\%$ |
| $-0.5$ | $0.01$ | $10.0\%$ |
| $-1.0$ | $0.00$ | $0\%$ |

$\rho$ 从 $1$ 降到 $-1$，组合风险从 $20\%$ 一路降到 $0$——这就是「分散化（diversification）免费午餐」的线性代数解释：**风险由二次型 $\mathbf{w}^{\mathrm{T}}\Sigma\mathbf{w}$ 决定，而非对角元之和。**

## 七、可运行代码示例

本示例只用 numpy，无需额外安装。

```python
import numpy as np

# ---------- 1. 例题 1 的数据：手算 vs np.cov ----------
X = np.array([[-2.,  4.],
              [-1.,  1.],
              [ 0., -1.],
              [ 1., -5.],
              [ 2.,  1.]])
n, p = X.shape
Xc = X - X.mean(axis=0)                 # 中心化（关键一步！）
S_manual = Xc.T @ Xc / (n - 1)          # X_c^T X_c / (n-1)
S_numpy = np.cov(X, rowvar=False)       # 注意 rowvar=False：列是变量
print("手算样本协方差矩阵:\n", S_manual)
print("np.cov(rowvar=False):\n", S_numpy)
print("最大差值:", np.abs(S_manual - S_numpy).max())

# ---------- 2. 验证对称性与半正定性 ----------
print("\n对称性检查 (S - S.T).max():", np.abs(S_manual - S_manual.T).max())
eigvals = np.linalg.eigvalsh(S_manual)  # eigh 系列专用于对称矩阵
print("特征值:", eigvals)
print("全部 >= 0 ?", np.all(eigvals >= -1e-10))   # 用容差，容忍浮点误差
print("行列式:", np.linalg.det(S_manual), " 迹:", np.trace(S_manual))
print("特征值之和 =", eigvals.sum(), " (应等于迹)")
print("特征值之积 =", eigvals.prod(), " (应等于行列式)")

# ---------- 3. 二次型 = 方差（定理 2 的数值验证）----------
rng = np.random.default_rng(seed=12)
for a in [np.array([1., 1.]), np.array([2., -1.]), np.array([0.3, 0.7])]:
    quadratic = a @ S_manual @ a
    variance = np.var(Xc @ a, ddof=1)   # 直接算线性组合的样本方差
    print(f"a={a}  a' S a = {quadratic:.10f}   Var(a'x) = {variance:.10f}")

# ---------- 4. 特征向量 = 主轴，特征值 = 沿主轴的方差 ----------
w, Q = np.linalg.eigh(S_manual)         # 升序返回
idx = np.argsort(w)[::-1]               # 改成降序
w, Q = w[idx], Q[:, idx]
print("\n降序特征值:", w)
print("特征向量(列):\n", Q)
print("正交性 Q.T @ Q:\n", np.round(Q.T @ Q, 12))
for i in range(p):
    qi = Q[:, i]
    print(f"沿主轴 {i} 的样本方差 = {np.var(Xc @ qi, ddof=1):.6f}  "
          f"特征值 = {w[i]:.6f}")
print("方差占比:", w / w.sum())
print("相关系数 r =", S_manual[0, 1] / np.sqrt(S_manual[0, 0] * S_manual[1, 1]))
print("np.corrcoef  r =", np.corrcoef(X, rowvar=False)[0, 1])

# ---------- 5. 线性变换 Cov(Ax) = A Sigma A^T （定理 4）----------
A = np.array([[2., 0.],
              [0., -1.],
              [1., 1.]])
Y = Xc @ A.T                            # 变换后的中心化数据
cov_empirical = np.cov(Y, rowvar=False)
cov_theory = A @ S_manual @ A.T
print("\n经验协方差 Cov(Ax):\n", cov_empirical)
print("理论值 A Sigma A^T:\n", cov_theory)
print("最大差值:", np.abs(cov_empirical - cov_theory).max())

# ---------- 6. 白化 W = Lambda^{-1/2} Q^T ----------
W = np.diag(1.0 / np.sqrt(w)) @ Q.T
print("\n白化矩阵 W:\n", np.round(W, 4))
Z = Xc @ W.T
print("白化后协方差 (应为 I):\n", np.round(np.cov(Z, rowvar=False), 12))
print("WSW^T 与 I 的最大偏差:", np.abs(W @ S_manual @ W.T - np.eye(p)).max())

# 用例题 2(3) 中四舍五入到 4 位小数的 Q 与 Lambda 复算，偏差量级约 1e-5
Q_rounded = np.array([[0.3025, 0.9532], [-0.9532, 0.3025]])
w_rounded = np.array([11.9522, 1.5478])
W_rounded = np.diag(1.0 / np.sqrt(w_rounded)) @ Q_rounded.T
print("W(用 4 位小数) =\n", np.round(W_rounded, 4))
print("此时 WSW^T 与 I 的最大偏差:", np.abs(W_rounded @ S_manual @ W_rounded.T - np.eye(p)).max())

# 对称版本 Sigma^{-1/2} = Q Lambda^{-1/2} Q^T
Sig_inv_sqrt = Q @ np.diag(1.0 / np.sqrt(w)) @ Q.T
print("Sigma^{-1/2} Sigma Sigma^{-1/2} 与 I 的偏差:",
      np.abs(Sig_inv_sqrt @ S_manual @ Sig_inv_sqrt - np.eye(p)).max())
print("Sigma^{-1/2} 是否对称:", np.abs(Sig_inv_sqrt - Sig_inv_sqrt.T).max())

# ---------- 7. 秩与奇异性：n <= p 时必然奇异 ----------
rng = np.random.default_rng(seed=7)
for (nn, pp) in [(5, 2), (3, 5), (10, 5), (4, 4)]:
    D = rng.normal(size=(nn, pp))
    Dc = D - D.mean(axis=0)
    Sd = Dc.T @ Dc / (nn - 1)
    r = np.linalg.matrix_rank(Sd)
    cond = np.linalg.cond(Sd)
    print(f"n={nn:2d}, p={pp}: rank(S)={r}  <= min(n-1,p)={min(nn-1,pp)}  "
          f"cond={cond:.3e}  det={np.linalg.det(Sd):.3e}")

# 奇异时求逆会失败或给出荒谬结果
D = rng.normal(size=(4, 4))
Dc = D - D.mean(axis=0)
Sd = Dc.T @ Dc / 3
print("\nn=p=4 时 rank(S) =", np.linalg.matrix_rank(Sd), " <= 3")
try:
    inv = np.linalg.inv(Sd)
    print("inv 居然成功了, 但 ||S @ inv - I|| =", np.abs(Sd @ inv - np.eye(4)).max())
except np.linalg.LinAlgError as e:
    print("np.linalg.inv 抛出 LinAlgError:", e)
print("改用伪逆 pinv, ||S @ pinv(S) @ S - S|| =",
      np.abs(Sd @ np.linalg.pinv(Sd) @ Sd - Sd).max())

# ---------- 8. 不相关但不独立：Sigma 对角（定理 6 的反例）----------
rng = np.random.default_rng(seed=2026)
Xa = rng.choice([-1, 0, 1], size=200000, p=[1/3, 1/3, 1/3])
Ya = Xa ** 2
D = np.column_stack([Xa, Ya])
Sd = np.cov(D, rowvar=False)
print("\n反例的样本协方差矩阵:\n", Sd)
print("非对角元 (应接近 0):", Sd[0, 1])
print("但 P(X=1,Y=1) =", np.mean((Xa == 1) & (Ya == 1)),
      " vs P(X=1)P(Y=1) =", np.mean(Xa == 1) * np.mean(Ya == 1))
print("=> Sigma 对角, 但两变量不独立")
```

**运行结果要点**：

1. 第 1 段手算结果应为 $\begin{bmatrix} 2.5 & -3 \\ -3 & 11\end{bmatrix}$，与 `np.cov` 完全一致（注意 `rowvar=False`）。
2. 第 3 段中 $\mathbf{a}^{\mathrm{T}}S\mathbf{a}$ 与「线性组合的样本方差」在 $10^{-15}$ 内相等，验证定理 2。
3. 第 4 段每个主轴的样本方差都等于对应特征值，$Q^{\mathrm{T}}Q = I$，验证「特征值 = 沿主轴的方差」。
4. 第 5 段经验协方差与 $ASA^{\mathrm{T}}$ 相等，验证定理 4。
5. 第 7 段中 $n \le p$ 的两种情形 `rank(S)` 都 $< p$，$S$ 奇异；$n = p = 4$ 时秩仍只有 $3$（因为中心化消耗一个自由度），`np.linalg.inv` 抛异常而 `pinv` 仍然可用。
6. 第 8 段非对角元接近 $0$（抽样波动 $\sim 10^{-3}$），但联合概率与边缘概率之积明显不等。

## 八、易错点

> [!warning] 六个高频错误
> 1. **忘记中心化**。$\frac{1}{n-1}X^{\mathrm{T}}X$ 只有在列均值为 $0$ 时才等于样本协方差矩阵。若没中心化，得到的是**二阶矩矩阵** $\mathbb{E}[\mathbf{x}\mathbf{x}^{\mathrm{T}}]$ 的估计，与真正的 $\Sigma$ 差一个 $\boldsymbol{\mu}\boldsymbol{\mu}^{\mathrm{T}}$。**这是代码里最常见的 bug**：数据带一个很大的常数偏移时，协方差矩阵会「凭空」出现巨大的正相关。
> 2. **用 $n$ 而非 $n-1$**。$\frac{1}{n}X_c^{\mathrm{T}}X_c$ 是**有偏**的（这是 $\Sigma$ 的极大似然估计）。`np.cov` 默认 `bias=False` 即除以 $n-1$；想除以 $n$ 要写 `np.cov(X, bias=True)` 或 `ddof=0`。
> 3. **以为 $\Sigma$ 一定可逆**。$\Sigma$ 只是**半**正定。只要某个分量是其他分量的线性组合，或者样本数不超过变量数（$n \le p$），$\Sigma$ 就奇异。此时 $\Sigma^{-1}$、$|\Sigma|^{-1/2}$、马氏距离、多元高斯密度、LDA 全部失效，必须降维、正则化（$\Sigma + \lambda I$）或用伪逆。
> 4. **把不相关当独立**。$\Sigma$ 对角只说明**没有线性关联**。除多元高斯外，「不相关」推不出「独立」（$Y = X^2$ 就是反例）。要把 $\Sigma$ 对角的结论用在「能不能把联合分布拆成乘积」上，必须先确认高斯假设（见 [[12-3-多元高斯与加权最小二乘]]）。
> 5. **量纲不同时直接比较协方差**。身高（厘米）与体重（千克）的协方差数值受单位支配：把身高从「米」换成「厘米」会让相关的那一项乘以 $100$。比较「哪个方向变异大」必须用**相关系数矩阵**（无量纲）或先把各变量标准化；比较主轴方向的方差占比时也要小心单位。
> 6. **用 `np.linalg.eig` 而不是 `eigh` 处理 $\Sigma$**。$\Sigma$ 是对称矩阵，`eigh` 利用对称性，更快、更稳，而且返回**实**特征值并按升序排列。用 `eig` 可能得到复数（形如 $1.0 + 0j$）与未排序的结果，`argsort` 之后还容易搞错从大到小还是从小到大。

## 九、练习题

**练习 1（基础）**：设 $\mathbf{x} = (x_1, x_2)^{\mathrm{T}}$ 的协方差矩阵为 $\Sigma = \begin{bmatrix} 4 & 2 \\ 2 & 9\end{bmatrix}$。求 $\operatorname{Var}(x_1 + x_2)$、$\operatorname{Var}(x_1 - x_2)$ 与 $\rho_{12}$。

**练习 2（基础）**：设 $\boldsymbol{\mu} = (1, -1)^{\mathrm{T}}$，$\Sigma = \begin{bmatrix} 1 & 0 \\ 0 & 4\end{bmatrix}$。写出 $\mathbf{x}^{\mathrm{T}}\Sigma^{-1}\mathbf{x} = 9$ 所定义的椭球（中心、半轴方向、半轴长），并用 $\mathbf{x} = \boldsymbol{\mu} + \mathbf{z}$ 说明它与中心在原点的版本的关系。

**练习 3（进阶）**：设 $\mathbf{x} = (x_1, x_2, x_3)^{\mathrm{T}}$ 的协方差矩阵为

$$
\Sigma = \begin{bmatrix} 2 & 1 & 1 \\ 1 & 2 & 1 \\ 1 & 1 & 2 \end{bmatrix}
$$

(1) 求 $\Sigma$ 的全部特征值与特征向量。 (2) 判断 $\Sigma$ 是否正定；若不正定，找出一个非零向量 $\mathbf{a}$ 使 $\mathbf{a}^{\mathrm{T}}\Sigma\mathbf{a} = 0$ 并解释其概率含义。

**练习 4（进阶）**：用定理 4 与定理 5 证明：若 $\operatorname{Cov}(\mathbf{x}) = \Sigma \succ 0$，则 $\operatorname{Cov}(\Sigma^{-1/2}\mathbf{x}) = I$。再说明为什么 $\Sigma^{-1/2}$ 是最「自然」的白化矩阵（提示：在所有满足 $W\Sigma W^{\mathrm{T}} = I$ 的 $W$ 中，$\Sigma^{-1/2}$ 是对称的那个；对比 $W = \Lambda^{-1/2}Q^{\mathrm{T}}$，它是正交矩阵乘对称矩阵）。

**练习 5（思考）**：设 $n$ 个样本、$p$ 个变量，且 $n \le p$。证明 $\det S = 0$，并说明为什么此时「多元高斯密度」没有定义。给出至少两种补救方案并比较它们的优缺点。

**练习 6（思考）**：两个变量 $x_1, x_2$ 的相关系数为 $\rho$。用 $2\times2$ 协方差矩阵的特征值证明：$\lambda_1\lambda_2 = \sigma_1^2\sigma_2^2(1-\rho^2)$，并由此解释为什么 $|\rho| = 1$ 时 $\Sigma$ 奇异。

## 十、常见问题 FAQ

**Q1：协方差矩阵为什么一定是半正定的？能不能给出一个「一眼看懂」的理由？**

A：因为 $\mathbf{a}^{\mathrm{T}}\Sigma\mathbf{a}$ **就是** $\operatorname{Var}(\mathbf{a}^{\mathrm{T}}\mathbf{x})$，而方差永远不小于零。不需要任何矩阵论知识。反过来说，任何半正定矩阵都能写成某个随机向量的协方差矩阵（取 $\mathbf{x} = \Sigma^{1/2}\mathbf{z}$，$\mathbf{z}$ 各分量独立同方差 $1$），所以「半正定」与「是协方差矩阵」是同一件事。

**Q2：为什么 $\Sigma$ 的特征向量就是数据的「主轴」？**

A：因为 $\Sigma$ 是实对称矩阵，可正交对角化 $\Sigma = Q\Lambda Q^{\mathrm{T}}$。令 $\mathbf{y} = Q^{\mathrm{T}}\mathbf{x}$，则 $\operatorname{Cov}(\mathbf{y}) = \Lambda$ 是对角阵，各分量不相关，$\operatorname{Var}(y_i) = \lambda_i$。也就是说 $Q$ 把坐标系转到了「数据沿各坐标轴互不相关」的方向上，而这些方向正是数据云伸展/压扁的方向，也就是主轴。$\lambda_i$ 越大，数据沿 $\mathbf{q}_i$ 铺得越开。

**Q3：样本协方差矩阵为什么是 $\frac{1}{n-1}X_c^{\mathrm{T}}X_c$，而不是除以 $n$？**

A：为了无偏性。与第 12-1 篇中 $S^2$ 用 $n-1$ 的理由完全相同：中心化时把 $\boldsymbol{\mu}$ 换成 $\bar{\mathbf{x}}$ 会消耗一个自由度，使 $X_c^{\mathrm{T}}X_c$ 的期望变成 $(n-1)\Sigma$ 而不是 $n\Sigma$。除以 $n-1$ 恰好补回来。`np.cov` 默认就是这么做的。

**Q4：白化和 PCA 到底差在哪？**

A：**PCA 只做旋转，白化还要拉伸**。PCA 的输出 $\mathbf{y} = Q^{\mathrm{T}}\mathbf{x}$ 的协方差是 $\Lambda$（对角但不等于 $I$），保留了各主成分的方差大小，目的是**降维**（丢掉 $\lambda$ 很小的方向）。白化的输出 $\mathbf{z} = \Lambda^{-1/2}Q^{\mathrm{T}}\mathbf{x}$ 的协方差是 $I$，各方向方差都为 $1$，目的是**去相关 + 统一尺度**（常用于优化问题的预处理与独立成分分析）。白化 = PCA + 缩放。

**Q5：$\Sigma$ 的特征值能不能是负数？**

A：数理上**不能**——半正定性保证了 $\lambda_i \ge 0$。但**数值计算时可能得到 $-10^{-16}$ 量级的小负数**，这是浮点舍入误差，不是理论问题。判断「是否半正定」时应该用容差，例如 `np.all(eigvals >= -1e-10 * max(1.0, eigvals.max()))`，而不是严格比较 `>= 0`。

## 本篇小结

### 核心结论（十二条）

1. **定义**：$\Sigma = \operatorname{Cov}(\mathbf{x}) = \mathbb{E}[(\mathbf{x}-\boldsymbol{\mu})(\mathbf{x}-\boldsymbol{\mu})^{\mathrm{T}}]$，第 $(i,j)$ 元是 $\operatorname{Cov}(x_i,x_j)$；等价形式 $\Sigma = \mathbb{E}[\mathbf{x}\mathbf{x}^{\mathrm{T}}] - \boldsymbol{\mu}\boldsymbol{\mu}^{\mathrm{T}}$。
2. **对称**：$\Sigma^{\mathrm{T}} = \Sigma$（协方差本身的对称性）。
3. **半正定**：$\mathbf{a}^{\mathrm{T}}\Sigma\mathbf{a} = \operatorname{Var}(\mathbf{a}^{\mathrm{T}}\mathbf{x}) \ge 0$。**这是本篇最漂亮的一步**——把二次型直接认成方差，绕开全部矩阵论。
4. **正定 $\iff$ 各分量不线性相关**：$\Sigma \succ 0 \iff$ 不存在非零 $\mathbf{a}$ 使 $\mathbf{a}^{\mathrm{T}}\mathbf{x}$ 几乎必然是常数。共线性诊断（看最小特征值、看条件数）就建立在这条上。
5. **线性变换**：$\operatorname{Cov}(A\mathbf{x}+\mathbf{b}) = A\Sigma A^{\mathrm{T}}$。**一切协方差传播公式（卡尔曼滤波、误差传播）都是这一条**。
6. **主轴与方差**：$\Sigma = Q\Lambda Q^{\mathrm{T}}$，特征向量是数据云主轴，特征值 $\lambda_i = \operatorname{Var}(\mathbf{q}_i^{\mathrm{T}}\mathbf{x})$ 是沿主轴的方差，$\sum_i\lambda_i = \operatorname{tr}\Sigma$ 是总方差（旋转不变量）。
7. **椭球**：$\mathbf{x}^{\mathrm{T}}\Sigma^{-1}\mathbf{x} = c$ 是半轴长为 $\sqrt{c\lambda_i}$ 的椭球，朝向由 $\mathbf{q}_i$ 决定。
8. **去相关与白化**：$W = \Lambda^{-1/2}Q^{\mathrm{T}}$ 使 $W\Sigma W^{\mathrm{T}} = I$；对称版本 $\Sigma^{-1/2} = Q\Lambda^{-1/2}Q^{\mathrm{T}}$ 是**唯一**的对称正定白化矩阵。
9. **白化不唯一**：任何 $UW$（$U$ 正交）都能白化；白化的几何含义是「椭球 → 球」，球是旋转对称的，所以旋转自由度留着。
10. **样本协方差矩阵**：$S = \frac{1}{n-1}X_c^{\mathrm{T}}X_c$ 是 $\Sigma$ 的无偏估计（$\operatorname{Cov} = \mathbb{E}[\mathbf{x}\mathbf{x}^{\mathrm{T}}] - \boldsymbol{\mu}\boldsymbol{\mu}^{\mathrm{T}}$ 的样本版）。
11. **秩上界**：$\operatorname{rank}(S)\le\min(n-1,p)$。**$n\le p$ 时 $S$ 必然奇异**，$\Sigma^{-1}$、$|\Sigma|^{-1/2}$、马氏距离、多元高斯密度、LDA、GLS 全部失效。
12. **不相关 vs 独立**：$\Sigma$ 对角 $\iff$ 两两不相关；独立 $\Rightarrow$ 对角，反之不成立（除高斯外）。

### 易混概念对照表

| 概念 A | 概念 B | 关键区别 | 关系 |
|---|---|---|---|
| 协方差矩阵 $\Sigma$ | 相关系数矩阵 $R$ | $\Sigma$ 有量纲；$R_{ij} = \Sigma_{ij}/\sqrt{\Sigma_{ii}\Sigma_{jj}}$ 无量纲 | $R = D^{-1}\Sigma D^{-1}$，$D = \operatorname{diag}(\sigma_i)$ |
| 二阶矩矩阵 $\mathbb{E}[\mathbf{x}\mathbf{x}^{\mathrm{T}}]$ | 协方差矩阵 $\Sigma$ | 前者**不中心化**；带巨大常数偏移时会「凭空」出现强相关 | $\Sigma = \mathbb{E}[\mathbf{x}\mathbf{x}^{\mathrm{T}}] - \boldsymbol{\mu}\boldsymbol{\mu}^{\mathrm{T}}$ |
| 半正定 | 正定 | 半正定允许零特征值（有冗余分量/共线） | 正定 $\iff$ 全部 $\lambda_i > 0 \iff$ 可逆 |
| 样本协方差分母 $n-1$ | 分母 $n$ | $n-1$ 无偏；$n$ 是极大似然（`bias=True`/`ddof=0`） | $\mathbb{E}\left[\frac{1}{n}X_c^{\mathrm{T}}X_c\right] = \frac{n-1}{n}\Sigma$ |
| 去相关（PCA 旋转） | 白化（旋转 + 缩放） | PCA 输出协方差 $\Lambda$（对角）；白化输出 $I$ | 白化 = PCA + 各方向除以 $\sqrt{\lambda_i}$ |
| $W = \Lambda^{-1/2}Q^{\mathrm{T}}$ | $\Sigma^{-1/2} = Q\Lambda^{-1/2}Q^{\mathrm{T}}$ | 前者不对称；后者对称且与 $\Sigma$ 可交换 | 两者都满足 $W\Sigma W^{\mathrm{T}} = I$ |
| 奇异（$\det = 0$） | 病态（$\kappa$ 极大） | 奇异是**精确**的秩亏；病态是**数值**上不可靠 | $\kappa = \lambda_{\max}/\lambda_{\min}$，$\kappa\to\infty$ 时趋于奇异 |
| `np.linalg.eig` | `np.linalg.eigh` | $\Sigma$ 对称，必须用 `eigh`：更快、更稳、返回实特征值 | `eigh` 升序返回，用 `argsort` 降序 |
| `rowvar=True`（默认） | `rowvar=False` | `np.cov` 默认**每行一个变量**，与「每行一个样本」相反 | 数据矩阵按样本行组织时要写 `rowvar=False` |
| 迹 $\operatorname{tr}\Sigma$ | 行列式 $\det\Sigma$ | 迹 = 总方差（旋转不变）；行列式 = 椭球体积平方的伸缩率 | 都等于特征值之和 / 之积 |

> [!tip] 自学检查清单
> 读完本篇，你应该能不看笔记回答：
> 1. 为什么 $\mathbf{a}^{\mathrm{T}}\Sigma\mathbf{a}\ge 0$？给出**不用任何矩阵论**的证明。
> 2. $\Sigma$ 正定与「各分量不线性相关」为什么等价？举一个线性相关导致奇异的例子。
> 3. 推导 $\operatorname{Cov}(A\mathbf{x}) = A\Sigma A^{\mathrm{T}}$，并说明为什么「平移不改变协方差」。
> 4. 白化矩阵为什么不唯一？$\Sigma^{-1/2}$ 的特殊性在哪里？
> 5. $n = 3$、$p = 5$ 时 $S$ 的秩最大是多少？此时 LDA 与多元高斯密度分别会遇到什么问题？
> 6. 举例说明「$\Sigma$ 对角但不独立」，并说明高斯为什么是例外。

## 相关笔记

- [[12-1-均值方差与概率]]：本篇的单变量基础——方差是长度平方、协方差是内积；$S = \frac{1}{n-1}X_c^{\mathrm{T}}X_c$ 就是「协方差 = 内积」的矩阵形式
- [[6-4-对称矩阵与正定矩阵]]：$\Sigma$ 的两个核心性质（对称、半正定）与正交对角化 $S = Q\Lambda Q^{\mathrm{T}}$；判断正定的五个等价条件都用得上
- [[6-1-特征值引论]]：$\lambda_1+\lambda_2 = \operatorname{tr}\Sigma$、$\lambda_1\lambda_2 = \det\Sigma$ 这两个查错恒等式的出处，手算 $2\times2$ 特征值时必须用
- [[6-5-二次型与标准形]]：$\mathbf{x}^{\mathrm{T}}\Sigma^{-1}\mathbf{x} = c$ 的椭球就是二次型的等值线，半轴长 $c\sqrt{\lambda_i}$ 来自二次型正交化为标准形
- [[7-3-主成分分析PCA]]：把 $\Sigma$ 的特征分解用到降维上，白化 = PCA + 缩放；方差占比 $\lambda_i/\operatorname{tr}\Sigma$ 是保留主成分个数的判据
- [[4-3-最小二乘逼近]]：法方程 $A^{\mathrm{T}}A\hat{\mathbf{x}} = A^{\mathrm{T}}\mathbf{b}$；$A^{\mathrm{T}}A$ 可逆性依赖「列满秩」，而这与「变量线性相关」是同一件事
- [[11-2-范数与条件数]]：$\kappa(\Sigma) = \lambda_{\max}/\lambda_{\min}$ 决定 $\Sigma^{-1}$ 的数值可靠性；例题 7-补充 的诊断办法全部来自这里
- [[11-1-数值稳定性与LU]]：奇异矩阵求逆不报错却给出错误结果的原因（LU 主元不为精确零）；「能解方程就不要求逆」的原则
- [[12-3-多元高斯与加权最小二乘]]：$\Sigma$ 进入密度函数得到马氏距离与椭球，进入最小二乘得到加权/广义最小二乘（GLS = 先白化再 OLS）

## 参考来源

- MIT 18.06 Linear Algebra, Spring 2010（Gilbert Strang）——课程主页，第 12 章关于协方差矩阵与正定性的讲授：https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/
- Gilbert Strang, *Introduction to Linear Algebra*（第 5 版）教材官方主页：https://math.mit.edu/~gs/linearalgebra/
- NumPy 官方文档 `numpy.cov`：`rowvar`、`bias`、`ddof` 参数与「默认除以 $N-1$」的说明，以及加权协方差的算法：https://numpy.org/doc/stable/reference/generated/numpy.cov.html
- NumPy 官方文档「Linear algebra」总览：`eigh`（对称矩阵特征分解）、`matrix_rank`、`cond`、`pinv`、`det` 等函数的定义：https://numpy.org/doc/stable/reference/routines.linalg.html
- 教材（文字列名，非链接）：盛骤、谢式千、潘承毅《概率论与数理统计》（第五版），高等教育出版社——第四章「协方差与相关系数」、$n$ 维随机向量的数字特征
