---
title: 12-1-均值方差与概率
aliases:
  - 均值方差与概率
  - 随机变量作为向量
  - 期望的线性性
  - 协方差与内积
tags:
  - 线代/概率统计
  - 类型/教程
created: 2026-10-11
updated: 2026-10-12
level: 进阶
chapter: "12.1"
prerequisites:
  - "[[1-2-长度与点积]]"
  - "[[4-2-投影与投影矩阵]]"
sources:
  - https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/
  - https://math.mit.edu/~gs/linearalgebra/
  - https://numpy.org/doc/stable/reference/generated/numpy.cov.html
  - https://numpy.org/doc/stable/reference/generated/numpy.corrcoef.html
---

# 12-1-均值方差与概率

> [!abstract] 一句话概括
> 把随机变量看成**样本空间上的向量**，期望就是这个向量空间上的**线性泛函**，中心化后的随机变量的**协方差就是内积**、**方差就是长度的平方**，于是相关系数顺理成章地成为夹角余弦，Cauchy–Schwarz 不等式直接给出 $-1 \le \rho \le 1$。
> 本篇覆盖：随机变量作为向量的完整框架（$L^2(\Omega)$ 与线性泛函）、期望的线性性（**不需要独立**）、方差与协方差的定义与几何意义、**协方差 = 内积 / 方差 = 长度平方 / 相关系数 = 夹角余弦**三大类比的建立与用法、由 Cauchy–Schwarz 推出 $|\rho|\le 1$、加权平均与加权最小二乘的雏形、**独立与不相关**的区别（配两个反例并数值验证）、样本均值与样本方差中 $n$ 与 $n-1$ 的分母之争与无偏性。
>
> **本版的例题与实验**：例题 3-补充（5 个数据点手算全部样本统计量）、例题 4-补充（连续型积分 + 双线性 + $|\rho|=1$）、例题 5-补充（伯努利分布从零证明无偏性）、7.2 节的数值实验（手算核对 / 单位圆盘反例 / 无偏性 / 伯努利验证）。

## 一、定义

### 1.1 随机变量（random variable）就是样本空间上的函数

设 $(\Omega, \mathcal{F}, P)$ 是概率空间。随机变量（random variable）是一个函数

$$
X: \Omega \to \mathbb{R}
$$

它把每个样本点 $\omega$ 映射成一个实数 $X(\omega)$。

> [!important] 关键一步：函数也是向量
> 本库在 [[10-4-傅里叶级数与函数空间]] 中已经确立了一个观点：**函数可以当作向量**——只要可以对它们做加法与数乘，并且加法与数乘满足八条公理。
>
> 定义在同一个样本空间 $\Omega$ 上的全体随机变量，在**逐点**加法
> $$(X + Y)(\omega) = X(\omega) + Y(\omega)$$
> 与**逐点**数乘
> $$(cX)(\omega) = c \cdot X(\omega)$$
> 下构成一个实向量空间。特别地，**常数随机变量**（对每个 $\omega$ 都取同一个值 $c$ 的函数）构成这个空间的一个一维子空间，记作 $\mathbf{1}$ 方向，即由**常向量**张成的「常数子空间」。
>
> 于是本库第 1 章关于长度与点积、第 4 章关于投影的全部几何语言，都可以搬过来用。这就是本篇的核心视角。

### 1.2 期望（expectation）是线性泛函

对离散型随机变量，若 $X$ 取值 $x_1, x_2, \dots$，对应概率 $p_i = P(X = x_i)$，定义

$$
\mathbb{E}[X] = \sum_i x_i p_i
$$

对连续型随机变量，若密度为 $f(x)$，定义

$$
\mathbb{E}[X] = \int_{-\infty}^{+\infty} x f(x) \,\mathrm{d}x
$$

（要求级数或积分**绝对收敛**，否则称期望不存在。）

**期望就是一个线性泛函**：它把向量空间里的一个随机变量映射成一个实数，且保持加法与数乘。这一点在下一节展开。

### 1.3 中心化（centering）与方差（variance）

记 $\mu = \mathbb{E}[X]$。称

$$
\tilde{X} = X - \mu
$$

为 $X$ 的**中心化**（centered）随机变量，显然 $\mathbb{E}[\tilde{X}] = 0$，即中心化把向量 $X$ **投影到常数子空间的正交补**上（见 1.7 节的线性泛函观点与 2.2 节的投影解释）。

方差（variance）定义为

$$
\operatorname{Var}(X) = \mathbb{E}\left[(X - \mu)^2\right] = \mathbb{E}\left[\tilde{X}^2\right]
$$

标准差（standard deviation）为 $\sigma_X = \sqrt{\operatorname{Var}(X)}$。

### 1.4 协方差（covariance）与相关系数（correlation coefficient）

设 $\mu_X = \mathbb{E}[X]$，$\mu_Y = \mathbb{E}[Y]$，定义

$$
\operatorname{Cov}(X, Y) = \mathbb{E}\left[(X - \mu_X)(Y - \mu_Y)\right] = \mathbb{E}\left[\tilde{X}\tilde{Y}\right]
$$

相关系数（correlation coefficient）为

$$
\rho_{XY} = \frac{\operatorname{Cov}(X, Y)}{\sigma_X \sigma_Y}
$$

其中要求 $\sigma_X > 0$ 且 $\sigma_Y > 0$。

### 1.5 独立（independent）与不相关（uncorrelated）

$X$ 与 $Y$ **独立**，指对任意实数 $a, b$ 有

$$
P(X \le a,\; Y \le b) = P(X \le a)\,P(Y \le b)
$$

（离散情形等价于 $P(X = x_i, Y = y_j) = P(X = x_i)P(Y = y_j)$。）

$X$ 与 $Y$ **不相关**，指 $\operatorname{Cov}(X, Y) = 0$（等价地 $\rho_{XY} = 0$）。

> [!note] 两个词长得很像，含义却完全不同
> 「独立」是关于**联合分布能否分解**的强条件；「不相关」只要求**一个二阶矩为零**。第五节给出定理与反例。

### 1.6 样本均值与样本方差

设 $x_1, \dots, x_n$ 是来自某个总体的 $n$ 个独立观测。定义

$$
\bar{x} = \frac{1}{n}\sum_{i=1}^{n} x_i
$$

$$
s^2 = \frac{1}{n-1}\sum_{i=1}^{n} (x_i - \bar{x})^2
$$

样本方差用 $n-1$ 做分母，这一点在 1.10 节详细解释（三种分母的适用场景见那里的对照表）。

### 1.7 把随机变量当作向量：期望是线性泛函

这是本篇**第一个核心类比**，值得单独抽出来说清楚。考虑样本空间 $\Omega$ 上的全体二阶矩有限的随机变量，记作

$$
L^2(\Omega) = \left\{X : \Omega \to \mathbb{R} \;\middle|\; \mathbb{E}[X^2] < \infty\right\}
$$

在**逐点**加法 $(X+Y)(\omega) = X(\omega) + Y(\omega)$、**逐点**数乘 $(cX)(\omega) = c\,X(\omega)$ 与内积

$$
\langle X, Y \rangle = \mathbb{E}[XY]
$$

下，$L^2(\Omega)$ 是一个**内积空间**（完备化之后是 Hilbert 空间）。术语首次出现给英文：内积空间（inner product space）。

**期望是一个线性泛函（linear functional）**。所谓线性泛函，就是从向量空间到实数域的线性映射：

$$
\mathbb{E}: L^2(\Omega) \to \mathbb{R}, \qquad \mathbb{E}[aX + bY] = a\,\mathbb{E}[X] + b\,\mathbb{E}[Y]
$$

注意这里的**因与果和一般教材相反**：一般教材先定义期望、再「发现」它是线性的；向量空间的视角则把「线性性」当作**定义性特征**——期望是 $L^2(\Omega)$ 上最自然的线性泛函。

> [!important] 为什么强调「线性泛函」这个词
> 一旦把 $\mathbb{E}$ 认成线性泛函，下面三件事立刻变得显然：
>
> 1. **它由内积表示**。由 Riesz 表示定理（有限维情形就是 [[1-2-长度与点积]] 里的「投影」），存在唯一的 $\mathbf{1} \in L^2(\Omega)$ 使 $\mathbb{E}[X] = \langle X, \mathbf{1}\rangle = \mathbb{E}[X \cdot 1]$。这一步看似是同义反复，但它的几何含义很深：**期望就是 $X$ 在常向量方向上的投影坐标**。
> 2. **泛函的核就是零均值子空间**。$\mathbf{N}(\mathbb{E}) = \{X : \mathbb{E}[X] = 0\}$ 是一个子空间（零均值随机变量的全体），维数是 $\dim L^2(\Omega) - 1$。中心化 $X \mapsto X - \mathbb{E}[X]$ 正是**投影到 $\mathbf{N}(\mathbb{E})$ 上**（沿着 $\mathbf{1}$ 方向分解）。
> 3. **秩—零化度定理的类比**：$\dim L^2(\Omega) = \dim\mathbf{N}(\mathbb{E}) + 1$，因为 $\mathbb{E}$ 的「秩」是 $1$（像空间是整个 $\mathbb{R}$）。这与 [[3-5-四大子空间的维数]] 里 $n = r + (n-r)$ 是同一个陈述，只是把矩阵换成了线性泛函。
>
> 更一般地：**矩阵 $A$ 的每一行都是一个线性泛函**。$A\mathbf{x}$ 的第 $i$ 个分量就是第 $i$ 行与 $\mathbf{x}$ 的内积。所以「随机变量的向量观点」与第 1、3 章的内容是同一套语言。

**「随机变量作为向量」这条线索在后面的用法**：[[10-4-傅里叶级数与函数空间]] 用同一套观点把函数看成向量（傅里叶系数就是投影坐标）；[[7-3-主成分分析PCA]] 里每个样本是一个向量、每个变量是数据矩阵的一列——**列就是「$n$ 个样本点构成的空间中的向量」**，与本节把随机变量看成「$\Omega$ 上的向量」是同一个构造；后面的 [[12-2-协方差矩阵]] 则把这个向量空间结构整块搬给随机向量。

### 1.8 协方差是内积、方差是长度平方、相关系数是夹角余弦

**这是全篇的核心类比**，也是理解协方差矩阵、马氏距离、广义最小二乘的总钥匙。

先把「内积」从原始随机变量搬到**中心化**随机变量上。由双线性性（定理 4），对中心化向量

$$
\tilde{X} = X - \mathbb{E}[X], \qquad \tilde{Y} = Y - \mathbb{E}[Y]
$$

有

$$
\langle \tilde{X}, \tilde{Y}\rangle = \mathbb{E}\left[\tilde{X}\tilde{Y}\right] = \mathbb{E}\left[(X-\mu_X)(Y-\mu_Y)\right] = \operatorname{Cov}(X,Y)
$$

于是三个概率概念与三个几何概念**一一对应**：

| 概率概念 | 几何概念 | 公式 |
|---|---|---|
| 中心化随机变量 $\tilde{X}$ | 向量 | $\tilde{X} = X - \mu_X$ |
| 协方差 $\operatorname{Cov}(X,Y)$ | 内积 | $\langle \tilde{X}, \tilde{Y}\rangle$ |
| 方差 $\operatorname{Var}(X)$ | 长度平方 | $\lVert \tilde{X}\rVert^2 = \langle \tilde{X}, \tilde{X}\rangle$ |
| 标准差 $\sigma_X$ | 长度（范数） | $\lVert \tilde{X}\rVert$ |
| 相关系数 $\rho_{XY}$ | 夹角余弦 | $\cos\theta = \dfrac{\langle \tilde{X}, \tilde{Y}\rangle}{\lVert \tilde{X}\rVert\,\lVert \tilde{Y}\rVert}$ |
| 不相关（$\rho = 0$） | 正交 | $\tilde{X} \perp \tilde{Y}$ |
| $X$ 与 $Y$ 独立 | 无对应几何条件 | 独立是**联合分布**的性质，不是二阶矩的性质 |

> [!important] 这张表要背下来
> 它不是「类比」——在 $L^2(\Omega)$ 里**这就是同一个东西的两种写法**。凡是内积空间里成立的几何定理（勾股定理、Cauchy–Schwarz、投影最优性、Gram 矩阵的秩），搬到概率论里立刻就是一条概率定理。
>
> 举三个直接后果：
> 1. **勾股定理**：若 $X \perp Y$（不相关），则 $\lVert \tilde{X} + \tilde{Y}\rVert^2 = \lVert\tilde{X}\rVert^2 + \lVert\tilde{Y}\rVert^2$，即 $\operatorname{Var}(X+Y) = \operatorname{Var}(X)+\operatorname{Var}(Y)$。这就是「不相关时方差可加」。
> 2. **平行四边形法则**：$\operatorname{Var}(X+Y) + \operatorname{Var}(X-Y) = 2\operatorname{Var}(X) + 2\operatorname{Var}(Y)$（无论是否相关）。
> 3. **Gram 矩阵半正定**：$G = \begin{bmatrix} \operatorname{Var}(X) & \operatorname{Cov}(X,Y) \\ \operatorname{Cov}(X,Y) & \operatorname{Var}(Y)\end{bmatrix}$ 是中心化向量组的 Gram 矩阵，必然半正定，所以 $\det G = \sigma_X^2\sigma_Y^2(1-\rho^2) \ge 0$，立刻得到 $|\rho| \le 1$（下一小节）。

**由 Cauchy–Schwarz 推出 $|\rho| \le 1$**。[[1-2-长度与点积]] 中的 Cauchy–Schwarz 不等式对任何内积都成立，直接套用：

$$
\lvert \langle \tilde{X}, \tilde{Y}\rangle \rvert \le \lVert \tilde{X}\rVert \cdot \lVert \tilde{Y}\rVert
$$

两边除以 $\sigma_X\sigma_Y > 0$：

$$
\lvert \rho_{XY}\rvert = \frac{\lvert \operatorname{Cov}(X,Y)\rvert}{\sigma_X\sigma_Y} = \frac{\lvert \langle \tilde{X}, \tilde{Y}\rangle\rvert}{\lVert \tilde{X}\rVert\lVert \tilde{Y}\rVert} \le 1
$$

即

$$
-1 \le \rho_{XY} \le 1
$$

**等号条件也照搬**：Cauchy–Schwarz 取等 $\iff$ 两个向量**共线** $\iff$ 存在常数 $\alpha$ 使 $\tilde{Y} = \alpha\tilde{X}$ $\iff$ 存在 $a, b$ 使 $Y = aX + b$（几乎必然）。这正是定理 5 的结论，几何证明比代数证明（判别式法）更短、更直观。

> [!warning] 「$\rho$ 是夹角余弦」有一个前提
> 必须**先中心化**。原始向量 $X, Y$ 的内积是 $\mathbb{E}[XY]$（二阶矩），不是协方差。只有当 $\mu_X = \mu_Y = 0$ 时两者才重合。这是最常见的误用：直接把未中心化的数据点积起来当协方差。

### 1.9 独立 ⟹ 不相关，反之不成立

**正向**：$X, Y$ 独立且二阶矩存在 $\Longrightarrow \operatorname{Cov}(X,Y) = 0$。证明见定理 6（只用到 $\mathbb{E}[XY] = \mathbb{E}[X]\mathbb{E}[Y]$ 这一步）。

**反向不成立**：$\operatorname{Cov}(X,Y) = 0$ **推不出**独立。原因是**信息量的不对称**：

- 「独立」要求**联合分布**满足 $F_{XY}(x,y) = F_X(x)F_Y(y)$，即整个分布函数分解为乘积——这是关于分布的**全部信息**的陈述；
- 「不相关」只要求**一个数**（二阶混合中心矩）为零——它只看到二阶矩。

> [!important] 去掉「独立」会怎样
> 由于协方差只用二阶矩，「$Y$ 关于 $X$ 的对称非线性依赖」在协方差里**完全不可见**。例如 $Y = X^2$ 且 $X$ 关于 $0$ 对称时，正负两半的贡献精确抵消。所以：
>
> - $\rho = 0$ 的正确结论是「**没有线性关联**」，绝不能说「没有关联」；
> - 反过来，$\rho \neq 0$ 一定意味着**有某种关联**（至少有线性关联），所以 **$\rho \neq 0 \Rightarrow$ 不独立**——这是逆否命题，是应用中最常用来证「不独立」的手段（见例题 1 的第 4 步）。

**两个反例，都用数值验证**：

**反例 A（离散，$Y = X^2$）**：$X$ 等可能地取 $-1, 0, 1$，$Y = X^2$。手算（细节见定理 6 与例题 2）：$\mu_X = 0$，$\mu_Y = \frac{2}{3}$，$\mathbb{E}[XY] = \mathbb{E}[X^3] = 0$，故 $\operatorname{Cov}(X,Y) = 0$。但

$$
P(X = 1,\, Y = 1) = \frac{1}{3} \ne \frac{1}{3}\cdot\frac{2}{3} = P(X=1)P(Y=1)
$$

**反例 B（连续，单位圆盘上的均匀分布）**：设 $(u, v)$ 在单位圆盘 $\{u^2 + v^2 \le 1\}$ 上均匀分布（密度 $\frac{1}{\pi}$ 在圆盘内，圆盘外为 $0$）。由对称性 $\mathbb{E}[u] = \mathbb{E}[v] = 0$，且

$$
\mathbb{E}[uv] = \frac{1}{\pi}\iint_{u^2+v^2\le 1} uv \,\mathrm{d}u\,\mathrm{d}v = 0
$$

（被积函数关于 $u \to -u$ 为奇函数，区域对称。）所以 $\operatorname{Cov}(u,v) = 0$，$\rho = 0$。但 $u$ 与 $v$ **明显不独立**：知道 $u = 0.9$ 就几乎确定了 $v \approx 0$（因为 $u^2 + v^2 \le 1$），而 $v$ 的边缘分布显然不是这样。定量地（推导与数值见例题 5-补充）**条件概率与边缘概率不等**：

$$
P(v > 0.5 \mid u > 0.5) \approx 0.127 \ne 0.196 \approx P(v > 0.5)
$$

**反例 B 的价值**在于它是**连续型**的，$Y$ 不是 $X$ 的函数（没有反例 A 那种「$Y$ 由 $X$ 完全决定」的强烈结构），依赖关系只体现在「支撑集是圆盘而不是正方形」这一几何形状里。协方差对这种「形状上的依赖」同样视而不见。

**什么时候「不相关 ⟹ 独立」成立？** 只有一个重要例外：**联合分布是多元高斯**。此时密度函数完全由 $\boldsymbol{\mu}$ 与 $\Sigma$ 决定，没有更高阶的依赖结构可以藏在协方差看不见的地方。证明见 [[12-3-多元高斯与加权最小二乘]] 定理 2。这是高斯分布最独特、最实用的性质之一。

### 1.10 分母 $n$ 与 $n-1$：无偏性到底在修什么

**问题的提出**：为什么样本方差用 $n-1$ 而不是 $n$？答案是**无偏性（unbiasedness）**：希望估计量的期望等于被估参数。第四节已经给出完整证明 $\mathbb{E}[S^2] = \sigma^2$，这里补充三点「为什么」与「去掉条件会怎样」。

**(1) 偏差来自哪里——自由度被吃掉一个。** 用 $\bar{x}$ 代替真值 $\mu$ 时，$\bar{x}$ 本身是**从同一批数据里算出来的**，它自动落在这批数据的「中心」。于是离差 $\tilde{x}_i = x_i - \bar{x}$ 满足一个**线性约束**：

$$
\sum_{i=1}^{n}\tilde{x}_i = 0
$$

$n$ 个离差里只有 $n-1$ 个可以自由变动（知道任意 $n-1$ 个，最后一个就被约束确定了）。几何地说：**中心化把数据向量投影到了 $n-1$ 维的子空间 $\mathbf{1}^{\perp}$ 上**，投影后向量的「能量」自然只有原来的 $\frac{n-1}{n}$ 倍：

$$
\mathbb{E}\left[\sum_{i=1}^{n}(x_i-\bar{x})^2\right] = (n-1)\sigma^2
$$

除以 $n-1$ 恰好补回这个投影损失。这与 [[4-2-投影与投影矩阵]] 中「投影到 $k$ 维子空间后自由度是 $k$」是同一个道理：**自由度 = 子空间的维数**。

**(2) 用 $n$ 会怎样——系统性偏小。** $\mathbb{E}\left[\frac{1}{n}\sum(x_i-\bar{x})^2\right] = \frac{n-1}{n}\sigma^2 < \sigma^2$。偏差因子 $\frac{n-1}{n}$ 只与 $n$ 有关：

| $n$ | 偏差因子 $\frac{n-1}{n}$ | 相对偏差 |
|---|---|---|
| $2$ | $0.5$ | $-50\%$ |
| $5$ | $0.8$ | $-20\%$ |
| $11$ | $0.909$ | $-9.1\%$ |
| $101$ | $0.990$ | $-1.0\%$ |

小样本时偏差巨大（$n=2$ 时低估一半），大样本时几乎无所谓——**这就是为什么很多机器学习库默认用 $n$（`ddof=0`）而统计软件默认用 $n-1$**。

**(3) 去掉无偏性要求会怎样——均方误差可能更小。** 「无偏」不是唯一的好标准。若用**均方误差（MSE）** $\mathbb{E}[(\hat\theta - \theta)^2]$ 衡量，有经典的权衡：

$$
\operatorname{MSE} = \text{偏差}^2 + \text{方差}
$$

把分母从 $n-1$ 改成 $n$ 引入一个小的偏差，但同时把估计量的方差也压低了。在正态总体下可以算出：**当 $n$ 较大时，$\frac{1}{n}\sum(x_i-\bar{x})^2$ 的 MSE 严格小于 $S^2$**。这不是悖论，而是「用一点偏差换更多方差」的标准操作——统计学中大量收缩估计（shrinkage）、岭回归都是这个思路（[[11-2-范数与条件数]] 讨论的正则化与这里同源）。

**三种分母的适用场景**：

| 分母 | 名称 | 无偏估计的对象 | 典型使用场景 |
|---|---|---|---|
| $n$ | 极大似然估计 / 有偏样本方差 | 有偏（低估 $\sigma^2$） | 描述性统计、`np.var` 默认、机器学习中当 $n$ 很大时 |
| $n-1$ | 无偏样本方差 | $\sigma^2$（当 $\mu$ 未知） | 统计推断、`np.cov`/`np.corrcoef` 默认 |
| $n$（但用已知 $\mu$） | — | $\sigma^2$（当 $\mu$ **已知**） | 已知真值时（例如校准实验） |

> [!warning] 相关系数不要纠结分母
> 因为 $n$ 与 $n-1$ 在 $r$ 的分子分母里同时出现、完全约掉，**样本相关系数对分母选择不敏感**（见例题 3-补充第 7 步）。真正受影响的是方差与协方差的**绝对大小**，进而影响任何依赖绝对尺度的量（如置信区间宽度、$t$ 统计量、马氏距离的阈值标定）。

## 二、几何直观

### 2.1 随机变量是「一根很长的向量」

把 $\Omega = \{\omega_1, \omega_2, \dots, \omega_N\}$ 想成有限个等可能样本点。那么一个随机变量 $X$ 就是一张**数值表**：

$$
X = \bigl(X(\omega_1), X(\omega_2), \dots, X(\omega_N)\bigr)
$$

这看起来完全就是 $\mathbb{R}^N$ 中的一个向量！于是：

| 概率概念 | 线性代数对应物 | 说明 |
|---|---|---|
| 随机变量 $X$ | 向量 $\mathbf{x}$ | 样本空间上的函数 |
| 期望 $\mathbb{E}[X]$ | 沿常向量 $\mathbf{1}$ 的投影坐标 | 线性泛函 |
| 中心化 $\tilde{X} = X - \mu$ | 减去沿 $\mathbf{1}$ 的分量 | 投影到 $\mathbf{1}^{\perp}$ |
| 方差 $\operatorname{Var}(X)$ | $\lVert\tilde{\mathbf{x}}\rVert^2 / N$（加权） | 长度的平方 |
| 协方差 $\operatorname{Cov}(X,Y)$ | $\langle \tilde{\mathbf{x}}, \tilde{\mathbf{y}} \rangle$（加权内积） | 内积 |
| 相关系数 $\rho$ | 夹角余弦 $\cos\theta$ | Cauchy–Schwarz 给界 |
| 独立的随机变量 | 正交的向量 | 但逆命题不成立 |

这就是本篇要反复使用的**翻译表**。有了它，第 1 章的全部几何直觉都能移植到概率论。

### 2.2 期望是「投影到常数向量上」

在有限等可能情形，配合加权内积

$$
\langle X, Y \rangle = \mathbb{E}[XY] = \frac{1}{N}\sum_{i=1}^{N} X(\omega_i) Y(\omega_i)
$$

常向量 $\mathbf{1}$ 的长度平方是 $\langle \mathbf{1}, \mathbf{1} \rangle = \mathbb{E}[1] = 1$，它是单位向量。于是

$$
\mathbb{E}[X] = \langle X, \mathbf{1} \rangle
$$

**期望就是 $X$ 在单位常向量上的投影坐标**（用 [[4-2-投影与投影矩阵]] 的语言：投影矩阵 $P = \mathbf{1}\mathbf{1}^{\mathrm{T}}$，投影后的向量是 $\mathbb{E}[X]\mathbf{1}$，即把 $X$ 换成它的平均值）。中心化

$$
\tilde{X} = X - \mathbb{E}[X]\mathbf{1}
$$

就是**减去投影、留下正交补中的分量**（对应 [[4-1-四大子空间的正交性]] 里的正交分解）。这正是「残差」一词的来源。

### 2.3 方差是「到均值距离的平方」

把 $X$ 看成向量，把常数向量 $\mu \mathbf{1}$ 看成「最接近 $X$ 的常向量」，那么

$$
\operatorname{Var}(X) = \mathbb{E}\left[(X - \mu)^2\right] = \lVert X - \mu\mathbf{1} \rVert^2
$$

（在加权内积下。）所以**方差是残差向量的能量**，也就是「$X$ 离「用常数去逼近它」的最优逼近有多远」。

> [!tip] 一个不等式立刻可见
> 常数 $c$ 中使 $\mathbb{E}[(X-c)^2]$ 最小的就是 $c = \mu$。这其实就是「投影到一维子空间上取最优」的最简单情形，证明见下一节的定理 3。**方差的几何意义正是这个最小值本身。**

### 2.4 协方差是内积，相关系数是夹角余弦

在加权内积 $\langle X, Y \rangle = \mathbb{E}[XY]$ 下，中心化随机变量 $\tilde{X}, \tilde{Y}$ 的内积恰好是协方差：

$$
\langle \tilde{X}, \tilde{Y} \rangle = \mathbb{E}\left[\tilde{X}\tilde{Y}\right] = \operatorname{Cov}(X, Y)
$$

而 $\lVert \tilde{X} \rVert = \sqrt{\operatorname{Var}(X)} = \sigma_X$。于是相关系数

$$
\rho_{XY} = \frac{\operatorname{Cov}(X,Y)}{\sigma_X\sigma_Y} = \frac{\langle \tilde{X}, \tilde{Y}\rangle}{\lVert\tilde{X}\rVert\,\lVert\tilde{Y}\rVert} = \cos\theta
$$

**相关系数就是两个中心化向量之间的夹角余弦。** 这是本篇最重要的结论。

由此：

- $\rho = 1$ 表示夹角 $0^\circ$：$\tilde{Y}$ 与 $\tilde{X}$ 同向，$Y$ 与 $X$ 有**完全正线性关系**；
- $\rho = -1$ 表示夹角 $180^\circ$：完全负线性关系；
- $\rho = 0$ 表示**正交**：中心化向量垂直，一个无法由另一个线性预测；
- $|\rho|$ 越大，数据点云越接近一条直线。

## 三、性质与定理

### 定理 1（期望的线性性）不需要独立性

**表述**：设 $X, Y$ 是期望存在的随机变量，$a, b \in \mathbb{R}$，则

$$
\mathbb{E}[aX + bY] = a\,\mathbb{E}[X] + b\,\mathbb{E}[Y]
$$

**条件**：只要 $\mathbb{E}[X]$ 与 $\mathbb{E}[Y]$ 都存在（绝对收敛）。**完全不要求 $X, Y$ 独立。**

**证明（离散情形）**：设 $(X,Y)$ 的联合分布为 $p_{ij} = P(X = x_i, Y = y_j)$，边缘分布为 $p_i = P(X = x_i) = \sum_j p_{ij}$、$q_j = P(Y = y_j) = \sum_i p_{ij}$。则

$$
\begin{aligned}
\mathbb{E}[aX + bY]
&= \sum_i \sum_j (a x_i + b y_j)\, p_{ij} \\
&= a \sum_i x_i \sum_j p_{ij} + b \sum_j y_j \sum_i p_{ij} \\
&= a \sum_i x_i p_i + b \sum_j y_j q_j \\
&= a\,\mathbb{E}[X] + b\,\mathbb{E}[Y]
\end{aligned}
$$

连续情形把求和换成积分、把 $p_{ij}$ 换成联合密度 $f(x,y)$，用 Fubini 定理交换积分次序即可。

> [!important] 为什么强调「不需要独立」
> 证明中只用到**联合分布求和可以重新分组**（Fubini / 重排），从未用到 $p_{ij} = p_i q_j$。很多初学者套用「$\mathbb{E}[XY] = \mathbb{E}[X]\mathbb{E}[Y]$ 需要独立」的记忆，误以为**加法**也有同样要求。加法**永远**不需要独立。
>
> 对比记忆：
>
> | 等式 | 是否需要独立 |
> |---|---|
> | $\mathbb{E}[aX + bY] = a\mathbb{E}[X] + b\mathbb{E}[Y]$ | **不需要** |
> | $\mathbb{E}[XY] = \mathbb{E}[X]\mathbb{E}[Y]$ | **需要**（或至少不相关） |
> | $\operatorname{Var}(X+Y) = \operatorname{Var}(X) + \operatorname{Var}(Y)$ | **需要**不相关（独立是充分条件） |

### 定理 2（方差的移位公式）

**表述**：

$$
\operatorname{Var}(X) = \mathbb{E}[X^2] - \mu^2, \qquad \mu = \mathbb{E}[X]
$$

**条件**：$\mathbb{E}[X^2] < \infty$。

**证明**：直接展开，并用定理 1 的线性性（$X$ 与 $X$ 当然不独立，但**加法线性性不需要独立**）：

$$
\begin{aligned}
\operatorname{Var}(X)
&= \mathbb{E}\left[(X - \mu)^2\right] \\
&= \mathbb{E}\left[X^2 - 2\mu X + \mu^2\right] \\
&= \mathbb{E}[X^2] - 2\mu\,\mathbb{E}[X] + \mu^2 \\
&= \mathbb{E}[X^2] - 2\mu \cdot \mu + \mu^2 \\
&= \mathbb{E}[X^2] - \mu^2
\end{aligned}
$$

（第三步对常数 $\mu^2$ 用了 $\mathbb{E}[\mu^2] = \mu^2$；对 $-2\mu X$ 用了数乘线性性。）

### 定理 3（方差的最小性：均值是最优常数逼近）

**表述**：对任意常数 $c$，

$$
\mathbb{E}\left[(X - c)^2\right] \ge \mathbb{E}\left[(X - \mu)^2\right] = \operatorname{Var}(X)
$$

等号成立当且仅当 $c = \mu$。

**证明**：令 $g(c) = \mathbb{E}[(X-c)^2] = \mathbb{E}[X^2] - 2c\mu + c^2$（用了定理 1）。这是关于 $c$ 的二次函数，开口向上，对称轴在

$$
c = \frac{2\mu}{2} = \mu
$$

代回得最小值 $g(\mu) = \mathbb{E}[X^2] - \mu^2 = \operatorname{Var}(X)$。

**几何解读**：$\mu\mathbf{1}$ 是常数子空间中距离 $X$ 最近的向量，方差是最近距离的平方。这正是 [[4-2-投影与投影矩阵]] 中「投影是最优逼近」的一维特例。

### 定理 4（协方差的双线性性与方差公式）

**表述**：协方差是对称双线性的：

$$
\operatorname{Cov}(aX + bY, Z) = a\operatorname{Cov}(X, Z) + b\operatorname{Cov}(Y, Z)
$$

$$
\operatorname{Cov}(X, Y) = \operatorname{Cov}(Y, X), \qquad \operatorname{Cov}(X, X) = \operatorname{Var}(X)
$$

特别地，

$$
\operatorname{Var}(X + Y) = \operatorname{Var}(X) + 2\operatorname{Cov}(X, Y) + \operatorname{Var}(Y)
$$

**条件**：涉及的一切二阶矩存在。

**证明**：由定义与定理 1。记 $W = aX + bY$，则 $\mu_W = a\mu_X + b\mu_Y$，于是 $W - \mu_W = a(X - \mu_X) + b(Y - \mu_Y)$。于是

$$
\begin{aligned}
\operatorname{Cov}(W, Z)
&= \mathbb{E}\left[\bigl(a\tilde{X} + b\tilde{Y}\bigr)\tilde{Z}\right] \\
&= a\,\mathbb{E}\left[\tilde{X}\tilde{Z}\right] + b\,\mathbb{E}\left[\tilde{Y}\tilde{Z}\right] \\
&= a\operatorname{Cov}(X,Z) + b\operatorname{Cov}(Y,Z)
\end{aligned}
$$

**几何解读**：协方差是内积，内积当然双线性。这条定理就是「内积的双线性性」的翻译。**注意：双线性不需要任何独立性。**

### 定理 5（Cauchy–Schwarz 不等式与 $-1 \le \rho \le 1$）

**表述**：若 $\operatorname{Var}(X), \operatorname{Var}(Y) < \infty$，则

$$
\bigl[\operatorname{Cov}(X,Y)\bigr]^2 \le \operatorname{Var}(X)\operatorname{Var}(Y)
$$

从而 $-1 \le \rho_{XY} \le 1$。等号成立（即 $|\rho| = 1$）当且仅当存在常数 $a \ne 0$ 与 $b$ 使 $Y = aX + b$ **几乎必然**成立。

**证明（用二次函数的判别式，不用引用抽象的 Cauchy–Schwarz）**：对任意实数 $t$，考虑

$$
q(t) = \operatorname{Var}(Y - tX) = \operatorname{Var}(Y) - 2t\operatorname{Cov}(X,Y) + t^2\operatorname{Var}(X) \ge 0
$$

（第一个等号用了定理 4，最后的不等号因为方差非负。）这是开口向上（$\operatorname{Var}(X) > 0$）的二次函数且恒非负，故判别式非正：

$$
\Delta = \bigl[2\operatorname{Cov}(X,Y)\bigr]^2 - 4\operatorname{Var}(X)\operatorname{Var}(Y) \le 0
$$

整理即得 $[\operatorname{Cov}(X,Y)]^2 \le \operatorname{Var}(X)\operatorname{Var}(Y)$。两边除以 $\sigma_X^2\sigma_Y^2$ 得 $\rho^2 \le 1$。

等号情形：$\Delta = 0$ 意味着存在 $t_0$ 使 $q(t_0) = 0$，即 $\operatorname{Var}(Y - t_0X) = 0$，也就是 $Y - t_0X$ 几乎必然是常数，$Y = t_0X + b$。

> [!important] 这本质上就是 [[1-2-长度与点积]] 中的 Cauchy–Schwarz 不等式
> $|\langle \mathbf{u}, \mathbf{v}\rangle| \le \lVert\mathbf{u}\rVert\lVert\mathbf{v}\rVert$，只不过内积换成了 $\langle \tilde{X}, \tilde{Y}\rangle = \mathbb{E}[\tilde{X}\tilde{Y}]$。第 1 章的证明（对 $\lVert \mathbf{u} - t\mathbf{v}\rVert^2 \ge 0$ 用判别式）与此处**逐字相同**，因为两者都是「非负二次型 + 判别式」的套路。

### 定理 6（独立 ⟹ 不相关；反之不成立）

**表述**：若 $X$ 与 $Y$ 独立且二阶矩存在，则 $\operatorname{Cov}(X, Y) = 0$。反之不成立。

**证明（正向）**：独立时有 $\mathbb{E}[XY] = \mathbb{E}[X]\mathbb{E}[Y]$（对离散情形：$\sum_{i,j}x_i y_j p_i q_j = \left(\sum_i x_i p_i\right)\left(\sum_j y_j q_j\right)$）。于是

$$
\begin{aligned}
\operatorname{Cov}(X,Y)
&= \mathbb{E}\left[(X - \mu_X)(Y - \mu_Y)\right] \\
&= \mathbb{E}\left[XY - \mu_Y X - \mu_X Y + \mu_X\mu_Y\right] \\
&= \mathbb{E}[XY] - \mu_Y\mathbb{E}[X] - \mu_X\mathbb{E}[Y] + \mu_X\mu_Y \\
&= \mu_X\mu_Y - \mu_Y\mu_X - \mu_X\mu_Y + \mu_X\mu_Y \\
&= 0
\end{aligned}
$$

（注意中间用到的是**加法**线性性，仍然不需要独立；只有 $\mathbb{E}[XY] = \mu_X\mu_Y$ 这一步用到了独立。）

**反向的反例**：取

$$
X \sim \mathrm{Uniform}\{-1, 0, 1\}, \qquad Y = X^2
$$

即 $X$ 等可能地取 $-1, 0, 1$ 三个值：$P(X = -1) = P(X = 0) = P(X = 1) = \dfrac{1}{3}$。

先算 $\mu_X = \dfrac{1}{3}(-1 + 0 + 1) = 0$，故 $\tilde{X} = X$。而 $\mu_Y = \mathbb{E}[X^2] = \dfrac{1}{3}(1 + 0 + 1) = \dfrac{2}{3}$。

$$
\mathbb{E}[XY] = \mathbb{E}[X \cdot X^2] = \mathbb{E}[X^3] = \frac{1}{3}\bigl((-1)^3 + 0^3 + 1^3\bigr) = 0
$$

$$
\operatorname{Cov}(X, Y) = \mathbb{E}[XY] - \mu_X\mu_Y = 0 - 0 \cdot \frac{2}{3} = 0
$$

所以 $X$ 与 $Y$ **不相关**。但它们显然**不独立**：因为 $Y$ 完全由 $X$ 决定，例如

$$
P(X = 1,\; Y = 1) = P(X = 1) = \frac{1}{3}
$$

而

$$
P(X = 1)\,P(Y = 1) = \frac{1}{3} \cdot \frac{1}{3} = \frac{1}{9} \ne \frac{1}{3}
$$

联合分布无法分解，故不独立。（也可以看 $P(Y = 1 \mid X = 1) = 1 \ne \dfrac{1}{3} = P(Y = 1)$。）

> [!warning] 反例的要点
> $Y = X^2$ 是 $X$ 的**非线性**函数。协方差只探测**线性**关联，对 $X$ 关于 $0$ 对称的非线性依赖完全「看不见」。$\rho = 0$ 的正确解读是「**没有线性关联**」，而不是「没有关系」。

## 四、计算方法与步骤

### 4.1 手算 $\operatorname{Cov}(X,Y)$ 与 $\rho_{XY}$ 的步骤

1. **列联合分布表**：把 $P(X = x_i, Y = y_j)$ 写成矩阵形式，行对应 $X$、列对应 $Y$。
2. **求边缘分布**：对行求和得 $p_i = P(X = x_i)$，对列求和得 $q_j = P(Y = y_j)$。
3. **求均值**：$\mu_X = \sum_i x_i p_i$，$\mu_Y = \sum_j y_j q_j$。
4. **求二阶矩**：$\mathbb{E}[X^2] = \sum_i x_i^2 p_i$，$\mathbb{E}[Y^2]$，$\mathbb{E}[XY] = \sum_{i,j} x_i y_j p_{ij}$。
5. **求方差**：$\operatorname{Var}(X) = \mathbb{E}[X^2] - \mu_X^2$，$\operatorname{Var}(Y) = \mathbb{E}[Y^2] - \mu_Y^2$。
6. **求协方差**：$\operatorname{Cov}(X,Y) = \mathbb{E}[XY] - \mu_X\mu_Y$。
7. **求相关系数**：$\rho_{XY} = \dfrac{\operatorname{Cov}(X,Y)}{\sqrt{\operatorname{Var}(X)\operatorname{Var}(Y)}}$。

### 4.2 用数据估计的步骤（样本版本）

1. 算出样本均值 $\bar{x} = \frac{1}{n}\sum_i x_i$、$\bar{y} = \frac{1}{n}\sum_i y_i$。
2. 中心化：$\tilde{x}_i = x_i - \bar{x}$，$\tilde{y}_i = y_i - \bar{y}$。
3. 样本协方差：$\widehat{\operatorname{Cov}}(X,Y) = \dfrac{1}{n-1}\sum_{i=1}^{n}\tilde{x}_i\tilde{y}_i$。
4. 样本方差：$s_x^2 = \dfrac{1}{n-1}\sum_i \tilde{x}_i^2$，$s_y^2$ 同理。
5. 样本相关系数：$r = \dfrac{\sum_i \tilde{x}_i\tilde{y}_i}{\sqrt{\sum_i \tilde{x}_i^2}\sqrt{\sum_i \tilde{y}_i^2}}$（注意 $n-1$ 上下抵消）。

> [!tip] 第 3 步就是「中心化向量的内积除以 $n-1$」
> 把中心化后的数据写成列向量 $\tilde{\mathbf{x}}, \tilde{\mathbf{y}} \in \mathbb{R}^n$，则
> $$\widehat{\operatorname{Cov}}(X,Y) = \frac{\tilde{\mathbf{x}}^{\mathrm{T}}\tilde{\mathbf{y}}}{n-1}$$
> 这是本篇「协方差就是内积」在**有限样本**上的直接落地，代码示例会亲手验证它。

### 4.3 为什么样本方差用 $n-1$：无偏性（unbiasedness）

设 $x_1, \dots, x_n$ 是独立同分布观测，$\mathbb{E}[x_i] = \mu$，$\operatorname{Var}(x_i) = \sigma^2$。定义

$$
S^2 = \frac{1}{n-1}\sum_{i=1}^{n}(x_i - \bar{x})^2
$$

**证明 $\mathbb{E}[S^2] = \sigma^2$**：

先算一个恒等式。由

$$
\sum_{i=1}^n (x_i - \bar{x})^2 = \sum_{i=1}^n (x_i - \mu)^2 - n(\bar{x} - \mu)^2
$$

（展开右边：$\sum (x_i-\mu)^2 - n(\bar x - \mu)^2 = \sum x_i^2 - 2\mu\sum x_i + n\mu^2 - n\bar x^2 + 2n\bar x\mu - n\mu^2 = \sum x_i^2 - n\bar x^2$，而左边 $= \sum x_i^2 - 2\bar x \sum x_i + n \bar x^2 = \sum x_i^2 - n\bar x^2$，两边相等。）

取期望，并用定理 1（线性性，不需要独立）：

$$
\mathbb{E}\left[\sum_{i=1}^n (x_i - \bar{x})^2\right] = \sum_{i=1}^n \mathbb{E}\left[(x_i - \mu)^2\right] - n\,\mathbb{E}\left[(\bar{x} - \mu)^2\right] = n\sigma^2 - n \cdot \operatorname{Var}(\bar{x})
$$

而

$$
\operatorname{Var}(\bar{x}) = \operatorname{Var}\left(\frac{1}{n}\sum_i x_i\right) = \frac{1}{n^2}\sum_{i=1}^n \operatorname{Var}(x_i) = \frac{1}{n^2}\cdot n\sigma^2 = \frac{\sigma^2}{n}
$$

（这里用到**独立**：$\operatorname{Var}(\sum x_i) = \sum \operatorname{Var}(x_i)$ 要求两两不相关，见定理 4 的推论。）于是

$$
\mathbb{E}\left[\sum_{i=1}^n (x_i - \bar{x})^2\right] = n\sigma^2 - n\cdot\frac{\sigma^2}{n} = (n-1)\sigma^2
$$

故 $\mathbb{E}[S^2] = \dfrac{(n-1)\sigma^2}{n-1} = \sigma^2$。$\square$

**直觉解释**：用 $\bar{x}$ 代替未知的 $\mu$，会让离差平方和**系统性偏小**——因为 $\bar{x}$ 本身就是让 $\sum (x_i - c)^2$ 最小的那个 $c$（定理 3 的样本版本）。偏差恰好是「被估计掉一个自由度」，除以 $n-1$ 正好补回来。

**那 $n$ 什么时候用？** 当 $\mu$ **已知**时，$\frac{1}{n}\sum (x_i-\mu)^2$ 才是无偏的；另外，$\frac{1}{n}\sum(x_i-\bar{x})^2$ 是 $\sigma^2$ 的**极大似然估计**（正态总体下），它**有偏但均方误差可能更小**。`np.var` 与 `np.cov` 的默认参数就是这个区别（`ddof=0` vs `ddof=1`）。

### 4.4 加权平均与加权最小二乘的雏形

**加权平均（weighted average）**：若观测 $x_1, \dots, x_n$ 的**可信度**不同，用权重 $w_i > 0$ 表示，取

$$
\bar{x}_w = \frac{\sum_{i=1}^n w_i x_i}{\sum_{i=1}^n w_i}
$$

**它的最优性**：$\bar{x}_w$ 是最小化**加权残差平方和**的常数：

$$
\bar{x}_w = \arg\min_{c} \sum_{i=1}^{n} w_i (x_i - c)^2
$$

**证明（对 $c$ 求导）**：令 $F(c) = \sum_i w_i(x_i - c)^2$，则

$$
F'(c) = -2\sum_i w_i (x_i - c) = -2\left(\sum_i w_i x_i - c\sum_i w_i\right) = 0
$$

解得 $c = \dfrac{\sum_i w_i x_i}{\sum_i w_i}$。又 $F''(c) = 2\sum_i w_i > 0$，故为最小值点。

**权重怎么取？** 若 $x_i$ 的观测误差方差为 $\sigma_i^2$，则取

$$
w_i = \frac{1}{\sigma_i^2}
$$

即**方差越小（越可信）权重越大**。这一点在第 12-3 篇的加权最小二乘中会被完整推导；这里先记住：**权重是方差之倒数，不是标准差之倒数。**

> [!note] 为什么这样取权最优
> 若 $x_i$ 是某个共同真值 $\mu$ 的独立无偏观测，$\operatorname{Var}(x_i) = \sigma_i^2$，考虑线性组合 $\hat\mu = \sum_i a_i x_i$，约束 $\sum_i a_i = 1$。则
> $$\operatorname{Var}(\hat\mu) = \sum_i a_i^2\sigma_i^2$$
> 在约束下最小化它（Lagrange 乘子法）得 $a_i \propto 1/\sigma_i^2$，即加权平均的权重。这就是「权重 $=1/\sigma_i^2$ 时估计方差最小」的完整理由。

## 五、例题

### 例题 1（完整计算协方差与相关系数）

**题目**：下表给出 $X$（某零件长度偏差）与 $Y$（某零件重量偏差）的联合分布，求 $\operatorname{Cov}(X,Y)$ 与 $\rho_{XY}$。

| $X \backslash Y$ | $Y=-1$ | $Y=0$ | $Y=1$ | 行和 $p_i$ |
|---|---|---|---|---|
| $X=-1$ | $0.10$ | $0.05$ | $0.05$ | $0.20$ |
| $X=0$ | $0.05$ | $0.40$ | $0.05$ | $0.50$ |
| $X=1$ | $0.05$ | $0.05$ | $0.20$ | $0.30$ |
| 列和 $q_j$ | $0.20$ | $0.50$ | $0.30$ | $1.00$ |

**解答**：

**第 1 步：边缘分布**（见上表最后一行与最后一列）：

$$
p = (0.20,\; 0.50,\; 0.30), \qquad q = (0.20,\; 0.50,\; 0.30)
$$

**第 2 步：均值**

$$
\mu_X = (-1)(0.20) + (0)(0.50) + (1)(0.30) = -0.20 + 0 + 0.30 = 0.10
$$

$$
\mu_Y = (-1)(0.20) + (0)(0.50) + (1)(0.30) = 0.10
$$

**第 3 步：二阶矩**

$$
\mathbb{E}[X^2] = (-1)^2(0.20) + 0^2(0.50) + 1^2(0.30) = 0.20 + 0.30 = 0.50
$$

同理 $\mathbb{E}[Y^2] = 0.50$。

**第 4 步：方差**

$$
\operatorname{Var}(X) = 0.50 - (0.10)^2 = 0.50 - 0.01 = 0.49, \qquad \operatorname{Var}(Y) = 0.49
$$

标准差 $\sigma_X = \sigma_Y = \sqrt{0.49} = 0.70$。

**第 5 步：$\mathbb{E}[XY]$**（逐格累加 $x_i y_j p_{ij}$）：

$$
\begin{aligned}
\mathbb{E}[XY] ={}& (-1)(-1)(0.10) + (-1)(0)(0.05) + (-1)(1)(0.05) \\
&+ (0)(-1)(0.05) + (0)(0)(0.40) + (0)(1)(0.05) \\
&+ (1)(-1)(0.05) + (1)(0)(0.05) + (1)(1)(0.20) \\
={}& 0.10 - 0.05 + 0 - 0.05 + 0.20 \\
={}& 0.20
\end{aligned}
$$

**第 6 步：协方差**

$$
\operatorname{Cov}(X,Y) = \mathbb{E}[XY] - \mu_X\mu_Y = 0.20 - (0.10)(0.10) = 0.20 - 0.01 = 0.19
$$

**第 7 步：相关系数**

$$
\rho_{XY} = \frac{0.19}{0.70 \times 0.70} = \frac{0.19}{0.49} = \frac{19}{49} \approx 0.8776
$$

**结论**：$\rho \approx 0.878$，接近 1，说明 $X$ 与 $Y$ 有较强的**正线性**关联。

**顺带验证独立性**：若独立应有 $p_{11} = p_1 q_1 = 0.20 \times 0.20 = 0.04 \ne 0.10$，故**不独立**。这里「不独立」与「$\rho \ne 0$」一致，符合「独立 ⟹ 不相关」的逆否命题。

### 例题 2（独立但不相关？不，是「不相关但不独立」）

**题目**：设 $X$ 等可能地取 $-1, 0, 1$，令 $Y = X^2$。

(1) 求 $\operatorname{Cov}(X, Y)$ 与 $\rho_{XY}$。
(2) 判断 $X$ 与 $Y$ 是否独立。

**解答**：

**(1)** $P(X=-1) = P(X=0) = P(X=1) = 1/3$。

$Y = X^2$ 的分布：$P(Y=1) = P(X=\pm1) = 2/3$，$P(Y=0) = 1/3$。

$$
\mu_X = \frac{1}{3}(-1) + \frac{1}{3}(0) + \frac{1}{3}(1) = 0
$$

$$
\mu_Y = \mathbb{E}[X^2] = \frac{1}{3}(1) + \frac{1}{3}(0) + \frac{1}{3}(1) = \frac{2}{3}
$$

$$
\mathbb{E}[XY] = \mathbb{E}[X^3] = \frac{1}{3}\bigl((-1)^3 + 0^3 + 1^3\bigr) = \frac{1}{3}(-1 + 0 + 1) = 0
$$

$$
\operatorname{Cov}(X,Y) = 0 - 0 \cdot \frac{2}{3} = 0
$$

故 $\rho_{XY} = 0$。$X$ 与 $Y$ **不相关**。

**(2)** 检验 $X=1, Y=1$ 这个格子：

$$
P(X = 1,\; Y = 1) = P(X = 1,\; X^2 = 1) = P(X = 1) = \frac{1}{3}
$$

$$
P(X = 1)\,P(Y = 1) = \frac{1}{3}\cdot\frac{2}{3} = \frac{2}{9}
$$

两者不等（$\frac{1}{3} = \frac{3}{9} \ne \frac{2}{9}$），故 $X$ 与 $Y$ **不独立**。

**结论**：这是「不相关但不独立」的标准反例。协方差只看线性关联，$Y = X^2$ 的**对称非线性**依赖被完全漏掉了。

### 例题 3-补充（5 个数据点：手算均值、标准差、协方差、相关系数）

> [!example] 题目
> 某实验测了 5 组数据，自变量 $x$ 与控制量 $y$ 的观测值如下表（$x$ 已按升序排列）。
>
> | 编号 $i$ | 1 | 2 | 3 | 4 | 5 |
> |---|---|---|---|---|---|
> | $x_i$ | $2$ | $4$ | $6$ | $8$ | $10$ |
> | $y_i$ | $1$ | $3$ | $2$ | $5$ | $4$ |
>
> 求：(1) 样本均值 $\bar{x}, \bar{y}$；(2) 样本方差 $s_x^2, s_y^2$（$n-1$ 分母）与标准差；(3) 样本协方差 $s_{xy}$；(4) 样本相关系数 $r$；(5) 若改用 $n$ 做分母，$s_x^2$ 与 $r$ 各变成多少？

**解答**：

**第 1 步：求均值**。先算和：

$$
\sum_{i=1}^{5} x_i = 2 + 4 + 6 + 8 + 10 = 30, \qquad \sum_{i=1}^{5} y_i = 1 + 3 + 2 + 5 + 4 = 15
$$

于是

$$
\bar{x} = \frac{30}{5} = 6, \qquad \bar{y} = \frac{15}{5} = 3
$$

**第 2 步：中心化**（这一步是协方差与内积对应关系的入口，绝不能省）。逐点减去均值：

$$
\tilde{x} = (2-6,\; 4-6,\; 6-6,\; 8-6,\; 10-6) = (-4,\; -2,\; 0,\; 2,\; 4)
$$

$$
\tilde{y} = (1-3,\; 3-3,\; 2-3,\; 5-3,\; 4-3) = (-2,\; 0,\; -1,\; 2,\; 1)
$$

**验证中心化的定义性质**：$\sum_i \tilde{x}_i = -4-2+0+2+4 = 0$ ✓，$\sum_i \tilde{y}_i = -2+0-1+2+1 = 0$ ✓。中心化后向量与常向量 $\mathbf{1}$ 正交，这正是 1.7 节的几何内容。

**第 3 步：算三个内积**。

$$
\tilde{\mathbf{x}}^{\mathrm{T}}\tilde{\mathbf{x}} = \sum_{i=1}^{5}\tilde{x}_i^2 = 16 + 4 + 0 + 4 + 16 = 40
$$

$$
\tilde{\mathbf{y}}^{\mathrm{T}}\tilde{\mathbf{y}} = \sum_{i=1}^{5}\tilde{y}_i^2 = 4 + 0 + 1 + 4 + 1 = 10
$$

$$
\tilde{\mathbf{x}}^{\mathrm{T}}\tilde{\mathbf{y}} = \sum_{i=1}^{5}\tilde{x}_i\tilde{y}_i = (-4)(-2) + (-2)(0) + (0)(-1) + (2)(2) + (4)(1) = 8 + 0 + 0 + 4 + 4 = 16
$$

**第 4 步：方差与标准差**（分母 $n - 1 = 4$）：

$$
s_x^2 = \frac{40}{4} = 10, \qquad s_x = \sqrt{10} \approx 3.1623
$$

$$
s_y^2 = \frac{10}{4} = 2.5, \qquad s_y = \sqrt{2.5} \approx 1.5811
$$

**第 5 步：协方差**：

$$
s_{xy} = \frac{\tilde{\mathbf{x}}^{\mathrm{T}}\tilde{\mathbf{y}}}{n-1} = \frac{16}{4} = 4
$$

**第 6 步：相关系数**。注意 $n-1$ 在分子分母里**同时出现、互相抵消**：

$$
r = \frac{s_{xy}}{s_x s_y} = \frac{4}{\sqrt{10}\cdot\sqrt{2.5}} = \frac{4}{\sqrt{25}} = \frac{4}{5} = 0.8
$$

**第 7 步：换成 $n$ 分母会怎样**。

$$
s_x^2\big|_{n} = \frac{40}{5} = 8, \qquad s_y^2\big|_{n} = \frac{10}{5} = 2, \qquad s_{xy}\big|_{n} = \frac{16}{5} = 3.2
$$

而相关系数

$$
r\big|_{n} = \frac{3.2}{\sqrt{8}\cdot\sqrt{2}} = \frac{3.2}{4} = 0.8
$$

**与第 6 步完全相同**。这不是巧合：$r$ 的分子分母都是二次型，$n$ 与 $n-1$ 的差别以同一个因子 $\frac{n-1}{n}$ 出现在三处，整体约掉。

$$
r = \frac{\tilde{\mathbf{x}}^{\mathrm{T}}\tilde{\mathbf{y}}/(n-1)}{\sqrt{\tilde{\mathbf{x}}^{\mathrm{T}}\tilde{\mathbf{x}}/(n-1)}\sqrt{\tilde{\mathbf{y}}^{\mathrm{T}}\tilde{\mathbf{y}}/(n-1)}} = \frac{\tilde{\mathbf{x}}^{\mathrm{T}}\tilde{\mathbf{y}}}{\lVert\tilde{\mathbf{x}}\rVert\lVert\tilde{\mathbf{y}}\rVert}
$$

**结论**：$r = 0.8$，是一组**中等偏强**的正线性关联。$r$ 与 $n$ 或 $n-1$ 的选择**无关**——这正是「相关系数是夹角余弦」的直接后果：余弦只依赖两个向量的方向，不依赖它们的长度如何被归一化。

### 例题 4-补充（连续型：用积分验证双线性、协方差与 $|\rho|\le 1$）

> [!example] 题目
> 设 $X$ 在区间 $[0,1]$ 上均匀分布（密度 $f_X(x) = 1$，$0 \le x \le 1$），$a > 0$，令 $Y = aX$。
>
> (1) 用积分求 $\mathbb{E}[X]$、$\mathbb{E}[Y]$、$\operatorname{Var}(X)$、$\operatorname{Var}(Y)$；
> (2) 验证 $\mathbb{E}[2X + 3Y] = 2\mathbb{E}[X] + 3\mathbb{E}[Y]$，并求 $\operatorname{Cov}(2X, 3Y)$；
> (3) 求 $\rho_{XY}$，并解释为什么 $|\rho| = 1$。

**解答**：

**第 1 步：$\mathbb{E}[X]$ 与 $\mathbb{E}[X^2]$**。代入连续型定义 $\mathbb{E}[g(X)] = \int g(x)f_X(x)\,\mathrm{d}x$（这里 $f_X \equiv 1$）：

$$
\mathbb{E}[X] = \int_0^1 x \cdot 1 \,\mathrm{d}x = \left[\frac{x^2}{2}\right]_0^1 = \frac{1}{2}
$$

$$
\mathbb{E}[X^2] = \int_0^1 x^2 \cdot 1 \,\mathrm{d}x = \left[\frac{x^3}{3}\right]_0^1 = \frac{1}{3}
$$

于是

$$
\operatorname{Var}(X) = \mathbb{E}[X^2] - (\mathbb{E}[X])^2 = \frac{1}{3} - \frac{1}{4} = \frac{4 - 3}{12} = \frac{1}{12}
$$

**第 2 步：$Y = aX$ 的各阶矩**（$Y$ 只是 $X$ 的线性函数，$a$ 是常数，提到期望外）：

$$
\mathbb{E}[Y] = \mathbb{E}[aX] = a\,\mathbb{E}[X] = \frac{a}{2}
$$

$$
\mathbb{E}[Y^2] = \mathbb{E}[a^2X^2] = a^2\,\mathbb{E}[X^2] = \frac{a^2}{3}
$$

$$
\operatorname{Var}(Y) = \frac{a^2}{3} - \left(\frac{a}{2}\right)^2 = a^2\left(\frac{1}{3}-\frac{1}{4}\right) = \frac{a^2}{12} = a^2\operatorname{Var}(X)
$$

**这一步就是定理 4 的一维版本**：$\operatorname{Var}(aX) = a^2\operatorname{Var}(X)$。记住是 $a^2$ 而不是 $a$——方差是**长度平方**，缩放 $a$ 倍长度，平方就变成 $a^2$ 倍。

**第 3 步：验证 $\mathbb{E}[2X+3Y]$**。左边：

$$
\mathbb{E}[2X + 3Y] = \int_0^1 (2x + 3ax)\,\mathrm{d}x = (2+3a)\int_0^1 x\,\mathrm{d}x = \frac{2+3a}{2}
$$

右边：

$$
2\mathbb{E}[X] + 3\mathbb{E}[Y] = 2\cdot\frac{1}{2} + 3\cdot\frac{a}{2} = 1 + \frac{3a}{2} = \frac{2+3a}{2}
$$

两边相等 ✓。注意这里 $Y$ 完全由 $X$ 决定（**极不独立**），线性性照样成立——再次印证「加法不需要独立」。

**第 4 步：$\operatorname{Cov}(X,Y)$**。先算 $\mathbb{E}[XY]$：

$$
\mathbb{E}[XY] = \mathbb{E}[X \cdot aX] = a\,\mathbb{E}[X^2] = \frac{a}{3}
$$

$$
\operatorname{Cov}(X,Y) = \mathbb{E}[XY] - \mathbb{E}[X]\mathbb{E}[Y] = \frac{a}{3} - \frac{1}{2}\cdot\frac{a}{2} = \frac{a}{3} - \frac{a}{4} = \frac{a}{12}
$$

**第 5 步：$\operatorname{Cov}(2X, 3Y)$**（用定理 4 的双线性，常数因子直接提出来）：

$$
\operatorname{Cov}(2X, 3Y) = 2 \cdot 3 \cdot \operatorname{Cov}(X,Y) = 6 \cdot \frac{a}{12} = \frac{a}{2}
$$

**第 6 步：$\rho_{XY}$**：

$$
\rho_{XY} = \frac{\operatorname{Cov}(X,Y)}{\sqrt{\operatorname{Var}(X)\operatorname{Var}(Y)}} = \frac{a/12}{\sqrt{(1/12)(a^2/12)}} = \frac{a/12}{a/12} = 1
$$

**为什么恰好等于 1**：由定理 5 的等号条件，$|\rho| = 1$ 当且仅当 $Y$ 是 $X$ 的仿射函数。这里 $Y = aX + 0$ 正是如此，所以两个中心化向量 $\tilde{Y} = a\tilde{X}$ **同向**（$a > 0$），夹角为 $0^\circ$，余弦为 $1$。若取 $a < 0$，则 $\tilde{Y}$ 与 $\tilde{X}$ 反向，$\rho = -1$，夹角 $180^\circ$。

> [!tip] 用这道题记三个结论
> 1. $\operatorname{Var}(aX) = a^2\operatorname{Var}(X)$，$\operatorname{Cov}(aX, bY) = ab\operatorname{Cov}(X,Y)$——**常数按幂次提出**；
> 2. 平移不改变方差与协方差：$\operatorname{Var}(X+c) = \operatorname{Var}(X)$；
> 3. $|\rho| = 1$ 是「完全线性关系」的**充要**条件，与 $a$ 的具体大小无关。

### 例题 5-补充（二值随机变量：从零证明无偏性，并用数值实验验证）

> [!example] 题目
> 设 $x_1, \dots, x_n$ 是成功概率为 $p$ 的伯努利试验结果（取值 $0$ 或 $1$），相互独立。
>
> (1) 求 $\mathbb{E}[\bar{x}]$ 与 $\operatorname{Var}(\bar{x})$；
> (2) 证明 $\mathbb{E}\left[\frac{1}{n-1}\sum_{i=1}^{n}(x_i-\bar{x})^2\right] = p(1-p)$，并给出 $\frac{1}{n}\sum_i(x_i-\bar{x})^2$ 的期望；
> (3) 取 $p = 0.3$、$n = 11$，用数值实验验证 (2)；
> (4) 说明 $n = 1$ 时会发生什么。

**解答**：

**(1)** 把每个 $x_i$ 写成指示函数 $x_i = \mathbf{1}_{A_i}$，则 $\mathbb{E}[x_i] = P(A_i) = p$，$\operatorname{Var}(x_i) = p(1-p)$。由期望的线性性（**不需要独立**）：

$$
\mathbb{E}[\bar{x}] = \mathbb{E}\left[\frac{1}{n}\sum_{i=1}^{n}x_i\right] = \frac{1}{n}\sum_{i=1}^{n}\mathbb{E}[x_i] = \frac{1}{n}\cdot np = p
$$

由独立性（$\operatorname{Var}(\sum x_i) = \sum \operatorname{Var}(x_i)$）：

$$
\operatorname{Var}(\bar{x}) = \frac{1}{n^2}\sum_{i=1}^{n}\operatorname{Var}(x_i) = \frac{1}{n^2}\cdot n\,p(1-p) = \frac{p(1-p)}{n}
$$

**第 (1) 问的分界点**：$\mathbb{E}[\bar{x}] = p$ 只用线性性；$\operatorname{Var}(\bar{x}) = p(1-p)/n$ 用了**不相关**（独立是充分条件）。

**(2)** 记 $\sigma^2 = p(1-p)$、$\mu = p$。先回顾第四节用过的恒等式（这里再走一遍，因为它是本节的核心）：

$$
\sum_{i=1}^{n}(x_i-\bar{x})^2 = \sum_{i=1}^{n}(x_i-\mu)^2 - n(\bar{x}-\mu)^2
$$

**验证恒等式**：右边 $= \sum_i x_i^2 - 2\mu\sum_i x_i + n\mu^2 - n\bar{x}^2 + 2n\bar{x}\mu - n\mu^2 = \sum_i x_i^2 - n\bar{x}^2$；
左边 $= \sum_i x_i^2 - 2\bar{x}\sum_i x_i + n\bar{x}^2 = \sum_i x_i^2 - 2n\bar{x}^2 + n\bar{x}^2 = \sum_i x_i^2 - n\bar{x}^2$。两边相等 ✓。

两边取期望，用线性性：

$$
\mathbb{E}\left[\sum_{i=1}^{n}(x_i-\bar{x})^2\right] = \sum_{i=1}^{n}\mathbb{E}\left[(x_i-\mu)^2\right] - n\,\mathbb{E}\left[(\bar{x}-\mu)^2\right] = n\sigma^2 - n\cdot\frac{\sigma^2}{n} = (n-1)\sigma^2
$$

（第一个期望是 $\operatorname{Var}(x_i) = \sigma^2$，共 $n$ 项；第二个期望是 $\operatorname{Var}(\bar{x}) = \sigma^2/n$，用了第 (1) 问。）于是

$$
\mathbb{E}\left[\frac{1}{n-1}\sum_{i=1}^{n}(x_i-\bar{x})^2\right] = \frac{(n-1)\sigma^2}{n-1} = \sigma^2 = p(1-p) \quad\checkmark
$$

而用 $n$ 做分母时：

$$
\mathbb{E}\left[\frac{1}{n}\sum_{i=1}^{n}(x_i-\bar{x})^2\right] = \frac{(n-1)\sigma^2}{n} = \frac{n-1}{n}\,p(1-p)
$$

**系统性偏小**，偏差因子恰好是 $\frac{n-1}{n}$。

**(3) 数值实验**：取 $p = 0.3$，$n = 11$，则 $\sigma^2 = 0.21$，$\frac{n-1}{n}\sigma^2 = \frac{10}{11}\times 0.21 \approx 0.1909$。重复 $200000$ 次，代码与完整输出见 7.2 节的第 4 部分，结论如下表：

| 统计量 | 理论值 | 模拟值 |
|---|---|---|
| $\mathbb{E}\left[s^2\right]$（分母 $n-1$） | $0.21$ | $0.2100$ 附近 |
| $\mathbb{E}\left[\hat\sigma^2\right]$（分母 $n$） | $0.1909$ | $0.1909$ 附近 |

**(4) $n = 1$ 时**：$\bar{x} = x_1$，离差平方和为 $0$，$\frac{1}{n-1}$ 的分母变成 $0$——**样本方差无定义**。这不是数学缺陷，而是信息论上的必然：**一个观测无法同时提供「位置」与「散布」两个信息**。同理，$n$ 个样本里有 $1$ 个自由度被均值消耗，真正用于估计散布的只有 $n-1$ 个。

> [!warning] 这道题最容易错的地方
> 用 $\bar{x}$ 代替 $\mu$ 会让离差平方和**偏小**，因为 $\bar{x}$ 本身是使 $\sum(x_i - c)^2$ 最小的那个 $c$（定理 3 的样本版）。所以偏差方向是确定的：**分母用 $n$ 一定低估**，不会高估。千万别以为「偏差有大有小、平均下来差不多」——它是**系统性**的。

## 六、应用

| 场景 | 用到的线性代数结构 |
|---|---|
| 测量数据的加权平均（不同仪器精度不同） | 权重 $w_i = 1/\sigma_i^2$，加权最小二乘雏形 |
| 金融资产组合收益的方差 | $\operatorname{Var}(\sum w_i X_i) = \mathbf{w}^{\mathrm{T}}\Sigma\mathbf{w}$（见 [[12-2-协方差矩阵]]） |
| 特征筛选（丢掉与目标不相关的特征） | $\rho = 0$ 表示中心化向量正交 |
| 最小二乘回归的 $R^2$ | $R^2 = \rho^2$（简单线性回归情形） |
| 卡尔曼滤波 / 传感器融合 | 逆方差加权 = 精度加权（precision weighting） |
| 蒙特卡洛估计误差 | $\operatorname{Var}(\bar{x}) = \sigma^2/n$，收敛速度 $O(n^{-1/2})$ |

**工程上的典型用法**：把「期望是线性泛函」用在**传感器融合**上。若有 $k$ 个独立无偏测量，各自方差 $\sigma_1^2, \dots, \sigma_k^2$，则最优（最小方差无偏）融合结果就是

$$
\hat{\mu} = \frac{\sum_{i=1}^k x_i/\sigma_i^2}{\sum_{i=1}^k 1/\sigma_i^2}
$$

这与第 12-3 篇的加权最小二乘公式是同一个东西在「设计矩阵为常数列」时的特例。

## 七、可运行代码示例

### 7.1 原始版：协方差 = 内积、相关系数 = 夹角余弦

本示例只用 numpy，无需额外安装。本篇新增的数值实验见下一小节 7.2。

```python
import numpy as np

rng = np.random.default_rng(seed=20261011)

# ---------- 1. 生成数据，验证协方差 = 中心化向量的内积 / (n-1) ----------
n = 200
x = rng.normal(loc=3.0, scale=2.0, size=n)
y = -1.5 * x + rng.normal(loc=0.0, scale=1.0, size=n)

xc = x - x.mean()          # 中心化
yc = y - y.mean()
n = len(x)

cov_manual = (xc @ yc) / (n - 1)          # 内积 / (n-1)
cov_numpy = np.cov(x, y)[0, 1]            # numpy 内置
print("手算公式 (内积/(n-1)) :", cov_manual)
print("np.cov 结果           :", cov_numpy)
print("差值                  :", abs(cov_manual - cov_numpy))
print("普通内积 xc @ yc      :", xc @ yc, "  <- 注意它没有归一化")

# ---------- 2. 相关系数就是夹角余弦 ----------
cos_angle = (xc @ yc) / (np.linalg.norm(xc) * np.linalg.norm(yc))
rho_numpy = np.corrcoef(x, y)[0, 1]
print("\n夹角余弦               :", cos_angle)
print("np.corrcoef            :", rho_numpy)
print("用 np.cov 反推 rho     :", cov_numpy / np.sqrt(np.cov(x) * np.cov(y)))
# 注意：np.cov(x, y) 传两个一维数组会返回 2x2 矩阵！
# 想得到单个变量的方差（标量）要只传一个数组：np.cov(x)
print("np.cov(x, y) 的形状    :", np.cov(x, y).shape, " <- 2x2 矩阵")
print("np.cov(x) 的形状       :", np.asarray(np.cov(x)).shape, " <- 标量")

# ---------- 3. 方差 = 中心化向量长度的平方 / (n-1) ----------
var_manual = (xc @ xc) / (n - 1)
print("\n方差(长度平方/(n-1))   :", var_manual, " vs np.var(ddof=1):",
      np.var(x, ddof=1))
print("np.var 默认 ddof=0     :", np.var(x), "  <- 分母是 n")

# ---------- 4. 反例：Y = X^2，不相关但不独立 ----------
X = rng.choice([-1, 0, 1], size=200000, p=[1/3, 1/3, 1/3])
Y = X ** 2
print("\n[反例] Cov(X, X^2)     :", np.cov(X, Y)[0, 1])
print("[反例] rho(X, X^2)     :", np.corrcoef(X, Y)[0, 1])
# 独立性检验：若独立应有 P(X=1,Y=1) == P(X=1)*P(Y=1)
p_joint = np.mean((X == 1) & (Y == 1))
p_prod = np.mean(X == 1) * np.mean(Y == 1)
print("[反例] P(X=1,Y=1)      :", p_joint)
print("[反例] P(X=1)*P(Y=1)   :", p_prod, "  <- 明显不等，故不独立")
# 条件分布也不等于边缘分布
print("[反例] P(Y=1|X=1)      :", np.mean(Y[X == 1] == 1))

# ---------- 5. 期望的线性性：不需要独立 ----------
a, b = 2.5, -0.7
print("\nE[aX+bY] 蒙特卡洛       :", np.mean(a * x + b * y))
print("aE[X]+bE[Y]            :", a * x.mean() + b * y.mean())

# 强相关（不独立）的数据上再验一次
u = rng.normal(size=100000)
v = u + 0.001 * rng.normal(size=100000)     # v 与 u 几乎完全相关
print("E[2u-3v]               :", np.mean(2 * u - 3 * v))
print("2E[u]-3E[v]            :", 2 * u.mean() - 3 * v.mean())

# ---------- 6. 加权平均：权重 = 方差的倒数 ----------
truth = 5.0
sigmas = np.array([0.1, 1.0, 10.0])          # 三个精度悬殊的仪器
obs = truth + rng.normal(scale=sigmas)
w = 1.0 / sigmas ** 2                        # 逆方差权重
print("\n观测值                 :", obs)
print("简单平均               :", obs.mean())
print("加权平均(逆方差权重)   :", (w @ obs) / w.sum())
print("权重                   :", w / w.sum())

# ---------- 7. 无偏性：n-1 与 n 的平均对比 ----------
sigma2 = 4.0
bias_n1, bias_n = [], []
for _ in range(3000):
    s = rng.normal(scale=np.sqrt(sigma2), size=8)
    bias_n1.append(np.var(s, ddof=1))
    bias_n.append(np.var(s, ddof=0))
print("\nE[s^2, ddof=1]         :", np.mean(bias_n1), " 目标:", sigma2)
print("E[s^2, ddof=0]         :", np.mean(bias_n), " <- 系统性偏小")
print("理论值 (n-1)/n * sigma2:", (8 - 1) / 8 * sigma2)
```

**运行结果要点**：

1. 第 1 段的「差值」应为 $0$（或在 $10^{-15}$ 量级），直接验证了「协方差 = 中心化向量内积除以 $n-1$」这个几何事实。
2. 第 2 段的夹角余弦与 `np.corrcoef` 完全一致，验证「相关系数 = 夹角余弦」。
3. 第 4 段的 `rho` 在 $0$ 附近（抽样波动量级 $1/\sqrt{200000} \approx 0.002$），而两个概率明显不等，验证「不相关但不独立」。
4. 第 7 段中 `ddof=0` 的结果会明显小于 $4.0$（约 $3.5$），而 `ddof=1` 的结果接近 $4.0$，验证无偏性。

### 7.2 本篇新增数值实验：手算核对、圆盘反例、无偏性

> [!example] 题目（数值实验）
> 用 numpy 把本篇三件核心事情各验证一遍：
> (1) 例题 3-补充 的 5 个数据点，手算结果与 `np.var`/`np.cov`/`np.corrcoef` 是否一致；
> (2) 单位圆盘上的均匀分布：$\rho = 0$ 但两个分量不独立（定量给出条件概率与 $E[u^2v^2]$ 的证据）；
> (3) $n$ 与 $n-1$ 的无偏性实验。
>
> 本示例只用 numpy，无需额外安装。

```python
import numpy as np

rng = np.random.default_rng(seed=20261011)

# ============ 第 1 部分：例题 3-补充 的手算核对 ============
x = np.array([2.0, 4.0, 6.0, 8.0, 10.0])
y = np.array([1.0, 3.0, 2.0, 5.0, 4.0])
n = len(x)
xc, yc = x - x.mean(), y - y.mean()
print("[1] xbar =", x.mean(), " ybar =", y.mean())
print("[1] sum xc^2 =", xc @ xc, " sum yc^2 =", yc @ yc, " sum xc*yc =", xc @ yc)
print("[1] s_x^2(ddof=1) =", np.var(x, ddof=1), " s_y^2 =", np.var(y, ddof=1))
print("[1] cov =", (xc @ yc) / (n - 1), " np.cov =", np.cov(x, y)[0, 1])
print("[1] r =", (xc @ yc) / np.sqrt((xc @ xc) * (yc @ yc)),
      " np.corrcoef =", np.corrcoef(x, y)[0, 1])
print("[1] s_x^2(ddof=0) =", np.var(x, ddof=0), " s_y^2(ddof=0) =", np.var(y, ddof=0))
print("[1] r 用 n 做分母依然 =",
      (xc @ yc) / n / np.sqrt((xc @ xc) / n * (yc @ yc) / n))

# ============ 第 2 部分：单位圆盘，rho = 0 但不独立 ============
pts = rng.uniform(-1.0, 1.0, size=(400000, 2))
pts = pts[(pts ** 2).sum(axis=1) <= 1.0]      # 拒绝采样，只留圆盘内的点
u, v = pts[:, 0], pts[:, 1]
m = len(pts)
print("\n[2] 圆盘内点数 =", m, " 概率的抽样标准误 ~", 1 / (2 * np.sqrt(m)))
print("[2] E[u] =", u.mean(), " E[v] =", v.mean())
print("[2] Cov(u,v) =", np.cov(u, v)[0, 1])
print("[2] rho(u,v) =", np.corrcoef(u, v)[0, 1], " (理论 0)")
print("[2] E[u^2] =", np.mean(u ** 2), " (理论 0.25)")
print("[2] E[u^2 v^2] =", np.mean(u ** 2 * v ** 2), " (理论 0.0416667)")
print("[2] E[u^2]*E[v^2] =", np.mean(u ** 2) * np.mean(v ** 2), " (理论 0.0625)")
print("[2] 两期望之比 =", np.mean(u ** 2 * v ** 2) / (np.mean(u ** 2) * np.mean(v ** 2)),
      " (理论 0.6666667，若独立应为 1)")
p_u, p_v = np.mean(u > 0.5), np.mean(v > 0.5)
p_uv = np.mean((u > 0.5) & (v > 0.5))
print("[2] P(u>0.5) =", p_u, " (理论 0.1955011)")
print("[2] P(u>0.5,v>0.5) =", p_uv, " (理论 0.0250784)")
print("[2] P(u>0.5)*P(v>0.5) =", p_u * p_v)
print("[2] 联合/乘积 =", p_uv / (p_u * p_v), " (若独立应为 1)")
print("[2] 条件概率 P(v>0.5|u>0.5) =", np.mean(v[u > 0.5] > 0.5))

# ============ 第 3 部分：n 与 n-1 的无偏性 ============
sigma2, nn, trials = 4.0, 8, 200000
rng2 = np.random.default_rng(seed=7)
s = rng2.normal(scale=np.sqrt(sigma2), size=(trials, nn))
v1 = s.var(axis=1, ddof=1)        # 分母 n-1
v0 = s.var(axis=1, ddof=0)        # 分母 n
print("\n[3] n =", nn, " sigma^2 =", sigma2, " 试验次数 =", trials)
print("[3] E[s^2, ddof=1] =", v1.mean(), " (理论 4.0)")
print("[3] E[s^2, ddof=0] =", v0.mean(), " (理论", (nn - 1) / nn * sigma2, ")")
print("[3] 偏倚 ddof=0 =", v0.mean() - sigma2)
print("[3] 蒙特卡洛标准差 =", v1.std(ddof=1))

# ============ 第 4 部分：伯努利情形（例题 5-补充第 (3) 问）============
p, nn2, T = 0.3, 11, 200000
rng3 = np.random.default_rng(seed=99)
B = (rng3.random(size=(T, nn2)) < p).astype(float)
b1 = B.var(axis=1, ddof=1)
b0 = B.var(axis=1, ddof=0)
print("\n[4] 成功概率 p =", p, " n =", nn2, " sigma^2 = p(1-p) =", p * (1 - p))
print("[4] E[sum (x-xbar)^2] =", ((B - B.mean(axis=1, keepdims=True)) ** 2).sum(axis=1).mean())
print("[4] 理论 (n-1)sigma^2 =", (nn2 - 1) * p * (1 - p))
print("[4] E[s^2, ddof=1] =", b1.mean(), " (理论", p * (1 - p), ")")
print("[4] E[s^2, ddof=0] =", b0.mean(), " (理论", (nn2 - 1) / nn2 * p * (1 - p), ")")
print("[4] E[xbar] =", B.mean(), " (理论", p, ")")
print("[4] Var(xbar) =", B.mean(axis=1).var(ddof=1), " (理论", p * (1 - p) / nn2, ")")
```

**运行结果（实测输出，与上面的理论值逐项对齐）**：

```
[1] xbar = 6.0  ybar = 3.0
[1] sum xc^2 = 40.0  sum yc^2 = 10.0  sum xc*yc = 16.0
[1] s_x^2(ddof=1) = 10.0  s_y^2 = 2.5
[1] cov = 4.0  np.cov = 4.0
[1] r = 0.8  np.corrcoef = 0.7999999999999999
[1] s_x^2(ddof=0) = 8.0  s_y^2(ddof=0) = 2.0
[1] r 用 n 做分母依然 = 0.8

[2] 圆盘内点数 = 314021  概率的抽样标准误 ~ 0.000892
[2] E[u] = -0.0011184  E[v] = -6.666e-05
[2] Cov(u,v) = 5.9549e-05
[2] rho(u,v) = 0.00023789  (理论 0)
[2] E[u^2] = 0.25057947  (理论 0.25)
[2] E[u^2 v^2] = 0.04172817  (理论 0.0416667)
[2] E[u^2]*E[v^2] = 0.06266298  (理论 0.0625)
[2] 两期望之比 = 0.6659142  (理论 0.6666667，若独立应为 1)
[2] P(u>0.5) = 0.19507931  (理论 0.1955011)
[2] P(u>0.5,v>0.5) = 0.02487095  (理论 0.0250784)
[2] P(u>0.5)*P(v>0.5) = 0.03810812
[2] 联合/乘积 = 0.6526417  (若独立应为 1)
[2] 条件概率 P(v>0.5|u>0.5) = 0.1274915

[3] n = 8  sigma^2 = 4.0  试验次数 = 200000
[3] E[s^2, ddof=1] = 3.99937637  (理论 4.0)
[3] E[s^2, ddof=0] = 3.49945432  (理论 3.5)
[3] 偏倚 ddof=0 = -0.50054568
[3] 蒙特卡洛标准差 = 2.14126798

[4] 成功概率 p = 0.3  n = 11  sigma^2 = p(1-p) = 0.21
[4] E[sum (x-xbar)^2] = 2.10032818  (理论 2.1)
[4] 理论 (n-1)sigma^2 = 2.1
[4] E[s^2, ddof=1] = 0.21003282  (理论 0.21)
[4] E[s^2, ddof=0] = 0.19093893  (理论 0.19090909)
[4] E[xbar] = 0.29999182  (理论 0.3)
[4] Var(xbar) = 0.01905790  (理论 0.01909091)
```

**运行结果要点**：

1. **第 1 部分**：手算的 $40/4 = 10$、$10/4 = 2.5$、$16/4 = 4$、$r = 4/5 = 0.8$ 与 numpy 完全一致；换成 $n$ 分母后方差变成 $8$ 与 $2$，但 $r$ **仍然是 $0.8$**——直接验证了「$r$ 与分母选择无关」。
2. **第 2 部分**：$\rho$ 的模拟值 $0.00024$ 与理论值 $0$ 在抽样误差（$\sim 10^{-3}$ 量级）内一致，但三个**与独立性直接相关的量**都明显偏离「独立」的预测：若独立则应有 $\mathbb{E}[u^2v^2] = \mathbb{E}[u^2]\mathbb{E}[v^2] = \frac{1}{16}$，而实测比值是 $\frac{2}{3}$（理论值），**比独立的预测低了 $33\%$**，远超抽样误差；同样，联合概率与边缘概率之积的比值是 $0.653$（理论 $0.656$）而不是 $1$；条件概率 $P(v > 0.5 \mid u > 0.5) \approx 0.127$ 明显小于边缘概率 $P(v>0.5) \approx 0.196$——**知道 $u$ 很大反而让「$v$ 也大」变得更不可能**（因为 $u^2 + v^2 \le 1$）。这正是「知道了 $u$ 就改变了 $v$ 的分布」的确切含义，也就是不独立；而相关系数对这一切完全无感。
3. **第 3 部分**：`ddof=1` 的平均值 $3.9994$ 逼近 $\sigma^2 = 4$，`ddof=0` 的平均值 $3.4995$ 逼近 $\frac{7}{8}\times 4 = 3.5$，偏倚 $-0.5$ 与理论完全吻合。注意 $n$ 只有 $8$，偏差高达 $12.5\%$。
4. **第 4 部分**（例题 5-补充）：$\mathbb{E}\left[\sum(x_i-\bar{x})^2\right] \approx 2.1003$ 逼近理论值 $(n-1)\sigma^2 = 2.1$，从而 `ddof=1` 给出 $0.2100$（无偏），`ddof=0` 给出 $0.1909$（有偏，恰为 $\frac{10}{11}\times 0.21$）。

> [!warning] 数值实验的两个陷阱
> 1. **拒绝采样的效率**：第 2 部分从正方形里采样再筛掉圆盘外的点，接受率只有 $\frac{\pi}{4} \approx 78.5\%$，所以生成 $400000$ 个候选点后只剩 $314021$ 个。计算标准误要用**实际保留的点数** $m$。
> 2. **浮点误差与量级**：第 3 部分中 $\mathbb{E}[s^2]$ 的理论值 $4$ 与模拟值 $3.99937$ 有 $0.0006$ 的差距属于正常的蒙特卡洛波动（$200000$ 次试验下 $s^2$ 的标准差是 $2.14$，故均值的标准误是 $2.14/\sqrt{200000} \approx 0.0048$）。判断「是否无偏」时要把差距与这个标准误比较，而不是要求完全相等。

## 八、易错点

> [!warning] 六个高频错误
> 1. **以为期望的线性性需要独立**。$\mathbb{E}[aX+bY] = a\mathbb{E}[X]+b\mathbb{E}[Y]$ **永远成立**，只要期望存在。独立性只对**乘积** $\mathbb{E}[XY] = \mathbb{E}[X]\mathbb{E}[Y]$ 才需要。反过来说，看到「求 $\mathbb{E}[\sum X_i]$」就立刻逐项拆开，这是最省力的一步。
> 2. **把 $\rho = 0$ 当作独立**。$\rho$ 只度量**线性**关联。$Y = X^2$（$X$ 关于 $0$ 对称）就是 $\rho = 0$ 但强烈依赖的例子。$\rho=0$ 的正确结论是「不能用线性函数预测」。
> 3. **$n$ 与 $n-1$ 搞混**。$\frac{1}{n-1}\sum(x_i-\bar{x})^2$ 才是 $\sigma^2$ 的无偏估计；$\mu$ 已知时才用 $\frac{1}{n}\sum(x_i-\mu)^2$。代码里 `np.var(x)` 默认 `ddof=0`（除以 $n$），`np.cov`、`np.corrcoef` 默认除以 $n-1$——**同一份数据用两个函数会得到不同的「方差」**。
> 4. **相关性当作因果**。$\rho$ 大只说明两个变量有线性同步变化，不能推出谁导致谁（可能存在共同原因，也可能纯属巧合）。这是统计推断问题，不是线性代数问题，但却是最常见的误读。
> 5. **忘了中心化**。协方差用 $\mathbb{E}[XY] - \mu_X\mu_Y$ 或 $\mathbb{E}[\tilde{X}\tilde{Y}]$，两者等价；但直接对原始数据算 $\mathbf{x}^{\mathrm{T}}\mathbf{y}$ 得到的是**二阶矩**，不是协方差。$\mathbb{E}[XY]$ 与 $\operatorname{Cov}(X,Y)$ 只差 $\mu_X\mu_Y$，这个「差一项」正是把向量投影到常数子空间的那一步。
> 6. **用标准差当权重**。逆方差权重是 $w_i = 1/\sigma_i^2$，不是 $1/\sigma_i$。取错会让精度高的观测得不到应有的重视。

## 九、练习题

**练习 1（基础）**：设 $\operatorname{Var}(X) = 4$，$\operatorname{Var}(Y) = 9$，$\operatorname{Cov}(X,Y) = -4.5$。求 $\rho_{XY}$ 与 $\operatorname{Var}(2X - Y)$。

**练习 2（基础）**：设 $X$ 服从区间 $[0, 1]$ 上的均匀分布，令 $Y = 1 - X$。求 $\operatorname{Cov}(X,Y)$ 与 $\rho_{XY}$，并解释为什么 $|\rho| = 1$。

**练习 3（进阶）**：设 $X_1, \dots, X_n$ 独立同分布，$\mathbb{E}[X_i] = \mu$，$\operatorname{Var}(X_i) = \sigma^2$。用定理 1 与定理 4 证明 $\mathbb{E}[\bar{x}] = \mu$ 且 $\operatorname{Var}(\bar{x}) = \sigma^2/n$。指出每一步是否用到了独立性。

**练习 4（进阶）**：设 $X$ 与 $Y$ 不相关，$\operatorname{Var}(X) = \operatorname{Var}(Y) = 1$。求 $\operatorname{Var}(X + Y)$，并构造一个例子说明：**即使不相关，$X + Y$ 的方差也不一定等于 $X$ 与 $Y$ 各自方差之和的上界**——具体地，找出一对不相关的 $X, Y$ 使 $\operatorname{Var}(X+Y) > 2$。

**练习 5（思考）**：解释为什么 $\bar{x}_w = \sum w_i x_i / \sum w_i$ 在 $w_i = 1/\sigma_i^2$ 时给出最小方差的无偏估计。若把权重换成 $w_i = 1/\sigma_i$，估计是否还无偏？是否还是最小方差？（提示：无偏性只依赖 $\sum a_i = 1$。）

**练习 6（思考）**：在「随机变量是样本空间上的向量」的观点下，写出「两个随机变量独立」对应什么几何条件。为什么它不能简单翻译成向量空间里的某个等式？（提示：独立性是关于**联合分布**的条件，而内积只用到二阶矩。）

## 十、常见问题 FAQ

**Q1：$\mathbb{E}[X + Y] = \mathbb{E}[X] + \mathbb{E}[Y]$ 真的不需要独立吗？我见过的教材都强调独立。**

A：真的不需要。证明里只用到「联合分布的求和可以重新分组」（$\sum_{i,j} = \sum_i \sum_j$），与分布是否可分解无关。有些教材在讲 $\mathbb{E}[XY] = \mathbb{E}[X]\mathbb{E}[Y]$ 时反复强调独立，读者容易把结论错误地迁移到加法上。记住分界：**加法不需要独立，乘法需要（或者是「不相关」这个更弱的条件）**。

**Q2：为什么相关系数一定能落在 $[-1, 1]$？**

A：因为它是中心化向量的夹角余弦，而余弦天然在 $[-1,1]$ 内。形式化地说，Cauchy–Schwarz 不等式 $|\langle \tilde{X}, \tilde{Y}\rangle| \le \lVert \tilde{X}\rVert \lVert \tilde{Y}\rVert$ 直接给出 $|\operatorname{Cov}(X,Y)| \le \sigma_X\sigma_Y$。本库 [[1-2-长度与点积]] 已经证过同一个不等式，只是内积换了定义。

**Q3：样本方差为什么除以 $n-1$ 而不是 $n$？**

A：为了让 $S^2$ 的期望等于真方差 $\sigma^2$（无偏性）。因为用 $\bar{x}$ 代替 $\mu$ 会让离差平方和系统性偏小，平均值正好是 $\frac{n-1}{n}\sigma^2$，除以 $n-1$ 恰好补回。若 $\mu$ 已知则用 $n$；正态总体下用 $n$ 的是极大似然估计，虽然略有偏差但均方误差可能更小。**结论：做统计推断用 $n-1$，做描述性统计两者都行，但要在报告里写清楚。**

**Q4：不相关和正交是一回事吗？**

A：在「随机变量作为向量」的观点下，**是的**：不相关意味着中心化向量在加权内积下正交，即 $\langle \tilde X, \tilde Y\rangle = 0$。但要小心两点：(1) 内积是 $\mathbb{E}[\tilde X \tilde Y]$ 而不是普通点积；(2) 「不相关」说的是**中心化后**正交，原始向量 $X, Y$ 一般并不正交（除非均值恰为 $0$）。

## 本篇小结

### 核心结论（十条）

1. **随机变量是向量**。同一概率空间上的全体二阶矩有限随机变量构成内积空间 $L^2(\Omega)$，内积是 $\langle X, Y\rangle = \mathbb{E}[XY]$。定义在 $\Omega$ 上的每个随机变量都对应「一根很长的向量」。
2. **期望是线性泛函**：$\mathbb{E}[aX+bY] = a\mathbb{E}[X]+b\mathbb{E}[Y]$，**不需要独立**。它的核是零均值子空间，中心化就是投影到该子空间上。
3. **协方差就是内积**（在中心化向量上）：$\operatorname{Cov}(X,Y) = \langle \tilde{X}, \tilde{Y}\rangle$。
4. **方差是长度平方**：$\operatorname{Var}(X) = \lVert \tilde{X}\rVert^2$，**标准差是长度** $\sigma_X = \lVert \tilde{X}\rVert$。
5. **相关系数是夹角余弦**：$\rho_{XY} = \cos\theta$，与单位、与 $n$ 或 $n-1$ 的选择都无关。
6. **Cauchy–Schwarz 给出 $|\rho| \le 1$**，等号成立当且仅当两者有完全线性关系 $Y = aX + b$。
7. **勾股定理的翻译**：不相关即正交，此时 $\operatorname{Var}(X+Y) = \operatorname{Var}(X) + \operatorname{Var}(Y)$。
8. **独立 ⟹ 不相关，反之不成立**。协方差只看二阶矩，看不见非线性依赖；反例有两类：离散的 $Y = X^2$，连续的单位圆盘均匀分布。
9. **不相关 ⟹ 独立只在多元高斯下成立**（见 [[12-3-多元高斯与加权最小二乘]]），因为高斯的分布完全由 $\boldsymbol{\mu}$ 与 $\Sigma$ 决定。
10. **分母 $n-1$ 修的是自由度**：中心化把数据投影到 $n-1$ 维子空间，离差平方和的期望是 $(n-1)\sigma^2$，除以 $n-1$ 才无偏。用 $n$ 会**系统性**低估，偏差因子 $\frac{n-1}{n}$。

### 易混概念对照表

| 概念 A | 概念 B | 关键区别 | 是否有蕴含关系 |
|---|---|---|---|
| 独立 | 不相关 | 独立约束**整个联合分布**；不相关只约束**一个二阶矩** | 独立 $\Rightarrow$ 不相关；反向仅在高斯下成立 |
| $\mathbb{E}[aX+bY]$ 的线性性 | $\mathbb{E}[XY] = \mathbb{E}[X]\mathbb{E}[Y]$ | 前者是泛函的线性性；后者需要独立（或不相关） | 前者**无条件**成立 |
| 方差 $\operatorname{Var}(X)$ | 二阶矩 $\mathbb{E}[X^2]$ | 差一项 $\mu^2$；方差是内积（中心化后），二阶矩不是 | $\operatorname{Var} = \mathbb{E}[X^2] - \mu^2$ |
| 标准差 $\sigma_X$ | 方差 $\sigma_X^2$ | 标准差是**长度**，方差是**长度平方**；加权时权重用 **$1/\sigma^2$** | $\sigma_X = \sqrt{\operatorname{Var}(X)}$ |
| 样本方差分母 $n-1$ | 分母 $n$ | $n-1$ 无偏（$\mu$ 未知）；$n$ 是极大似然、有偏但 MSE 可能更小 | $\mathbb{E}[S^2_{n}] = \frac{n-1}{n}\sigma^2$ |
| $\rho = 0$ | 无关系 | $\rho = 0$ 只说明**没有线性**关联 | $\rho = 0 \nRightarrow$ 无关系 |
| 均值 $\mu$ 已知 | $\mu$ 未知 | 已知时用 $\frac{1}{n}\sum(x_i-\mu)^2$（无偏）；未知时才用 $n-1$ | — |
| $R^2$（回归） | $\rho^2$（相关） | 简单线性回归下相等；多元回归下 $R^2$ 是 $\rho^2$ 的推广 | 简单回归：$R^2 = \rho^2$ |

> [!tip] 自学检查清单
> 读完本篇，你应该能不看笔记回答：
> 1. 为什么 $\operatorname{Cov}(X,Y)$ 是内积？内积的公理（对称、双线性、正定）逐条对应协方差的哪条性质？
> 2. 只用「$\operatorname{Var}(\cdot)\ge 0$」证明 $|\rho| \le 1$，怎么证？
> 3. 举一个 $\rho = 0$ 但不独立的**连续型**例子，并说出「知道 $u$ 之后 $v$ 的分布怎么变」。
> 4. 为什么 $\mathbb{E}[S^2_{n-1}] = \sigma^2$？「自由度」在这句话里指什么？
> 5. 加权平均的权重为什么是 $1/\sigma^2$ 而不是 $1/\sigma$？

## 相关笔记

- [[1-2-长度与点积]]：Cauchy–Schwarz 不等式与夹角余弦的原始版本，本篇的相关系数就是它的概率版；向量内积的全部几何直觉都可以直接搬过来
- [[4-1-四大子空间的正交性]]：中心化是投影到常数子空间的正交补，本篇 1.7 节的「期望的核」就是这条正交分解的概率版
- [[4-2-投影与投影矩阵]]：期望是投影到常数子空间的坐标，方差是最优逼近的残差能量；「投影到 $k$ 维子空间消耗 $k$ 个自由度」也是 $n-1$ 分母的来源
- [[4-3-最小二乘逼近]]：本文 4.4 节的加权平均是加权最小二乘在「设计矩阵只有常数列」时的特例；最小二乘的 $R^2$ 就是本篇相关系数的平方
- [[10-4-傅里叶级数与函数空间]]：「函数作为向量」的一般框架，随机变量是其中一个特例；傅里叶系数与期望都是线性泛函
- [[12-2-协方差矩阵]]：把本篇的单变量结论推广到随机向量，协方差排成矩阵；$S = \frac{1}{n-1}X_c^{\mathrm{T}}X_c$ 就是「协方差 = 内积」的矩阵形式
- [[12-3-多元高斯与加权最小二乘]]：用协方差矩阵做加权与广义最小二乘；本篇的「不相关与独立」在那里有一个重要的例外条款
- [[7-3-主成分分析PCA]]：数据矩阵的「列」就是本篇所说的「$n$ 个样本点构成的空间中的向量」，PCA 就是在这组向量里找最大方差方向

## 参考来源

- MIT 18.06 Linear Algebra, Spring 2010（Gilbert Strang）——课程主页与讲义，第 12 章「概率统计中的线性代数」的讲授思路：https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/
- Gilbert Strang, *Introduction to Linear Algebra*（第 5 版）教材官方主页，对应章节的补充材料：https://math.mit.edu/~gs/linearalgebra/
- NumPy 官方文档 `numpy.cov`：默认除以 $N-1$（`bias=False`）、`ddof` 参数与加权协方差的算法说明：https://numpy.org/doc/stable/reference/generated/numpy.cov.html
- NumPy 官方文档 `numpy.corrcoef`：相关系数矩阵的定义 $R_{ij} = C_{ij}/\sqrt{C_{ii}C_{jj}}$ 与 $-1 \le R_{ij} \le 1$：https://numpy.org/doc/stable/reference/generated/numpy.corrcoef.html
- 教材（文字列名，非链接）：盛骤、谢式千、潘承毅《概率论与数理统计》（第五版），高等教育出版社——第四章「随机变量的数字特征」、第六章「样本及抽样分布」
