w wyl123ly 的博客
MD

12-1-均值方差与概率

73 KB 2026.10.11 原文件

12-1-均值方差与概率

一句话概括

把随机变量看成样本空间上的向量,期望就是这个向量空间上的线性泛函,中心化后的随机变量的协方差就是内积、方差就是长度的平方,于是相关系数顺理成章地成为夹角余弦,Cauchy–Schwarz 不等式直接给出 。

本篇覆盖:随机变量作为向量的完整框架( 与线性泛函)、期望的线性性(不需要独立)、方差与协方差的定义与几何意义、协方差 = 内积 / 方差 = 长度平方 / 相关系数 = 夹角余弦三大类比的建立与用法、由 Cauchy–Schwarz 推出 、加权平均与加权最小二乘的雏形、独立与不相关的区别(配两个反例并数值验证)、样本均值与样本方差中 与 的分母之争与无偏性。

本版的例题与实验:例题 3-补充(5 个数据点手算全部样本统计量)、例题 4-补充(连续型积分 + 双线性 + )、例题 5-补充(伯努利分布从零证明无偏性)、7.2 节的数值实验(手算核对 / 单位圆盘反例 / 无偏性 / 伯努利验证)。

一、定义

1.1 随机变量(random variable)就是样本空间上的函数

设 是概率空间。随机变量(random variable)是一个函数

它把每个样本点 映射成一个实数 。

关键一步:函数也是向量

本库在 10-4-傅里叶级数与函数空间 中已经确立了一个观点:函数可以当作向量——只要可以对它们做加法与数乘,并且加法与数乘满足八条公理。

定义在同一个样本空间 上的全体随机变量,在逐点加法

与逐点数乘

下构成一个实向量空间。特别地,常数随机变量(对每个 都取同一个值 的函数)构成这个空间的一个一维子空间,记作 方向,即由常向量张成的「常数子空间」。

于是本库第 1 章关于长度与点积、第 4 章关于投影的全部几何语言,都可以搬过来用。这就是本篇的核心视角。

1.2 期望(expectation)是线性泛函

对离散型随机变量,若 取值 ,对应概率 ,定义

对连续型随机变量,若密度为 ,定义

(要求级数或积分绝对收敛,否则称期望不存在。)

期望就是一个线性泛函:它把向量空间里的一个随机变量映射成一个实数,且保持加法与数乘。这一点在下一节展开。

1.3 中心化(centering)与方差(variance)

记 。称

为 的中心化(centered)随机变量,显然 ,即中心化把向量 投影到常数子空间的正交补上(见 1.7 节的线性泛函观点与 2.2 节的投影解释)。

方差(variance)定义为

标准差(standard deviation)为 。

1.4 协方差(covariance)与相关系数(correlation coefficient)

设 ,,定义

相关系数(correlation coefficient)为

其中要求 且 。

1.5 独立(independent)与不相关(uncorrelated)

与 独立,指对任意实数 有

(离散情形等价于 。)

与 不相关,指 (等价地 )。

两个词长得很像,含义却完全不同

「独立」是关于联合分布能否分解的强条件;「不相关」只要求一个二阶矩为零。第五节给出定理与反例。

1.6 样本均值与样本方差

设 是来自某个总体的 个独立观测。定义

样本方差用 做分母,这一点在 1.10 节详细解释(三种分母的适用场景见那里的对照表)。

1.7 把随机变量当作向量:期望是线性泛函

这是本篇第一个核心类比,值得单独抽出来说清楚。考虑样本空间 上的全体二阶矩有限的随机变量,记作

在逐点加法 、逐点数乘 与内积

下, 是一个内积空间(完备化之后是 Hilbert 空间)。术语首次出现给英文:内积空间(inner product space)。

期望是一个线性泛函(linear functional)。所谓线性泛函,就是从向量空间到实数域的线性映射:

注意这里的因与果和一般教材相反:一般教材先定义期望、再「发现」它是线性的;向量空间的视角则把「线性性」当作定义性特征——期望是 上最自然的线性泛函。

为什么强调「线性泛函」这个词

一旦把 认成线性泛函,下面三件事立刻变得显然:

1. 它由内积表示。由 Riesz 表示定理(有限维情形就是 1-2-长度与点积 里的「投影」),存在唯一的 使 。这一步看似是同义反复,但它的几何含义很深:期望就是 在常向量方向上的投影坐标。

2. 泛函的核就是零均值子空间。 是一个子空间(零均值随机变量的全体),维数是 。中心化 正是投影到 上(沿着 方向分解)。

3. 秩—零化度定理的类比:,因为 的「秩」是 (像空间是整个 )。这与 3-5-四大子空间的维数 里 是同一个陈述,只是把矩阵换成了线性泛函。

更一般地:矩阵 的每一行都是一个线性泛函。 的第 个分量就是第 行与 的内积。所以「随机变量的向量观点」与第 1、3 章的内容是同一套语言。

「随机变量作为向量」这条线索在后面的用法:10-4-傅里叶级数与函数空间 用同一套观点把函数看成向量(傅里叶系数就是投影坐标);7-3-主成分分析PCA 里每个样本是一个向量、每个变量是数据矩阵的一列——列就是「 个样本点构成的空间中的向量」,与本节把随机变量看成「 上的向量」是同一个构造;后面的 12-2-协方差矩阵 则把这个向量空间结构整块搬给随机向量。

1.8 协方差是内积、方差是长度平方、相关系数是夹角余弦

这是全篇的核心类比,也是理解协方差矩阵、马氏距离、广义最小二乘的总钥匙。

先把「内积」从原始随机变量搬到中心化随机变量上。由双线性性(定理 4),对中心化向量

有

于是三个概率概念与三个几何概念一一对应:

概率概念几何概念公式
中心化随机变量 向量
协方差 内积
方差 长度平方
标准差 长度(范数)
相关系数 夹角余弦
不相关()正交
与 独立无对应几何条件独立是联合分布的性质,不是二阶矩的性质

这张表要背下来

它不是「类比」——在 里这就是同一个东西的两种写法。凡是内积空间里成立的几何定理(勾股定理、Cauchy–Schwarz、投影最优性、Gram 矩阵的秩),搬到概率论里立刻就是一条概率定理。

举三个直接后果:

1. 勾股定理:若 (不相关),则 ,即 。这就是「不相关时方差可加」。

2. 平行四边形法则:(无论是否相关)。

3. Gram 矩阵半正定: 是中心化向量组的 Gram 矩阵,必然半正定,所以 ,立刻得到 (下一小节)。

由 Cauchy–Schwarz 推出 。1-2-长度与点积 中的 Cauchy–Schwarz 不等式对任何内积都成立,直接套用:

两边除以 :

即

等号条件也照搬:Cauchy–Schwarz 取等 两个向量共线 存在常数 使 存在 使 (几乎必然)。这正是定理 5 的结论,几何证明比代数证明(判别式法)更短、更直观。

「 是夹角余弦」有一个前提

必须先中心化。原始向量 的内积是 (二阶矩),不是协方差。只有当 时两者才重合。这是最常见的误用:直接把未中心化的数据点积起来当协方差。

1.9 独立 ⟹ 不相关,反之不成立

正向: 独立且二阶矩存在 。证明见定理 6(只用到 这一步)。

反向不成立: 推不出独立。原因是信息量的不对称:

  • 「独立」要求联合分布满足 ,即整个分布函数分解为乘积——这是关于分布的全部信息的陈述;
  • 「不相关」只要求一个数(二阶混合中心矩)为零——它只看到二阶矩。

去掉「独立」会怎样

由于协方差只用二阶矩,「 关于 的对称非线性依赖」在协方差里完全不可见。例如 且 关于 对称时,正负两半的贡献精确抵消。所以:

- 的正确结论是「没有线性关联」,绝不能说「没有关联」;

- 反过来, 一定意味着有某种关联(至少有线性关联),所以 不独立——这是逆否命题,是应用中最常用来证「不独立」的手段(见例题 1 的第 4 步)。

两个反例,都用数值验证:

反例 A(离散,): 等可能地取 ,。手算(细节见定理 6 与例题 2):,,,故 。但

反例 B(连续,单位圆盘上的均匀分布):设 在单位圆盘 上均匀分布(密度 在圆盘内,圆盘外为 )。由对称性 ,且

(被积函数关于 为奇函数,区域对称。)所以 ,。但 与 明显不独立:知道 就几乎确定了 (因为 ),而 的边缘分布显然不是这样。定量地(推导与数值见例题 5-补充)条件概率与边缘概率不等:

反例 B 的价值在于它是连续型的, 不是 的函数(没有反例 A 那种「 由 完全决定」的强烈结构),依赖关系只体现在「支撑集是圆盘而不是正方形」这一几何形状里。协方差对这种「形状上的依赖」同样视而不见。

什么时候「不相关 ⟹ 独立」成立? 只有一个重要例外:联合分布是多元高斯。此时密度函数完全由 与 决定,没有更高阶的依赖结构可以藏在协方差看不见的地方。证明见 12-3-多元高斯与加权最小二乘 定理 2。这是高斯分布最独特、最实用的性质之一。

1.10 分母 与 :无偏性到底在修什么

问题的提出:为什么样本方差用 而不是 ?答案是无偏性(unbiasedness):希望估计量的期望等于被估参数。第四节已经给出完整证明 ,这里补充三点「为什么」与「去掉条件会怎样」。

(1) 偏差来自哪里——自由度被吃掉一个。 用 代替真值 时, 本身是从同一批数据里算出来的,它自动落在这批数据的「中心」。于是离差 满足一个线性约束:

个离差里只有 个可以自由变动(知道任意 个,最后一个就被约束确定了)。几何地说:中心化把数据向量投影到了 维的子空间 上,投影后向量的「能量」自然只有原来的 倍:

除以 恰好补回这个投影损失。这与 4-2-投影与投影矩阵 中「投影到 维子空间后自由度是 」是同一个道理:自由度 = 子空间的维数。

(2) 用 会怎样——系统性偏小。 。偏差因子 只与 有关:

偏差因子 相对偏差

小样本时偏差巨大( 时低估一半),大样本时几乎无所谓——这就是为什么很多机器学习库默认用 (ddof=0)而统计软件默认用 。

(3) 去掉无偏性要求会怎样——均方误差可能更小。 「无偏」不是唯一的好标准。若用均方误差(MSE) 衡量,有经典的权衡:

把分母从 改成 引入一个小的偏差,但同时把估计量的方差也压低了。在正态总体下可以算出:当 较大时, 的 MSE 严格小于 。这不是悖论,而是「用一点偏差换更多方差」的标准操作——统计学中大量收缩估计(shrinkage)、岭回归都是这个思路(11-2-范数与条件数 讨论的正则化与这里同源)。

三种分母的适用场景:

分母名称无偏估计的对象典型使用场景
极大似然估计 / 有偏样本方差有偏(低估 )描述性统计、np.var 默认、机器学习中当 很大时
无偏样本方差(当 未知)统计推断、np.cov/np.corrcoef 默认
(但用已知 )—(当 已知)已知真值时(例如校准实验)

相关系数不要纠结分母

因为 与 在 的分子分母里同时出现、完全约掉,样本相关系数对分母选择不敏感(见例题 3-补充第 7 步)。真正受影响的是方差与协方差的绝对大小,进而影响任何依赖绝对尺度的量(如置信区间宽度、 统计量、马氏距离的阈值标定)。

二、几何直观

2.1 随机变量是「一根很长的向量」

把 想成有限个等可能样本点。那么一个随机变量 就是一张数值表:

这看起来完全就是 中的一个向量!于是:

概率概念线性代数对应物说明
随机变量 向量 样本空间上的函数
期望 沿常向量 的投影坐标线性泛函
中心化 减去沿 的分量投影到
方差 (加权)长度的平方
协方差 (加权内积)内积
相关系数 夹角余弦 Cauchy–Schwarz 给界
独立的随机变量正交的向量但逆命题不成立

这就是本篇要反复使用的翻译表。有了它,第 1 章的全部几何直觉都能移植到概率论。

2.2 期望是「投影到常数向量上」

在有限等可能情形,配合加权内积

常向量 的长度平方是 ,它是单位向量。于是

期望就是 在单位常向量上的投影坐标(用 4-2-投影与投影矩阵 的语言:投影矩阵 ,投影后的向量是 ,即把 换成它的平均值)。中心化

就是减去投影、留下正交补中的分量(对应 4-1-四大子空间的正交性 里的正交分解)。这正是「残差」一词的来源。

2.3 方差是「到均值距离的平方」

把 看成向量,把常数向量 看成「最接近 的常向量」,那么

(在加权内积下。)所以方差是残差向量的能量,也就是「 离「用常数去逼近它」的最优逼近有多远」。

一个不等式立刻可见

常数 中使 最小的就是 。这其实就是「投影到一维子空间上取最优」的最简单情形,证明见下一节的定理 3。方差的几何意义正是这个最小值本身。

2.4 协方差是内积,相关系数是夹角余弦

在加权内积 下,中心化随机变量 的内积恰好是协方差:

而 。于是相关系数

相关系数就是两个中心化向量之间的夹角余弦。 这是本篇最重要的结论。

由此:

  • 表示夹角 : 与 同向, 与 有完全正线性关系;
  • 表示夹角 :完全负线性关系;
  • 表示正交:中心化向量垂直,一个无法由另一个线性预测;
  • 越大,数据点云越接近一条直线。

三、性质与定理

定理 1(期望的线性性)不需要独立性

表述:设 是期望存在的随机变量,,则

条件:只要 与 都存在(绝对收敛)。完全不要求 独立。

证明(离散情形):设 的联合分布为 ,边缘分布为 、。则

连续情形把求和换成积分、把 换成联合密度 ,用 Fubini 定理交换积分次序即可。

为什么强调「不需要独立」

证明中只用到联合分布求和可以重新分组(Fubini / 重排),从未用到 。很多初学者套用「 需要独立」的记忆,误以为加法也有同样要求。加法永远不需要独立。

对比记忆:

| 等式 | 是否需要独立 |

|---|---|

| | 不需要 |

| | 需要(或至少不相关) |

| | 需要不相关(独立是充分条件) |

定理 2(方差的移位公式)

表述:

条件:。

证明:直接展开,并用定理 1 的线性性( 与 当然不独立,但加法线性性不需要独立):

(第三步对常数 用了 ;对 用了数乘线性性。)

定理 3(方差的最小性:均值是最优常数逼近)

表述:对任意常数 ,

等号成立当且仅当 。

证明:令 (用了定理 1)。这是关于 的二次函数,开口向上,对称轴在

代回得最小值 。

几何解读: 是常数子空间中距离 最近的向量,方差是最近距离的平方。这正是 4-2-投影与投影矩阵 中「投影是最优逼近」的一维特例。

定理 4(协方差的双线性性与方差公式)

表述:协方差是对称双线性的:

特别地,

条件:涉及的一切二阶矩存在。

证明:由定义与定理 1。记 ,则 ,于是 。于是

几何解读:协方差是内积,内积当然双线性。这条定理就是「内积的双线性性」的翻译。注意:双线性不需要任何独立性。

定理 5(Cauchy–Schwarz 不等式与 )

表述:若 ,则

从而 。等号成立(即 )当且仅当存在常数 与 使 几乎必然成立。

证明(用二次函数的判别式,不用引用抽象的 Cauchy–Schwarz):对任意实数 ,考虑

(第一个等号用了定理 4,最后的不等号因为方差非负。)这是开口向上()的二次函数且恒非负,故判别式非正:

整理即得 。两边除以 得 。

等号情形: 意味着存在 使 ,即 ,也就是 几乎必然是常数,。

这本质上就是 1-2-长度与点积 中的 Cauchy–Schwarz 不等式

,只不过内积换成了 。第 1 章的证明(对 用判别式)与此处逐字相同,因为两者都是「非负二次型 + 判别式」的套路。

定理 6(独立 ⟹ 不相关;反之不成立)

表述:若 与 独立且二阶矩存在,则 。反之不成立。

证明(正向):独立时有 (对离散情形:)。于是

(注意中间用到的是加法线性性,仍然不需要独立;只有 这一步用到了独立。)

反向的反例:取

即 等可能地取 三个值:。

先算 ,故 。而 。

所以 与 不相关。但它们显然不独立:因为 完全由 决定,例如

而

联合分布无法分解,故不独立。(也可以看 。)

反例的要点

是 的非线性函数。协方差只探测线性关联,对 关于 对称的非线性依赖完全「看不见」。 的正确解读是「没有线性关联」,而不是「没有关系」。

四、计算方法与步骤

4.1 手算 与 的步骤

  1. 列联合分布表:把 写成矩阵形式,行对应 、列对应 。
  2. 求边缘分布:对行求和得 ,对列求和得 。
  3. 求均值:,。
  4. 求二阶矩:,,。
  5. 求方差:,。
  6. 求协方差:。
  7. 求相关系数:。

4.2 用数据估计的步骤(样本版本)

  1. 算出样本均值 、。
  2. 中心化:,。
  3. 样本协方差:。
  4. 样本方差:, 同理。
  5. 样本相关系数:(注意 上下抵消)。

第 3 步就是「中心化向量的内积除以 」

把中心化后的数据写成列向量 ,则

这是本篇「协方差就是内积」在有限样本上的直接落地,代码示例会亲手验证它。

4.3 为什么样本方差用 :无偏性(unbiasedness)

设 是独立同分布观测,,。定义

证明 :

先算一个恒等式。由

(展开右边:,而左边 ,两边相等。)

取期望,并用定理 1(线性性,不需要独立):

而

(这里用到独立: 要求两两不相关,见定理 4 的推论。)于是

故 。

直觉解释:用 代替未知的 ,会让离差平方和系统性偏小——因为 本身就是让 最小的那个 (定理 3 的样本版本)。偏差恰好是「被估计掉一个自由度」,除以 正好补回来。

那 什么时候用? 当 已知时, 才是无偏的;另外, 是 的极大似然估计(正态总体下),它有偏但均方误差可能更小。np.var 与 np.cov 的默认参数就是这个区别(ddof=0 vs ddof=1)。

4.4 加权平均与加权最小二乘的雏形

加权平均(weighted average):若观测 的可信度不同,用权重 表示,取

它的最优性: 是最小化加权残差平方和的常数:

证明(对 求导):令 ,则

解得 。又 ,故为最小值点。

权重怎么取? 若 的观测误差方差为 ,则取

即方差越小(越可信)权重越大。这一点在第 12-3 篇的加权最小二乘中会被完整推导;这里先记住:权重是方差之倒数,不是标准差之倒数。

为什么这样取权最优

若 是某个共同真值 的独立无偏观测,,考虑线性组合 ,约束 。则

在约束下最小化它(Lagrange 乘子法)得 ,即加权平均的权重。这就是「权重 时估计方差最小」的完整理由。

五、例题

例题 1(完整计算协方差与相关系数)

题目:下表给出 (某零件长度偏差)与 (某零件重量偏差)的联合分布,求 与 。

行和
列和

解答:

第 1 步:边缘分布(见上表最后一行与最后一列):

第 2 步:均值

第 3 步:二阶矩

同理 。

第 4 步:方差

标准差 。

第 5 步:(逐格累加 ):

第 6 步:协方差

第 7 步:相关系数

结论:,接近 1,说明 与 有较强的正线性关联。

顺带验证独立性:若独立应有 ,故不独立。这里「不独立」与「」一致,符合「独立 ⟹ 不相关」的逆否命题。

例题 2(独立但不相关?不,是「不相关但不独立」)

题目:设 等可能地取 ,令 。

(1) 求 与 。

(2) 判断 与 是否独立。

解答:

(1) 。

的分布:,。

故 。 与 不相关。

(2) 检验 这个格子:

两者不等(),故 与 不独立。

结论:这是「不相关但不独立」的标准反例。协方差只看线性关联, 的对称非线性依赖被完全漏掉了。

例题 3-补充(5 个数据点:手算均值、标准差、协方差、相关系数)

题目

某实验测了 5 组数据,自变量 与控制量 的观测值如下表( 已按升序排列)。

| 编号 | 1 | 2 | 3 | 4 | 5 |

|---|---|---|---|---|---|

| | | | | | |

| | | | | | |

求:(1) 样本均值 ;(2) 样本方差 ( 分母)与标准差;(3) 样本协方差 ;(4) 样本相关系数 ;(5) 若改用 做分母, 与 各变成多少?

解答:

第 1 步:求均值。先算和:

于是

第 2 步:中心化(这一步是协方差与内积对应关系的入口,绝不能省)。逐点减去均值:

验证中心化的定义性质: ✓, ✓。中心化后向量与常向量 正交,这正是 1.7 节的几何内容。

第 3 步:算三个内积。

第 4 步:方差与标准差(分母 ):

第 5 步:协方差:

第 6 步:相关系数。注意 在分子分母里同时出现、互相抵消:

第 7 步:换成 分母会怎样。

而相关系数

与第 6 步完全相同。这不是巧合: 的分子分母都是二次型, 与 的差别以同一个因子 出现在三处,整体约掉。

结论:,是一组中等偏强的正线性关联。 与 或 的选择无关——这正是「相关系数是夹角余弦」的直接后果:余弦只依赖两个向量的方向,不依赖它们的长度如何被归一化。

例题 4-补充(连续型:用积分验证双线性、协方差与 )

题目

设 在区间 上均匀分布(密度 ,),,令 。

(1) 用积分求 、、、;

(2) 验证 ,并求 ;

(3) 求 ,并解释为什么 。

解答:

第 1 步: 与 。代入连续型定义 (这里 ):

于是

第 2 步: 的各阶矩( 只是 的线性函数, 是常数,提到期望外):

这一步就是定理 4 的一维版本:。记住是 而不是 ——方差是长度平方,缩放 倍长度,平方就变成 倍。

第 3 步:验证 。左边:

右边:

两边相等 ✓。注意这里 完全由 决定(极不独立),线性性照样成立——再次印证「加法不需要独立」。

第 4 步:。先算 :

第 5 步:(用定理 4 的双线性,常数因子直接提出来):

第 6 步::

为什么恰好等于 1:由定理 5 的等号条件, 当且仅当 是 的仿射函数。这里 正是如此,所以两个中心化向量 同向(),夹角为 ,余弦为 。若取 ,则 与 反向,,夹角 。

用这道题记三个结论

1. ,——常数按幂次提出;

2. 平移不改变方差与协方差:;

3. 是「完全线性关系」的充要条件,与 的具体大小无关。

例题 5-补充(二值随机变量:从零证明无偏性,并用数值实验验证)

题目

设 是成功概率为 的伯努利试验结果(取值 或 ),相互独立。

(1) 求 与 ;

(2) 证明 ,并给出 的期望;

(3) 取 、,用数值实验验证 (2);

(4) 说明 时会发生什么。

解答:

(1) 把每个 写成指示函数 ,则 ,。由期望的线性性(不需要独立):

由独立性():

第 (1) 问的分界点: 只用线性性; 用了不相关(独立是充分条件)。

(2) 记 、。先回顾第四节用过的恒等式(这里再走一遍,因为它是本节的核心):

验证恒等式:右边 ;

左边 。两边相等 ✓。

两边取期望,用线性性:

(第一个期望是 ,共 项;第二个期望是 ,用了第 (1) 问。)于是

而用 做分母时:

系统性偏小,偏差因子恰好是 。

(3) 数值实验:取 ,,则 ,。重复 次,代码与完整输出见 7.2 节的第 4 部分,结论如下表:

统计量理论值模拟值
(分母 ) 附近
(分母 ) 附近

(4) 时:,离差平方和为 , 的分母变成 ——样本方差无定义。这不是数学缺陷,而是信息论上的必然:一个观测无法同时提供「位置」与「散布」两个信息。同理, 个样本里有 个自由度被均值消耗,真正用于估计散布的只有 个。

这道题最容易错的地方

用 代替 会让离差平方和偏小,因为 本身是使 最小的那个 (定理 3 的样本版)。所以偏差方向是确定的:分母用 一定低估,不会高估。千万别以为「偏差有大有小、平均下来差不多」——它是系统性的。

六、应用

场景用到的线性代数结构
测量数据的加权平均(不同仪器精度不同)权重 ,加权最小二乘雏形
金融资产组合收益的方差(见 [[12-2-协方差矩阵]])
特征筛选(丢掉与目标不相关的特征) 表示中心化向量正交
最小二乘回归的 (简单线性回归情形)
卡尔曼滤波 / 传感器融合逆方差加权 = 精度加权(precision weighting)
蒙特卡洛估计误差,收敛速度

工程上的典型用法:把「期望是线性泛函」用在传感器融合上。若有 个独立无偏测量,各自方差 ,则最优(最小方差无偏)融合结果就是

这与第 12-3 篇的加权最小二乘公式是同一个东西在「设计矩阵为常数列」时的特例。

七、可运行代码示例

7.1 原始版:协方差 = 内积、相关系数 = 夹角余弦

本示例只用 numpy,无需额外安装。本篇新增的数值实验见下一小节 7.2。

import numpy as np

rng = np.random.default_rng(seed=20261011)

# ---------- 1. 生成数据,验证协方差 = 中心化向量的内积 / (n-1) ----------
n = 200
x = rng.normal(loc=3.0, scale=2.0, size=n)
y = -1.5 * x + rng.normal(loc=0.0, scale=1.0, size=n)

xc = x - x.mean()          # 中心化
yc = y - y.mean()
n = len(x)

cov_manual = (xc @ yc) / (n - 1)          # 内积 / (n-1)
cov_numpy = np.cov(x, y)[0, 1]            # numpy 内置
print("手算公式 (内积/(n-1)) :", cov_manual)
print("np.cov 结果           :", cov_numpy)
print("差值                  :", abs(cov_manual - cov_numpy))
print("普通内积 xc @ yc      :", xc @ yc, "  <- 注意它没有归一化")

# ---------- 2. 相关系数就是夹角余弦 ----------
cos_angle = (xc @ yc) / (np.linalg.norm(xc) * np.linalg.norm(yc))
rho_numpy = np.corrcoef(x, y)[0, 1]
print("\n夹角余弦               :", cos_angle)
print("np.corrcoef            :", rho_numpy)
print("用 np.cov 反推 rho     :", cov_numpy / np.sqrt(np.cov(x) * np.cov(y)))
# 注意:np.cov(x, y) 传两个一维数组会返回 2x2 矩阵!
# 想得到单个变量的方差(标量)要只传一个数组:np.cov(x)
print("np.cov(x, y) 的形状    :", np.cov(x, y).shape, " <- 2x2 矩阵")
print("np.cov(x) 的形状       :", np.asarray(np.cov(x)).shape, " <- 标量")

# ---------- 3. 方差 = 中心化向量长度的平方 / (n-1) ----------
var_manual = (xc @ xc) / (n - 1)
print("\n方差(长度平方/(n-1))   :", var_manual, " vs np.var(ddof=1):",
      np.var(x, ddof=1))
print("np.var 默认 ddof=0     :", np.var(x), "  <- 分母是 n")

# ---------- 4. 反例:Y = X^2,不相关但不独立 ----------
X = rng.choice([-1, 0, 1], size=200000, p=[1/3, 1/3, 1/3])
Y = X ** 2
print("\n[反例] Cov(X, X^2)     :", np.cov(X, Y)[0, 1])
print("[反例] rho(X, X^2)     :", np.corrcoef(X, Y)[0, 1])
# 独立性检验:若独立应有 P(X=1,Y=1) == P(X=1)*P(Y=1)
p_joint = np.mean((X == 1) & (Y == 1))
p_prod = np.mean(X == 1) * np.mean(Y == 1)
print("[反例] P(X=1,Y=1)      :", p_joint)
print("[反例] P(X=1)*P(Y=1)   :", p_prod, "  <- 明显不等,故不独立")
# 条件分布也不等于边缘分布
print("[反例] P(Y=1|X=1)      :", np.mean(Y[X == 1] == 1))

# ---------- 5. 期望的线性性:不需要独立 ----------
a, b = 2.5, -0.7
print("\nE[aX+bY] 蒙特卡洛       :", np.mean(a * x + b * y))
print("aE[X]+bE[Y]            :", a * x.mean() + b * y.mean())

# 强相关(不独立)的数据上再验一次
u = rng.normal(size=100000)
v = u + 0.001 * rng.normal(size=100000)     # v 与 u 几乎完全相关
print("E[2u-3v]               :", np.mean(2 * u - 3 * v))
print("2E[u]-3E[v]            :", 2 * u.mean() - 3 * v.mean())

# ---------- 6. 加权平均:权重 = 方差的倒数 ----------
truth = 5.0
sigmas = np.array([0.1, 1.0, 10.0])          # 三个精度悬殊的仪器
obs = truth + rng.normal(scale=sigmas)
w = 1.0 / sigmas ** 2                        # 逆方差权重
print("\n观测值                 :", obs)
print("简单平均               :", obs.mean())
print("加权平均(逆方差权重)   :", (w @ obs) / w.sum())
print("权重                   :", w / w.sum())

# ---------- 7. 无偏性:n-1 与 n 的平均对比 ----------
sigma2 = 4.0
bias_n1, bias_n = [], []
for _ in range(3000):
    s = rng.normal(scale=np.sqrt(sigma2), size=8)
    bias_n1.append(np.var(s, ddof=1))
    bias_n.append(np.var(s, ddof=0))
print("\nE[s^2, ddof=1]         :", np.mean(bias_n1), " 目标:", sigma2)
print("E[s^2, ddof=0]         :", np.mean(bias_n), " <- 系统性偏小")
print("理论值 (n-1)/n * sigma2:", (8 - 1) / 8 * sigma2)

运行结果要点:

  1. 第 1 段的「差值」应为 (或在 量级),直接验证了「协方差 = 中心化向量内积除以 」这个几何事实。
  2. 第 2 段的夹角余弦与 np.corrcoef 完全一致,验证「相关系数 = 夹角余弦」。
  3. 第 4 段的 rho 在 附近(抽样波动量级 ),而两个概率明显不等,验证「不相关但不独立」。
  4. 第 7 段中 ddof=0 的结果会明显小于 (约 ),而 ddof=1 的结果接近 ,验证无偏性。

7.2 本篇新增数值实验:手算核对、圆盘反例、无偏性

题目(数值实验)

用 numpy 把本篇三件核心事情各验证一遍:

(1) 例题 3-补充 的 5 个数据点,手算结果与 np.var/np.cov/np.corrcoef 是否一致;

(2) 单位圆盘上的均匀分布: 但两个分量不独立(定量给出条件概率与 的证据);

(3) 与 的无偏性实验。

本示例只用 numpy,无需额外安装。

import numpy as np

rng = np.random.default_rng(seed=20261011)

# ============ 第 1 部分:例题 3-补充 的手算核对 ============
x = np.array([2.0, 4.0, 6.0, 8.0, 10.0])
y = np.array([1.0, 3.0, 2.0, 5.0, 4.0])
n = len(x)
xc, yc = x - x.mean(), y - y.mean()
print("[1] xbar =", x.mean(), " ybar =", y.mean())
print("[1] sum xc^2 =", xc @ xc, " sum yc^2 =", yc @ yc, " sum xc*yc =", xc @ yc)
print("[1] s_x^2(ddof=1) =", np.var(x, ddof=1), " s_y^2 =", np.var(y, ddof=1))
print("[1] cov =", (xc @ yc) / (n - 1), " np.cov =", np.cov(x, y)[0, 1])
print("[1] r =", (xc @ yc) / np.sqrt((xc @ xc) * (yc @ yc)),
      " np.corrcoef =", np.corrcoef(x, y)[0, 1])
print("[1] s_x^2(ddof=0) =", np.var(x, ddof=0), " s_y^2(ddof=0) =", np.var(y, ddof=0))
print("[1] r 用 n 做分母依然 =",
      (xc @ yc) / n / np.sqrt((xc @ xc) / n * (yc @ yc) / n))

# ============ 第 2 部分:单位圆盘,rho = 0 但不独立 ============
pts = rng.uniform(-1.0, 1.0, size=(400000, 2))
pts = pts[(pts ** 2).sum(axis=1) <= 1.0]      # 拒绝采样,只留圆盘内的点
u, v = pts[:, 0], pts[:, 1]
m = len(pts)
print("\n[2] 圆盘内点数 =", m, " 概率的抽样标准误 ~", 1 / (2 * np.sqrt(m)))
print("[2] E[u] =", u.mean(), " E[v] =", v.mean())
print("[2] Cov(u,v) =", np.cov(u, v)[0, 1])
print("[2] rho(u,v) =", np.corrcoef(u, v)[0, 1], " (理论 0)")
print("[2] E[u^2] =", np.mean(u ** 2), " (理论 0.25)")
print("[2] E[u^2 v^2] =", np.mean(u ** 2 * v ** 2), " (理论 0.0416667)")
print("[2] E[u^2]*E[v^2] =", np.mean(u ** 2) * np.mean(v ** 2), " (理论 0.0625)")
print("[2] 两期望之比 =", np.mean(u ** 2 * v ** 2) / (np.mean(u ** 2) * np.mean(v ** 2)),
      " (理论 0.6666667,若独立应为 1)")
p_u, p_v = np.mean(u > 0.5), np.mean(v > 0.5)
p_uv = np.mean((u > 0.5) & (v > 0.5))
print("[2] P(u>0.5) =", p_u, " (理论 0.1955011)")
print("[2] P(u>0.5,v>0.5) =", p_uv, " (理论 0.0250784)")
print("[2] P(u>0.5)*P(v>0.5) =", p_u * p_v)
print("[2] 联合/乘积 =", p_uv / (p_u * p_v), " (若独立应为 1)")
print("[2] 条件概率 P(v>0.5|u>0.5) =", np.mean(v[u > 0.5] > 0.5))

# ============ 第 3 部分:n 与 n-1 的无偏性 ============
sigma2, nn, trials = 4.0, 8, 200000
rng2 = np.random.default_rng(seed=7)
s = rng2.normal(scale=np.sqrt(sigma2), size=(trials, nn))
v1 = s.var(axis=1, ddof=1)        # 分母 n-1
v0 = s.var(axis=1, ddof=0)        # 分母 n
print("\n[3] n =", nn, " sigma^2 =", sigma2, " 试验次数 =", trials)
print("[3] E[s^2, ddof=1] =", v1.mean(), " (理论 4.0)")
print("[3] E[s^2, ddof=0] =", v0.mean(), " (理论", (nn - 1) / nn * sigma2, ")")
print("[3] 偏倚 ddof=0 =", v0.mean() - sigma2)
print("[3] 蒙特卡洛标准差 =", v1.std(ddof=1))

# ============ 第 4 部分:伯努利情形(例题 5-补充第 (3) 问)============
p, nn2, T = 0.3, 11, 200000
rng3 = np.random.default_rng(seed=99)
B = (rng3.random(size=(T, nn2)) < p).astype(float)
b1 = B.var(axis=1, ddof=1)
b0 = B.var(axis=1, ddof=0)
print("\n[4] 成功概率 p =", p, " n =", nn2, " sigma^2 = p(1-p) =", p * (1 - p))
print("[4] E[sum (x-xbar)^2] =", ((B - B.mean(axis=1, keepdims=True)) ** 2).sum(axis=1).mean())
print("[4] 理论 (n-1)sigma^2 =", (nn2 - 1) * p * (1 - p))
print("[4] E[s^2, ddof=1] =", b1.mean(), " (理论", p * (1 - p), ")")
print("[4] E[s^2, ddof=0] =", b0.mean(), " (理论", (nn2 - 1) / nn2 * p * (1 - p), ")")
print("[4] E[xbar] =", B.mean(), " (理论", p, ")")
print("[4] Var(xbar) =", B.mean(axis=1).var(ddof=1), " (理论", p * (1 - p) / nn2, ")")

运行结果(实测输出,与上面的理论值逐项对齐):

[1] xbar = 6.0  ybar = 3.0
[1] sum xc^2 = 40.0  sum yc^2 = 10.0  sum xc*yc = 16.0
[1] s_x^2(ddof=1) = 10.0  s_y^2 = 2.5
[1] cov = 4.0  np.cov = 4.0
[1] r = 0.8  np.corrcoef = 0.7999999999999999
[1] s_x^2(ddof=0) = 8.0  s_y^2(ddof=0) = 2.0
[1] r 用 n 做分母依然 = 0.8

[2] 圆盘内点数 = 314021  概率的抽样标准误 ~ 0.000892
[2] E[u] = -0.0011184  E[v] = -6.666e-05
[2] Cov(u,v) = 5.9549e-05
[2] rho(u,v) = 0.00023789  (理论 0)
[2] E[u^2] = 0.25057947  (理论 0.25)
[2] E[u^2 v^2] = 0.04172817  (理论 0.0416667)
[2] E[u^2]*E[v^2] = 0.06266298  (理论 0.0625)
[2] 两期望之比 = 0.6659142  (理论 0.6666667,若独立应为 1)
[2] P(u>0.5) = 0.19507931  (理论 0.1955011)
[2] P(u>0.5,v>0.5) = 0.02487095  (理论 0.0250784)
[2] P(u>0.5)*P(v>0.5) = 0.03810812
[2] 联合/乘积 = 0.6526417  (若独立应为 1)
[2] 条件概率 P(v>0.5|u>0.5) = 0.1274915

[3] n = 8  sigma^2 = 4.0  试验次数 = 200000
[3] E[s^2, ddof=1] = 3.99937637  (理论 4.0)
[3] E[s^2, ddof=0] = 3.49945432  (理论 3.5)
[3] 偏倚 ddof=0 = -0.50054568
[3] 蒙特卡洛标准差 = 2.14126798

[4] 成功概率 p = 0.3  n = 11  sigma^2 = p(1-p) = 0.21
[4] E[sum (x-xbar)^2] = 2.10032818  (理论 2.1)
[4] 理论 (n-1)sigma^2 = 2.1
[4] E[s^2, ddof=1] = 0.21003282  (理论 0.21)
[4] E[s^2, ddof=0] = 0.19093893  (理论 0.19090909)
[4] E[xbar] = 0.29999182  (理论 0.3)
[4] Var(xbar) = 0.01905790  (理论 0.01909091)

运行结果要点:

  1. 第 1 部分:手算的 、、、 与 numpy 完全一致;换成 分母后方差变成 与 ,但 仍然是 ——直接验证了「 与分母选择无关」。
  2. 第 2 部分: 的模拟值 与理论值 在抽样误差( 量级)内一致,但三个与独立性直接相关的量都明显偏离「独立」的预测:若独立则应有 ,而实测比值是 (理论值),比独立的预测低了 ,远超抽样误差;同样,联合概率与边缘概率之积的比值是 (理论 )而不是 ;条件概率 明显小于边缘概率 ——知道 很大反而让「 也大」变得更不可能(因为 )。这正是「知道了 就改变了 的分布」的确切含义,也就是不独立;而相关系数对这一切完全无感。
  3. 第 3 部分:ddof=1 的平均值 逼近 ,ddof=0 的平均值 逼近 ,偏倚 与理论完全吻合。注意 只有 ,偏差高达 。
  4. 第 4 部分(例题 5-补充): 逼近理论值 ,从而 ddof=1 给出 (无偏),ddof=0 给出 (有偏,恰为 )。

数值实验的两个陷阱

1. 拒绝采样的效率:第 2 部分从正方形里采样再筛掉圆盘外的点,接受率只有 ,所以生成 个候选点后只剩 个。计算标准误要用实际保留的点数 。

2. 浮点误差与量级:第 3 部分中 的理论值 与模拟值 有 的差距属于正常的蒙特卡洛波动( 次试验下 的标准差是 ,故均值的标准误是 )。判断「是否无偏」时要把差距与这个标准误比较,而不是要求完全相等。

八、易错点

六个高频错误

1. 以为期望的线性性需要独立。 永远成立,只要期望存在。独立性只对乘积 才需要。反过来说,看到「求 」就立刻逐项拆开,这是最省力的一步。

2. 把 当作独立。 只度量线性关联。( 关于 对称)就是 但强烈依赖的例子。 的正确结论是「不能用线性函数预测」。

3. 与 搞混。 才是 的无偏估计; 已知时才用 。代码里 np.var(x) 默认 ddof=0(除以 ),np.cov、np.corrcoef 默认除以 ——同一份数据用两个函数会得到不同的「方差」。

4. 相关性当作因果。 大只说明两个变量有线性同步变化,不能推出谁导致谁(可能存在共同原因,也可能纯属巧合)。这是统计推断问题,不是线性代数问题,但却是最常见的误读。

5. 忘了中心化。协方差用 或 ,两者等价;但直接对原始数据算 得到的是二阶矩,不是协方差。 与 只差 ,这个「差一项」正是把向量投影到常数子空间的那一步。

6. 用标准差当权重。逆方差权重是 ,不是 。取错会让精度高的观测得不到应有的重视。

九、练习题

练习 1(基础):设 ,,。求 与 。

练习 2(基础):设 服从区间 上的均匀分布,令 。求 与 ,并解释为什么 。

练习 3(进阶):设 独立同分布,,。用定理 1 与定理 4 证明 且 。指出每一步是否用到了独立性。

练习 4(进阶):设 与 不相关,。求 ,并构造一个例子说明:即使不相关, 的方差也不一定等于 与 各自方差之和的上界——具体地,找出一对不相关的 使 。

练习 5(思考):解释为什么 在 时给出最小方差的无偏估计。若把权重换成 ,估计是否还无偏?是否还是最小方差?(提示:无偏性只依赖 。)

练习 6(思考):在「随机变量是样本空间上的向量」的观点下,写出「两个随机变量独立」对应什么几何条件。为什么它不能简单翻译成向量空间里的某个等式?(提示:独立性是关于联合分布的条件,而内积只用到二阶矩。)

十、常见问题 FAQ

Q1: 真的不需要独立吗?我见过的教材都强调独立。

A:真的不需要。证明里只用到「联合分布的求和可以重新分组」(),与分布是否可分解无关。有些教材在讲 时反复强调独立,读者容易把结论错误地迁移到加法上。记住分界:加法不需要独立,乘法需要(或者是「不相关」这个更弱的条件)。

Q2:为什么相关系数一定能落在 ?

A:因为它是中心化向量的夹角余弦,而余弦天然在 内。形式化地说,Cauchy–Schwarz 不等式 直接给出 。本库 1-2-长度与点积 已经证过同一个不等式,只是内积换了定义。

Q3:样本方差为什么除以 而不是 ?

A:为了让 的期望等于真方差 (无偏性)。因为用 代替 会让离差平方和系统性偏小,平均值正好是 ,除以 恰好补回。若 已知则用 ;正态总体下用 的是极大似然估计,虽然略有偏差但均方误差可能更小。结论:做统计推断用 ,做描述性统计两者都行,但要在报告里写清楚。

Q4:不相关和正交是一回事吗?

A:在「随机变量作为向量」的观点下,是的:不相关意味着中心化向量在加权内积下正交,即 。但要小心两点:(1) 内积是 而不是普通点积;(2) 「不相关」说的是中心化后正交,原始向量 一般并不正交(除非均值恰为 )。

本篇小结

核心结论(十条)

  1. 随机变量是向量。同一概率空间上的全体二阶矩有限随机变量构成内积空间 ,内积是 。定义在 上的每个随机变量都对应「一根很长的向量」。
  2. 期望是线性泛函:,不需要独立。它的核是零均值子空间,中心化就是投影到该子空间上。
  3. 协方差就是内积(在中心化向量上):。
  4. 方差是长度平方:,标准差是长度 。
  5. 相关系数是夹角余弦:,与单位、与 或 的选择都无关。
  6. Cauchy–Schwarz 给出 ,等号成立当且仅当两者有完全线性关系 。
  7. 勾股定理的翻译:不相关即正交,此时 。
  8. 独立 ⟹ 不相关,反之不成立。协方差只看二阶矩,看不见非线性依赖;反例有两类:离散的 ,连续的单位圆盘均匀分布。
  9. 不相关 ⟹ 独立只在多元高斯下成立(见 12-3-多元高斯与加权最小二乘),因为高斯的分布完全由 与 决定。
  10. 分母 修的是自由度:中心化把数据投影到 维子空间,离差平方和的期望是 ,除以 才无偏。用 会系统性低估,偏差因子 。

易混概念对照表

概念 A概念 B关键区别是否有蕴含关系
独立不相关独立约束整个联合分布;不相关只约束一个二阶矩独立 不相关;反向仅在高斯下成立
的线性性前者是泛函的线性性;后者需要独立(或不相关)前者无条件成立
方差 二阶矩 差一项 ;方差是内积(中心化后),二阶矩不是
标准差 方差 标准差是长度,方差是长度平方;加权时权重用
样本方差分母 分母 无偏( 未知); 是极大似然、有偏但 MSE 可能更小
无关系 只说明没有线性关联 无关系
均值 已知 未知已知时用 (无偏);未知时才用 —
(回归)(相关)简单线性回归下相等;多元回归下 是 的推广简单回归:

自学检查清单

读完本篇,你应该能不看笔记回答:

1. 为什么 是内积?内积的公理(对称、双线性、正定)逐条对应协方差的哪条性质?

2. 只用「」证明 ,怎么证?

3. 举一个 但不独立的连续型例子,并说出「知道 之后 的分布怎么变」。

4. 为什么 ?「自由度」在这句话里指什么?

5. 加权平均的权重为什么是 而不是 ?

相关笔记

  • 1-2-长度与点积:Cauchy–Schwarz 不等式与夹角余弦的原始版本,本篇的相关系数就是它的概率版;向量内积的全部几何直觉都可以直接搬过来
  • 4-1-四大子空间的正交性:中心化是投影到常数子空间的正交补,本篇 1.7 节的「期望的核」就是这条正交分解的概率版
  • 4-2-投影与投影矩阵:期望是投影到常数子空间的坐标,方差是最优逼近的残差能量;「投影到 维子空间消耗 个自由度」也是 分母的来源
  • 4-3-最小二乘逼近:本文 4.4 节的加权平均是加权最小二乘在「设计矩阵只有常数列」时的特例;最小二乘的 就是本篇相关系数的平方
  • 10-4-傅里叶级数与函数空间:「函数作为向量」的一般框架,随机变量是其中一个特例;傅里叶系数与期望都是线性泛函
  • 12-2-协方差矩阵:把本篇的单变量结论推广到随机向量,协方差排成矩阵; 就是「协方差 = 内积」的矩阵形式
  • 12-3-多元高斯与加权最小二乘:用协方差矩阵做加权与广义最小二乘;本篇的「不相关与独立」在那里有一个重要的例外条款
  • 7-3-主成分分析PCA:数据矩阵的「列」就是本篇所说的「 个样本点构成的空间中的向量」,PCA 就是在这组向量里找最大方差方向

参考来源

  • MIT 18.06 Linear Algebra, Spring 2010(Gilbert Strang)——课程主页与讲义,第 12 章「概率统计中的线性代数」的讲授思路:https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/
  • Gilbert Strang, Introduction to Linear Algebra(第 5 版)教材官方主页,对应章节的补充材料:https://math.mit.edu/~gs/linearalgebra/
  • NumPy 官方文档 numpy.cov:默认除以 (bias=False)、ddof 参数与加权协方差的算法说明:https://numpy.org/doc/stable/reference/generated/numpy.cov.html
  • NumPy 官方文档 numpy.corrcoef:相关系数矩阵的定义 与 :https://numpy.org/doc/stable/reference/generated/numpy.corrcoef.html
  • 教材(文字列名,非链接):盛骤、谢式千、潘承毅《概率论与数理统计》(第五版),高等教育出版社——第四章「随机变量的数字特征」、第六章「样本及抽样分布」