12-1-均值方差与概率
一句话概括
把随机变量看成样本空间上的向量,期望就是这个向量空间上的线性泛函,中心化后的随机变量的协方差就是内积、方差就是长度的平方,于是相关系数顺理成章地成为夹角余弦,Cauchy–Schwarz 不等式直接给出 。
本篇覆盖:随机变量作为向量的完整框架( 与线性泛函)、期望的线性性(不需要独立)、方差与协方差的定义与几何意义、协方差 = 内积 / 方差 = 长度平方 / 相关系数 = 夹角余弦三大类比的建立与用法、由 Cauchy–Schwarz 推出 、加权平均与加权最小二乘的雏形、独立与不相关的区别(配两个反例并数值验证)、样本均值与样本方差中 与 的分母之争与无偏性。
本版的例题与实验:例题 3-补充(5 个数据点手算全部样本统计量)、例题 4-补充(连续型积分 + 双线性 + )、例题 5-补充(伯努利分布从零证明无偏性)、7.2 节的数值实验(手算核对 / 单位圆盘反例 / 无偏性 / 伯努利验证)。
一、定义
1.1 随机变量(random variable)就是样本空间上的函数
设 是概率空间。随机变量(random variable)是一个函数
它把每个样本点 映射成一个实数 。
关键一步:函数也是向量
本库在 10-4-傅里叶级数与函数空间 中已经确立了一个观点:函数可以当作向量——只要可以对它们做加法与数乘,并且加法与数乘满足八条公理。
定义在同一个样本空间 上的全体随机变量,在逐点加法
与逐点数乘
下构成一个实向量空间。特别地,常数随机变量(对每个 都取同一个值 的函数)构成这个空间的一个一维子空间,记作 方向,即由常向量张成的「常数子空间」。
于是本库第 1 章关于长度与点积、第 4 章关于投影的全部几何语言,都可以搬过来用。这就是本篇的核心视角。
1.2 期望(expectation)是线性泛函
对离散型随机变量,若 取值 ,对应概率 ,定义
对连续型随机变量,若密度为 ,定义
(要求级数或积分绝对收敛,否则称期望不存在。)
期望就是一个线性泛函:它把向量空间里的一个随机变量映射成一个实数,且保持加法与数乘。这一点在下一节展开。
1.3 中心化(centering)与方差(variance)
记 。称
为 的中心化(centered)随机变量,显然 ,即中心化把向量 投影到常数子空间的正交补上(见 1.7 节的线性泛函观点与 2.2 节的投影解释)。
方差(variance)定义为
标准差(standard deviation)为 。
1.4 协方差(covariance)与相关系数(correlation coefficient)
设 ,,定义
相关系数(correlation coefficient)为
其中要求 且 。
1.5 独立(independent)与不相关(uncorrelated)
与 独立,指对任意实数 有
(离散情形等价于 。)
与 不相关,指 (等价地 )。
两个词长得很像,含义却完全不同
「独立」是关于联合分布能否分解的强条件;「不相关」只要求一个二阶矩为零。第五节给出定理与反例。
1.6 样本均值与样本方差
设 是来自某个总体的 个独立观测。定义
样本方差用 做分母,这一点在 1.10 节详细解释(三种分母的适用场景见那里的对照表)。
1.7 把随机变量当作向量:期望是线性泛函
这是本篇第一个核心类比,值得单独抽出来说清楚。考虑样本空间 上的全体二阶矩有限的随机变量,记作
在逐点加法 、逐点数乘 与内积
下, 是一个内积空间(完备化之后是 Hilbert 空间)。术语首次出现给英文:内积空间(inner product space)。
期望是一个线性泛函(linear functional)。所谓线性泛函,就是从向量空间到实数域的线性映射:
注意这里的因与果和一般教材相反:一般教材先定义期望、再「发现」它是线性的;向量空间的视角则把「线性性」当作定义性特征——期望是 上最自然的线性泛函。
为什么强调「线性泛函」这个词
一旦把 认成线性泛函,下面三件事立刻变得显然:
1. 它由内积表示。由 Riesz 表示定理(有限维情形就是 1-2-长度与点积 里的「投影」),存在唯一的 使 。这一步看似是同义反复,但它的几何含义很深:期望就是 在常向量方向上的投影坐标。
2. 泛函的核就是零均值子空间。 是一个子空间(零均值随机变量的全体),维数是 。中心化 正是投影到 上(沿着 方向分解)。
3. 秩—零化度定理的类比:,因为 的「秩」是 (像空间是整个 )。这与 3-5-四大子空间的维数 里 是同一个陈述,只是把矩阵换成了线性泛函。
更一般地:矩阵 的每一行都是一个线性泛函。 的第 个分量就是第 行与 的内积。所以「随机变量的向量观点」与第 1、3 章的内容是同一套语言。
「随机变量作为向量」这条线索在后面的用法:10-4-傅里叶级数与函数空间 用同一套观点把函数看成向量(傅里叶系数就是投影坐标);7-3-主成分分析PCA 里每个样本是一个向量、每个变量是数据矩阵的一列——列就是「 个样本点构成的空间中的向量」,与本节把随机变量看成「 上的向量」是同一个构造;后面的 12-2-协方差矩阵 则把这个向量空间结构整块搬给随机向量。
1.8 协方差是内积、方差是长度平方、相关系数是夹角余弦
这是全篇的核心类比,也是理解协方差矩阵、马氏距离、广义最小二乘的总钥匙。
先把「内积」从原始随机变量搬到中心化随机变量上。由双线性性(定理 4),对中心化向量
有
于是三个概率概念与三个几何概念一一对应:
| 概率概念 | 几何概念 | 公式 |
|---|---|---|
| 中心化随机变量 | 向量 | |
| 协方差 | 内积 | |
| 方差 | 长度平方 | |
| 标准差 | 长度(范数) | |
| 相关系数 | 夹角余弦 | |
| 不相关() | 正交 | |
| 与 独立 | 无对应几何条件 | 独立是联合分布的性质,不是二阶矩的性质 |
这张表要背下来
它不是「类比」——在 里这就是同一个东西的两种写法。凡是内积空间里成立的几何定理(勾股定理、Cauchy–Schwarz、投影最优性、Gram 矩阵的秩),搬到概率论里立刻就是一条概率定理。
举三个直接后果:
1. 勾股定理:若 (不相关),则 ,即 。这就是「不相关时方差可加」。
2. 平行四边形法则:(无论是否相关)。
3. Gram 矩阵半正定: 是中心化向量组的 Gram 矩阵,必然半正定,所以 ,立刻得到 (下一小节)。
由 Cauchy–Schwarz 推出 。1-2-长度与点积 中的 Cauchy–Schwarz 不等式对任何内积都成立,直接套用:
两边除以 :
即
等号条件也照搬:Cauchy–Schwarz 取等 两个向量共线 存在常数 使 存在 使 (几乎必然)。这正是定理 5 的结论,几何证明比代数证明(判别式法)更短、更直观。
「 是夹角余弦」有一个前提
必须先中心化。原始向量 的内积是 (二阶矩),不是协方差。只有当 时两者才重合。这是最常见的误用:直接把未中心化的数据点积起来当协方差。
1.9 独立 ⟹ 不相关,反之不成立
正向: 独立且二阶矩存在 。证明见定理 6(只用到 这一步)。
反向不成立: 推不出独立。原因是信息量的不对称:
- 「独立」要求联合分布满足 ,即整个分布函数分解为乘积——这是关于分布的全部信息的陈述;
- 「不相关」只要求一个数(二阶混合中心矩)为零——它只看到二阶矩。
去掉「独立」会怎样
由于协方差只用二阶矩,「 关于 的对称非线性依赖」在协方差里完全不可见。例如 且 关于 对称时,正负两半的贡献精确抵消。所以:
- 的正确结论是「没有线性关联」,绝不能说「没有关联」;
- 反过来, 一定意味着有某种关联(至少有线性关联),所以 不独立——这是逆否命题,是应用中最常用来证「不独立」的手段(见例题 1 的第 4 步)。
两个反例,都用数值验证:
反例 A(离散,): 等可能地取 ,。手算(细节见定理 6 与例题 2):,,,故 。但
反例 B(连续,单位圆盘上的均匀分布):设 在单位圆盘 上均匀分布(密度 在圆盘内,圆盘外为 )。由对称性 ,且
(被积函数关于 为奇函数,区域对称。)所以 ,。但 与 明显不独立:知道 就几乎确定了 (因为 ),而 的边缘分布显然不是这样。定量地(推导与数值见例题 5-补充)条件概率与边缘概率不等:
反例 B 的价值在于它是连续型的, 不是 的函数(没有反例 A 那种「 由 完全决定」的强烈结构),依赖关系只体现在「支撑集是圆盘而不是正方形」这一几何形状里。协方差对这种「形状上的依赖」同样视而不见。
什么时候「不相关 ⟹ 独立」成立? 只有一个重要例外:联合分布是多元高斯。此时密度函数完全由 与 决定,没有更高阶的依赖结构可以藏在协方差看不见的地方。证明见 12-3-多元高斯与加权最小二乘 定理 2。这是高斯分布最独特、最实用的性质之一。
1.10 分母 与 :无偏性到底在修什么
问题的提出:为什么样本方差用 而不是 ?答案是无偏性(unbiasedness):希望估计量的期望等于被估参数。第四节已经给出完整证明 ,这里补充三点「为什么」与「去掉条件会怎样」。
(1) 偏差来自哪里——自由度被吃掉一个。 用 代替真值 时, 本身是从同一批数据里算出来的,它自动落在这批数据的「中心」。于是离差 满足一个线性约束:
个离差里只有 个可以自由变动(知道任意 个,最后一个就被约束确定了)。几何地说:中心化把数据向量投影到了 维的子空间 上,投影后向量的「能量」自然只有原来的 倍:
除以 恰好补回这个投影损失。这与 4-2-投影与投影矩阵 中「投影到 维子空间后自由度是 」是同一个道理:自由度 = 子空间的维数。
(2) 用 会怎样——系统性偏小。 。偏差因子 只与 有关:
| 偏差因子 | 相对偏差 | |
|---|---|---|
小样本时偏差巨大( 时低估一半),大样本时几乎无所谓——这就是为什么很多机器学习库默认用 (ddof=0)而统计软件默认用 。
(3) 去掉无偏性要求会怎样——均方误差可能更小。 「无偏」不是唯一的好标准。若用均方误差(MSE) 衡量,有经典的权衡:
把分母从 改成 引入一个小的偏差,但同时把估计量的方差也压低了。在正态总体下可以算出:当 较大时, 的 MSE 严格小于 。这不是悖论,而是「用一点偏差换更多方差」的标准操作——统计学中大量收缩估计(shrinkage)、岭回归都是这个思路(11-2-范数与条件数 讨论的正则化与这里同源)。
三种分母的适用场景:
| 分母 | 名称 | 无偏估计的对象 | 典型使用场景 |
|---|---|---|---|
| 极大似然估计 / 有偏样本方差 | 有偏(低估 ) | 描述性统计、np.var 默认、机器学习中当 很大时 | |
| 无偏样本方差 | (当 未知) | 统计推断、np.cov/np.corrcoef 默认 | |
| (但用已知 ) | — | (当 已知) | 已知真值时(例如校准实验) |
相关系数不要纠结分母
因为 与 在 的分子分母里同时出现、完全约掉,样本相关系数对分母选择不敏感(见例题 3-补充第 7 步)。真正受影响的是方差与协方差的绝对大小,进而影响任何依赖绝对尺度的量(如置信区间宽度、 统计量、马氏距离的阈值标定)。
二、几何直观
2.1 随机变量是「一根很长的向量」
把 想成有限个等可能样本点。那么一个随机变量 就是一张数值表:
这看起来完全就是 中的一个向量!于是:
| 概率概念 | 线性代数对应物 | 说明 |
|---|---|---|
| 随机变量 | 向量 | 样本空间上的函数 |
| 期望 | 沿常向量 的投影坐标 | 线性泛函 |
| 中心化 | 减去沿 的分量 | 投影到 |
| 方差 | (加权) | 长度的平方 |
| 协方差 | (加权内积) | 内积 |
| 相关系数 | 夹角余弦 | Cauchy–Schwarz 给界 |
| 独立的随机变量 | 正交的向量 | 但逆命题不成立 |
这就是本篇要反复使用的翻译表。有了它,第 1 章的全部几何直觉都能移植到概率论。
2.2 期望是「投影到常数向量上」
在有限等可能情形,配合加权内积
常向量 的长度平方是 ,它是单位向量。于是
期望就是 在单位常向量上的投影坐标(用 4-2-投影与投影矩阵 的语言:投影矩阵 ,投影后的向量是 ,即把 换成它的平均值)。中心化
就是减去投影、留下正交补中的分量(对应 4-1-四大子空间的正交性 里的正交分解)。这正是「残差」一词的来源。
2.3 方差是「到均值距离的平方」
把 看成向量,把常数向量 看成「最接近 的常向量」,那么
(在加权内积下。)所以方差是残差向量的能量,也就是「 离「用常数去逼近它」的最优逼近有多远」。
一个不等式立刻可见
常数 中使 最小的就是 。这其实就是「投影到一维子空间上取最优」的最简单情形,证明见下一节的定理 3。方差的几何意义正是这个最小值本身。
2.4 协方差是内积,相关系数是夹角余弦
在加权内积 下,中心化随机变量 的内积恰好是协方差:
而 。于是相关系数
相关系数就是两个中心化向量之间的夹角余弦。 这是本篇最重要的结论。
由此:
- 表示夹角 : 与 同向, 与 有完全正线性关系;
- 表示夹角 :完全负线性关系;
- 表示正交:中心化向量垂直,一个无法由另一个线性预测;
- 越大,数据点云越接近一条直线。
三、性质与定理
定理 1(期望的线性性)不需要独立性
表述:设 是期望存在的随机变量,,则
条件:只要 与 都存在(绝对收敛)。完全不要求 独立。
证明(离散情形):设 的联合分布为 ,边缘分布为 、。则
连续情形把求和换成积分、把 换成联合密度 ,用 Fubini 定理交换积分次序即可。
为什么强调「不需要独立」
证明中只用到联合分布求和可以重新分组(Fubini / 重排),从未用到 。很多初学者套用「 需要独立」的记忆,误以为加法也有同样要求。加法永远不需要独立。
对比记忆:
| 等式 | 是否需要独立 |
|---|---|
| | 不需要 |
| | 需要(或至少不相关) |
| | 需要不相关(独立是充分条件) |
定理 2(方差的移位公式)
表述:
条件:。
证明:直接展开,并用定理 1 的线性性( 与 当然不独立,但加法线性性不需要独立):
(第三步对常数 用了 ;对 用了数乘线性性。)
定理 3(方差的最小性:均值是最优常数逼近)
表述:对任意常数 ,
等号成立当且仅当 。
证明:令 (用了定理 1)。这是关于 的二次函数,开口向上,对称轴在
代回得最小值 。
几何解读: 是常数子空间中距离 最近的向量,方差是最近距离的平方。这正是 4-2-投影与投影矩阵 中「投影是最优逼近」的一维特例。
定理 4(协方差的双线性性与方差公式)
表述:协方差是对称双线性的:
特别地,
条件:涉及的一切二阶矩存在。
证明:由定义与定理 1。记 ,则 ,于是 。于是
几何解读:协方差是内积,内积当然双线性。这条定理就是「内积的双线性性」的翻译。注意:双线性不需要任何独立性。
定理 5(Cauchy–Schwarz 不等式与 )
表述:若 ,则
从而 。等号成立(即 )当且仅当存在常数 与 使 几乎必然成立。
证明(用二次函数的判别式,不用引用抽象的 Cauchy–Schwarz):对任意实数 ,考虑
(第一个等号用了定理 4,最后的不等号因为方差非负。)这是开口向上()的二次函数且恒非负,故判别式非正:
整理即得 。两边除以 得 。
等号情形: 意味着存在 使 ,即 ,也就是 几乎必然是常数,。
这本质上就是 1-2-长度与点积 中的 Cauchy–Schwarz 不等式
,只不过内积换成了 。第 1 章的证明(对 用判别式)与此处逐字相同,因为两者都是「非负二次型 + 判别式」的套路。
定理 6(独立 ⟹ 不相关;反之不成立)
表述:若 与 独立且二阶矩存在,则 。反之不成立。
证明(正向):独立时有 (对离散情形:)。于是
(注意中间用到的是加法线性性,仍然不需要独立;只有 这一步用到了独立。)
反向的反例:取
即 等可能地取 三个值:。
先算 ,故 。而 。
所以 与 不相关。但它们显然不独立:因为 完全由 决定,例如
而
联合分布无法分解,故不独立。(也可以看 。)
反例的要点
是 的非线性函数。协方差只探测线性关联,对 关于 对称的非线性依赖完全「看不见」。 的正确解读是「没有线性关联」,而不是「没有关系」。
四、计算方法与步骤
4.1 手算 与 的步骤
- 列联合分布表:把 写成矩阵形式,行对应 、列对应 。
- 求边缘分布:对行求和得 ,对列求和得 。
- 求均值:,。
- 求二阶矩:,,。
- 求方差:,。
- 求协方差:。
- 求相关系数:。
4.2 用数据估计的步骤(样本版本)
- 算出样本均值 、。
- 中心化:,。
- 样本协方差:。
- 样本方差:, 同理。
- 样本相关系数:(注意 上下抵消)。
第 3 步就是「中心化向量的内积除以 」
把中心化后的数据写成列向量 ,则
这是本篇「协方差就是内积」在有限样本上的直接落地,代码示例会亲手验证它。
4.3 为什么样本方差用 :无偏性(unbiasedness)
设 是独立同分布观测,,。定义
证明 :
先算一个恒等式。由
(展开右边:,而左边 ,两边相等。)
取期望,并用定理 1(线性性,不需要独立):
而
(这里用到独立: 要求两两不相关,见定理 4 的推论。)于是
故 。
直觉解释:用 代替未知的 ,会让离差平方和系统性偏小——因为 本身就是让 最小的那个 (定理 3 的样本版本)。偏差恰好是「被估计掉一个自由度」,除以 正好补回来。
那 什么时候用? 当 已知时, 才是无偏的;另外, 是 的极大似然估计(正态总体下),它有偏但均方误差可能更小。np.var 与 np.cov 的默认参数就是这个区别(ddof=0 vs ddof=1)。
4.4 加权平均与加权最小二乘的雏形
加权平均(weighted average):若观测 的可信度不同,用权重 表示,取
它的最优性: 是最小化加权残差平方和的常数:
证明(对 求导):令 ,则
解得 。又 ,故为最小值点。
权重怎么取? 若 的观测误差方差为 ,则取
即方差越小(越可信)权重越大。这一点在第 12-3 篇的加权最小二乘中会被完整推导;这里先记住:权重是方差之倒数,不是标准差之倒数。
为什么这样取权最优
若 是某个共同真值 的独立无偏观测,,考虑线性组合 ,约束 。则
在约束下最小化它(Lagrange 乘子法)得 ,即加权平均的权重。这就是「权重 时估计方差最小」的完整理由。
五、例题
例题 1(完整计算协方差与相关系数)
题目:下表给出 (某零件长度偏差)与 (某零件重量偏差)的联合分布,求 与 。
| 行和 | ||||
|---|---|---|---|---|
| 列和 |
解答:
第 1 步:边缘分布(见上表最后一行与最后一列):
第 2 步:均值
第 3 步:二阶矩
同理 。
第 4 步:方差
标准差 。
第 5 步:(逐格累加 ):
第 6 步:协方差
第 7 步:相关系数
结论:,接近 1,说明 与 有较强的正线性关联。
顺带验证独立性:若独立应有 ,故不独立。这里「不独立」与「」一致,符合「独立 ⟹ 不相关」的逆否命题。
例题 2(独立但不相关?不,是「不相关但不独立」)
题目:设 等可能地取 ,令 。
(1) 求 与 。
(2) 判断 与 是否独立。
解答:
(1) 。
的分布:,。
故 。 与 不相关。
(2) 检验 这个格子:
两者不等(),故 与 不独立。
结论:这是「不相关但不独立」的标准反例。协方差只看线性关联, 的对称非线性依赖被完全漏掉了。
例题 3-补充(5 个数据点:手算均值、标准差、协方差、相关系数)
题目
某实验测了 5 组数据,自变量 与控制量 的观测值如下表( 已按升序排列)。
| 编号 | 1 | 2 | 3 | 4 | 5 |
|---|---|---|---|---|---|
| | | | | | |
| | | | | | |
求:(1) 样本均值 ;(2) 样本方差 ( 分母)与标准差;(3) 样本协方差 ;(4) 样本相关系数 ;(5) 若改用 做分母, 与 各变成多少?
解答:
第 1 步:求均值。先算和:
于是
第 2 步:中心化(这一步是协方差与内积对应关系的入口,绝不能省)。逐点减去均值:
验证中心化的定义性质: ✓, ✓。中心化后向量与常向量 正交,这正是 1.7 节的几何内容。
第 3 步:算三个内积。
第 4 步:方差与标准差(分母 ):
第 5 步:协方差:
第 6 步:相关系数。注意 在分子分母里同时出现、互相抵消:
第 7 步:换成 分母会怎样。
而相关系数
与第 6 步完全相同。这不是巧合: 的分子分母都是二次型, 与 的差别以同一个因子 出现在三处,整体约掉。
结论:,是一组中等偏强的正线性关联。 与 或 的选择无关——这正是「相关系数是夹角余弦」的直接后果:余弦只依赖两个向量的方向,不依赖它们的长度如何被归一化。
例题 4-补充(连续型:用积分验证双线性、协方差与 )
题目
设 在区间 上均匀分布(密度 ,),,令 。
(1) 用积分求 、、、;
(2) 验证 ,并求 ;
(3) 求 ,并解释为什么 。
解答:
第 1 步: 与 。代入连续型定义 (这里 ):
于是
第 2 步: 的各阶矩( 只是 的线性函数, 是常数,提到期望外):
这一步就是定理 4 的一维版本:。记住是 而不是 ——方差是长度平方,缩放 倍长度,平方就变成 倍。
第 3 步:验证 。左边:
右边:
两边相等 ✓。注意这里 完全由 决定(极不独立),线性性照样成立——再次印证「加法不需要独立」。
第 4 步:。先算 :
第 5 步:(用定理 4 的双线性,常数因子直接提出来):
第 6 步::
为什么恰好等于 1:由定理 5 的等号条件, 当且仅当 是 的仿射函数。这里 正是如此,所以两个中心化向量 同向(),夹角为 ,余弦为 。若取 ,则 与 反向,,夹角 。
用这道题记三个结论
1. ,——常数按幂次提出;
2. 平移不改变方差与协方差:;
3. 是「完全线性关系」的充要条件,与 的具体大小无关。
例题 5-补充(二值随机变量:从零证明无偏性,并用数值实验验证)
题目
设 是成功概率为 的伯努利试验结果(取值 或 ),相互独立。
(1) 求 与 ;
(2) 证明 ,并给出 的期望;
(3) 取 、,用数值实验验证 (2);
(4) 说明 时会发生什么。
解答:
(1) 把每个 写成指示函数 ,则 ,。由期望的线性性(不需要独立):
由独立性():
第 (1) 问的分界点: 只用线性性; 用了不相关(独立是充分条件)。
(2) 记 、。先回顾第四节用过的恒等式(这里再走一遍,因为它是本节的核心):
验证恒等式:右边 ;
左边 。两边相等 ✓。
两边取期望,用线性性:
(第一个期望是 ,共 项;第二个期望是 ,用了第 (1) 问。)于是
而用 做分母时:
系统性偏小,偏差因子恰好是 。
(3) 数值实验:取 ,,则 ,。重复 次,代码与完整输出见 7.2 节的第 4 部分,结论如下表:
| 统计量 | 理论值 | 模拟值 |
|---|---|---|
| (分母 ) | 附近 | |
| (分母 ) | 附近 |
(4) 时:,离差平方和为 , 的分母变成 ——样本方差无定义。这不是数学缺陷,而是信息论上的必然:一个观测无法同时提供「位置」与「散布」两个信息。同理, 个样本里有 个自由度被均值消耗,真正用于估计散布的只有 个。
这道题最容易错的地方
用 代替 会让离差平方和偏小,因为 本身是使 最小的那个 (定理 3 的样本版)。所以偏差方向是确定的:分母用 一定低估,不会高估。千万别以为「偏差有大有小、平均下来差不多」——它是系统性的。
六、应用
| 场景 | 用到的线性代数结构 |
|---|---|
| 测量数据的加权平均(不同仪器精度不同) | 权重 ,加权最小二乘雏形 |
| 金融资产组合收益的方差 | (见 [[12-2-协方差矩阵]]) |
| 特征筛选(丢掉与目标不相关的特征) | 表示中心化向量正交 |
| 最小二乘回归的 | (简单线性回归情形) |
| 卡尔曼滤波 / 传感器融合 | 逆方差加权 = 精度加权(precision weighting) |
| 蒙特卡洛估计误差 | ,收敛速度 |
工程上的典型用法:把「期望是线性泛函」用在传感器融合上。若有 个独立无偏测量,各自方差 ,则最优(最小方差无偏)融合结果就是
这与第 12-3 篇的加权最小二乘公式是同一个东西在「设计矩阵为常数列」时的特例。
七、可运行代码示例
7.1 原始版:协方差 = 内积、相关系数 = 夹角余弦
本示例只用 numpy,无需额外安装。本篇新增的数值实验见下一小节 7.2。
import numpy as np
rng = np.random.default_rng(seed=20261011)
# ---------- 1. 生成数据,验证协方差 = 中心化向量的内积 / (n-1) ----------
n = 200
x = rng.normal(loc=3.0, scale=2.0, size=n)
y = -1.5 * x + rng.normal(loc=0.0, scale=1.0, size=n)
xc = x - x.mean() # 中心化
yc = y - y.mean()
n = len(x)
cov_manual = (xc @ yc) / (n - 1) # 内积 / (n-1)
cov_numpy = np.cov(x, y)[0, 1] # numpy 内置
print("手算公式 (内积/(n-1)) :", cov_manual)
print("np.cov 结果 :", cov_numpy)
print("差值 :", abs(cov_manual - cov_numpy))
print("普通内积 xc @ yc :", xc @ yc, " <- 注意它没有归一化")
# ---------- 2. 相关系数就是夹角余弦 ----------
cos_angle = (xc @ yc) / (np.linalg.norm(xc) * np.linalg.norm(yc))
rho_numpy = np.corrcoef(x, y)[0, 1]
print("\n夹角余弦 :", cos_angle)
print("np.corrcoef :", rho_numpy)
print("用 np.cov 反推 rho :", cov_numpy / np.sqrt(np.cov(x) * np.cov(y)))
# 注意:np.cov(x, y) 传两个一维数组会返回 2x2 矩阵!
# 想得到单个变量的方差(标量)要只传一个数组:np.cov(x)
print("np.cov(x, y) 的形状 :", np.cov(x, y).shape, " <- 2x2 矩阵")
print("np.cov(x) 的形状 :", np.asarray(np.cov(x)).shape, " <- 标量")
# ---------- 3. 方差 = 中心化向量长度的平方 / (n-1) ----------
var_manual = (xc @ xc) / (n - 1)
print("\n方差(长度平方/(n-1)) :", var_manual, " vs np.var(ddof=1):",
np.var(x, ddof=1))
print("np.var 默认 ddof=0 :", np.var(x), " <- 分母是 n")
# ---------- 4. 反例:Y = X^2,不相关但不独立 ----------
X = rng.choice([-1, 0, 1], size=200000, p=[1/3, 1/3, 1/3])
Y = X ** 2
print("\n[反例] Cov(X, X^2) :", np.cov(X, Y)[0, 1])
print("[反例] rho(X, X^2) :", np.corrcoef(X, Y)[0, 1])
# 独立性检验:若独立应有 P(X=1,Y=1) == P(X=1)*P(Y=1)
p_joint = np.mean((X == 1) & (Y == 1))
p_prod = np.mean(X == 1) * np.mean(Y == 1)
print("[反例] P(X=1,Y=1) :", p_joint)
print("[反例] P(X=1)*P(Y=1) :", p_prod, " <- 明显不等,故不独立")
# 条件分布也不等于边缘分布
print("[反例] P(Y=1|X=1) :", np.mean(Y[X == 1] == 1))
# ---------- 5. 期望的线性性:不需要独立 ----------
a, b = 2.5, -0.7
print("\nE[aX+bY] 蒙特卡洛 :", np.mean(a * x + b * y))
print("aE[X]+bE[Y] :", a * x.mean() + b * y.mean())
# 强相关(不独立)的数据上再验一次
u = rng.normal(size=100000)
v = u + 0.001 * rng.normal(size=100000) # v 与 u 几乎完全相关
print("E[2u-3v] :", np.mean(2 * u - 3 * v))
print("2E[u]-3E[v] :", 2 * u.mean() - 3 * v.mean())
# ---------- 6. 加权平均:权重 = 方差的倒数 ----------
truth = 5.0
sigmas = np.array([0.1, 1.0, 10.0]) # 三个精度悬殊的仪器
obs = truth + rng.normal(scale=sigmas)
w = 1.0 / sigmas ** 2 # 逆方差权重
print("\n观测值 :", obs)
print("简单平均 :", obs.mean())
print("加权平均(逆方差权重) :", (w @ obs) / w.sum())
print("权重 :", w / w.sum())
# ---------- 7. 无偏性:n-1 与 n 的平均对比 ----------
sigma2 = 4.0
bias_n1, bias_n = [], []
for _ in range(3000):
s = rng.normal(scale=np.sqrt(sigma2), size=8)
bias_n1.append(np.var(s, ddof=1))
bias_n.append(np.var(s, ddof=0))
print("\nE[s^2, ddof=1] :", np.mean(bias_n1), " 目标:", sigma2)
print("E[s^2, ddof=0] :", np.mean(bias_n), " <- 系统性偏小")
print("理论值 (n-1)/n * sigma2:", (8 - 1) / 8 * sigma2)
运行结果要点:
- 第 1 段的「差值」应为 (或在 量级),直接验证了「协方差 = 中心化向量内积除以 」这个几何事实。
- 第 2 段的夹角余弦与
np.corrcoef完全一致,验证「相关系数 = 夹角余弦」。 - 第 4 段的
rho在 附近(抽样波动量级 ),而两个概率明显不等,验证「不相关但不独立」。 - 第 7 段中
ddof=0的结果会明显小于 (约 ),而ddof=1的结果接近 ,验证无偏性。
7.2 本篇新增数值实验:手算核对、圆盘反例、无偏性
题目(数值实验)
用 numpy 把本篇三件核心事情各验证一遍:
(1) 例题 3-补充 的 5 个数据点,手算结果与
np.var/np.cov/np.corrcoef是否一致;(2) 单位圆盘上的均匀分布: 但两个分量不独立(定量给出条件概率与 的证据);
(3) 与 的无偏性实验。
本示例只用 numpy,无需额外安装。
import numpy as np
rng = np.random.default_rng(seed=20261011)
# ============ 第 1 部分:例题 3-补充 的手算核对 ============
x = np.array([2.0, 4.0, 6.0, 8.0, 10.0])
y = np.array([1.0, 3.0, 2.0, 5.0, 4.0])
n = len(x)
xc, yc = x - x.mean(), y - y.mean()
print("[1] xbar =", x.mean(), " ybar =", y.mean())
print("[1] sum xc^2 =", xc @ xc, " sum yc^2 =", yc @ yc, " sum xc*yc =", xc @ yc)
print("[1] s_x^2(ddof=1) =", np.var(x, ddof=1), " s_y^2 =", np.var(y, ddof=1))
print("[1] cov =", (xc @ yc) / (n - 1), " np.cov =", np.cov(x, y)[0, 1])
print("[1] r =", (xc @ yc) / np.sqrt((xc @ xc) * (yc @ yc)),
" np.corrcoef =", np.corrcoef(x, y)[0, 1])
print("[1] s_x^2(ddof=0) =", np.var(x, ddof=0), " s_y^2(ddof=0) =", np.var(y, ddof=0))
print("[1] r 用 n 做分母依然 =",
(xc @ yc) / n / np.sqrt((xc @ xc) / n * (yc @ yc) / n))
# ============ 第 2 部分:单位圆盘,rho = 0 但不独立 ============
pts = rng.uniform(-1.0, 1.0, size=(400000, 2))
pts = pts[(pts ** 2).sum(axis=1) <= 1.0] # 拒绝采样,只留圆盘内的点
u, v = pts[:, 0], pts[:, 1]
m = len(pts)
print("\n[2] 圆盘内点数 =", m, " 概率的抽样标准误 ~", 1 / (2 * np.sqrt(m)))
print("[2] E[u] =", u.mean(), " E[v] =", v.mean())
print("[2] Cov(u,v) =", np.cov(u, v)[0, 1])
print("[2] rho(u,v) =", np.corrcoef(u, v)[0, 1], " (理论 0)")
print("[2] E[u^2] =", np.mean(u ** 2), " (理论 0.25)")
print("[2] E[u^2 v^2] =", np.mean(u ** 2 * v ** 2), " (理论 0.0416667)")
print("[2] E[u^2]*E[v^2] =", np.mean(u ** 2) * np.mean(v ** 2), " (理论 0.0625)")
print("[2] 两期望之比 =", np.mean(u ** 2 * v ** 2) / (np.mean(u ** 2) * np.mean(v ** 2)),
" (理论 0.6666667,若独立应为 1)")
p_u, p_v = np.mean(u > 0.5), np.mean(v > 0.5)
p_uv = np.mean((u > 0.5) & (v > 0.5))
print("[2] P(u>0.5) =", p_u, " (理论 0.1955011)")
print("[2] P(u>0.5,v>0.5) =", p_uv, " (理论 0.0250784)")
print("[2] P(u>0.5)*P(v>0.5) =", p_u * p_v)
print("[2] 联合/乘积 =", p_uv / (p_u * p_v), " (若独立应为 1)")
print("[2] 条件概率 P(v>0.5|u>0.5) =", np.mean(v[u > 0.5] > 0.5))
# ============ 第 3 部分:n 与 n-1 的无偏性 ============
sigma2, nn, trials = 4.0, 8, 200000
rng2 = np.random.default_rng(seed=7)
s = rng2.normal(scale=np.sqrt(sigma2), size=(trials, nn))
v1 = s.var(axis=1, ddof=1) # 分母 n-1
v0 = s.var(axis=1, ddof=0) # 分母 n
print("\n[3] n =", nn, " sigma^2 =", sigma2, " 试验次数 =", trials)
print("[3] E[s^2, ddof=1] =", v1.mean(), " (理论 4.0)")
print("[3] E[s^2, ddof=0] =", v0.mean(), " (理论", (nn - 1) / nn * sigma2, ")")
print("[3] 偏倚 ddof=0 =", v0.mean() - sigma2)
print("[3] 蒙特卡洛标准差 =", v1.std(ddof=1))
# ============ 第 4 部分:伯努利情形(例题 5-补充第 (3) 问)============
p, nn2, T = 0.3, 11, 200000
rng3 = np.random.default_rng(seed=99)
B = (rng3.random(size=(T, nn2)) < p).astype(float)
b1 = B.var(axis=1, ddof=1)
b0 = B.var(axis=1, ddof=0)
print("\n[4] 成功概率 p =", p, " n =", nn2, " sigma^2 = p(1-p) =", p * (1 - p))
print("[4] E[sum (x-xbar)^2] =", ((B - B.mean(axis=1, keepdims=True)) ** 2).sum(axis=1).mean())
print("[4] 理论 (n-1)sigma^2 =", (nn2 - 1) * p * (1 - p))
print("[4] E[s^2, ddof=1] =", b1.mean(), " (理论", p * (1 - p), ")")
print("[4] E[s^2, ddof=0] =", b0.mean(), " (理论", (nn2 - 1) / nn2 * p * (1 - p), ")")
print("[4] E[xbar] =", B.mean(), " (理论", p, ")")
print("[4] Var(xbar) =", B.mean(axis=1).var(ddof=1), " (理论", p * (1 - p) / nn2, ")")
运行结果(实测输出,与上面的理论值逐项对齐):
[1] xbar = 6.0 ybar = 3.0
[1] sum xc^2 = 40.0 sum yc^2 = 10.0 sum xc*yc = 16.0
[1] s_x^2(ddof=1) = 10.0 s_y^2 = 2.5
[1] cov = 4.0 np.cov = 4.0
[1] r = 0.8 np.corrcoef = 0.7999999999999999
[1] s_x^2(ddof=0) = 8.0 s_y^2(ddof=0) = 2.0
[1] r 用 n 做分母依然 = 0.8
[2] 圆盘内点数 = 314021 概率的抽样标准误 ~ 0.000892
[2] E[u] = -0.0011184 E[v] = -6.666e-05
[2] Cov(u,v) = 5.9549e-05
[2] rho(u,v) = 0.00023789 (理论 0)
[2] E[u^2] = 0.25057947 (理论 0.25)
[2] E[u^2 v^2] = 0.04172817 (理论 0.0416667)
[2] E[u^2]*E[v^2] = 0.06266298 (理论 0.0625)
[2] 两期望之比 = 0.6659142 (理论 0.6666667,若独立应为 1)
[2] P(u>0.5) = 0.19507931 (理论 0.1955011)
[2] P(u>0.5,v>0.5) = 0.02487095 (理论 0.0250784)
[2] P(u>0.5)*P(v>0.5) = 0.03810812
[2] 联合/乘积 = 0.6526417 (若独立应为 1)
[2] 条件概率 P(v>0.5|u>0.5) = 0.1274915
[3] n = 8 sigma^2 = 4.0 试验次数 = 200000
[3] E[s^2, ddof=1] = 3.99937637 (理论 4.0)
[3] E[s^2, ddof=0] = 3.49945432 (理论 3.5)
[3] 偏倚 ddof=0 = -0.50054568
[3] 蒙特卡洛标准差 = 2.14126798
[4] 成功概率 p = 0.3 n = 11 sigma^2 = p(1-p) = 0.21
[4] E[sum (x-xbar)^2] = 2.10032818 (理论 2.1)
[4] 理论 (n-1)sigma^2 = 2.1
[4] E[s^2, ddof=1] = 0.21003282 (理论 0.21)
[4] E[s^2, ddof=0] = 0.19093893 (理论 0.19090909)
[4] E[xbar] = 0.29999182 (理论 0.3)
[4] Var(xbar) = 0.01905790 (理论 0.01909091)
运行结果要点:
- 第 1 部分:手算的 、、、 与 numpy 完全一致;换成 分母后方差变成 与 ,但 仍然是 ——直接验证了「 与分母选择无关」。
- 第 2 部分: 的模拟值 与理论值 在抽样误差( 量级)内一致,但三个与独立性直接相关的量都明显偏离「独立」的预测:若独立则应有 ,而实测比值是 (理论值),比独立的预测低了 ,远超抽样误差;同样,联合概率与边缘概率之积的比值是 (理论 )而不是 ;条件概率 明显小于边缘概率 ——知道 很大反而让「 也大」变得更不可能(因为 )。这正是「知道了 就改变了 的分布」的确切含义,也就是不独立;而相关系数对这一切完全无感。
- 第 3 部分:
ddof=1的平均值 逼近 ,ddof=0的平均值 逼近 ,偏倚 与理论完全吻合。注意 只有 ,偏差高达 。 - 第 4 部分(例题 5-补充): 逼近理论值 ,从而
ddof=1给出 (无偏),ddof=0给出 (有偏,恰为 )。
数值实验的两个陷阱
1. 拒绝采样的效率:第 2 部分从正方形里采样再筛掉圆盘外的点,接受率只有 ,所以生成 个候选点后只剩 个。计算标准误要用实际保留的点数 。
2. 浮点误差与量级:第 3 部分中 的理论值 与模拟值 有 的差距属于正常的蒙特卡洛波动( 次试验下 的标准差是 ,故均值的标准误是 )。判断「是否无偏」时要把差距与这个标准误比较,而不是要求完全相等。
八、易错点
六个高频错误
1. 以为期望的线性性需要独立。 永远成立,只要期望存在。独立性只对乘积 才需要。反过来说,看到「求 」就立刻逐项拆开,这是最省力的一步。
2. 把 当作独立。 只度量线性关联。( 关于 对称)就是 但强烈依赖的例子。 的正确结论是「不能用线性函数预测」。
3. 与 搞混。 才是 的无偏估计; 已知时才用 。代码里
np.var(x)默认ddof=0(除以 ),np.cov、np.corrcoef默认除以 ——同一份数据用两个函数会得到不同的「方差」。4. 相关性当作因果。 大只说明两个变量有线性同步变化,不能推出谁导致谁(可能存在共同原因,也可能纯属巧合)。这是统计推断问题,不是线性代数问题,但却是最常见的误读。
5. 忘了中心化。协方差用 或 ,两者等价;但直接对原始数据算 得到的是二阶矩,不是协方差。 与 只差 ,这个「差一项」正是把向量投影到常数子空间的那一步。
6. 用标准差当权重。逆方差权重是 ,不是 。取错会让精度高的观测得不到应有的重视。
九、练习题
练习 1(基础):设 ,,。求 与 。
练习 2(基础):设 服从区间 上的均匀分布,令 。求 与 ,并解释为什么 。
练习 3(进阶):设 独立同分布,,。用定理 1 与定理 4 证明 且 。指出每一步是否用到了独立性。
练习 4(进阶):设 与 不相关,。求 ,并构造一个例子说明:即使不相关, 的方差也不一定等于 与 各自方差之和的上界——具体地,找出一对不相关的 使 。
练习 5(思考):解释为什么 在 时给出最小方差的无偏估计。若把权重换成 ,估计是否还无偏?是否还是最小方差?(提示:无偏性只依赖 。)
练习 6(思考):在「随机变量是样本空间上的向量」的观点下,写出「两个随机变量独立」对应什么几何条件。为什么它不能简单翻译成向量空间里的某个等式?(提示:独立性是关于联合分布的条件,而内积只用到二阶矩。)
十、常见问题 FAQ
Q1: 真的不需要独立吗?我见过的教材都强调独立。
A:真的不需要。证明里只用到「联合分布的求和可以重新分组」(),与分布是否可分解无关。有些教材在讲 时反复强调独立,读者容易把结论错误地迁移到加法上。记住分界:加法不需要独立,乘法需要(或者是「不相关」这个更弱的条件)。
Q2:为什么相关系数一定能落在 ?
A:因为它是中心化向量的夹角余弦,而余弦天然在 内。形式化地说,Cauchy–Schwarz 不等式 直接给出 。本库 1-2-长度与点积 已经证过同一个不等式,只是内积换了定义。
Q3:样本方差为什么除以 而不是 ?
A:为了让 的期望等于真方差 (无偏性)。因为用 代替 会让离差平方和系统性偏小,平均值正好是 ,除以 恰好补回。若 已知则用 ;正态总体下用 的是极大似然估计,虽然略有偏差但均方误差可能更小。结论:做统计推断用 ,做描述性统计两者都行,但要在报告里写清楚。
Q4:不相关和正交是一回事吗?
A:在「随机变量作为向量」的观点下,是的:不相关意味着中心化向量在加权内积下正交,即 。但要小心两点:(1) 内积是 而不是普通点积;(2) 「不相关」说的是中心化后正交,原始向量 一般并不正交(除非均值恰为 )。
本篇小结
核心结论(十条)
- 随机变量是向量。同一概率空间上的全体二阶矩有限随机变量构成内积空间 ,内积是 。定义在 上的每个随机变量都对应「一根很长的向量」。
- 期望是线性泛函:,不需要独立。它的核是零均值子空间,中心化就是投影到该子空间上。
- 协方差就是内积(在中心化向量上):。
- 方差是长度平方:,标准差是长度 。
- 相关系数是夹角余弦:,与单位、与 或 的选择都无关。
- Cauchy–Schwarz 给出 ,等号成立当且仅当两者有完全线性关系 。
- 勾股定理的翻译:不相关即正交,此时 。
- 独立 ⟹ 不相关,反之不成立。协方差只看二阶矩,看不见非线性依赖;反例有两类:离散的 ,连续的单位圆盘均匀分布。
- 不相关 ⟹ 独立只在多元高斯下成立(见 12-3-多元高斯与加权最小二乘),因为高斯的分布完全由 与 决定。
- 分母 修的是自由度:中心化把数据投影到 维子空间,离差平方和的期望是 ,除以 才无偏。用 会系统性低估,偏差因子 。
易混概念对照表
| 概念 A | 概念 B | 关键区别 | 是否有蕴含关系 |
|---|---|---|---|
| 独立 | 不相关 | 独立约束整个联合分布;不相关只约束一个二阶矩 | 独立 不相关;反向仅在高斯下成立 |
| 的线性性 | 前者是泛函的线性性;后者需要独立(或不相关) | 前者无条件成立 | |
| 方差 | 二阶矩 | 差一项 ;方差是内积(中心化后),二阶矩不是 | |
| 标准差 | 方差 | 标准差是长度,方差是长度平方;加权时权重用 | |
| 样本方差分母 | 分母 | 无偏( 未知); 是极大似然、有偏但 MSE 可能更小 | |
| 无关系 | 只说明没有线性关联 | 无关系 | |
| 均值 已知 | 未知 | 已知时用 (无偏);未知时才用 | — |
| (回归) | (相关) | 简单线性回归下相等;多元回归下 是 的推广 | 简单回归: |
自学检查清单
读完本篇,你应该能不看笔记回答:
1. 为什么 是内积?内积的公理(对称、双线性、正定)逐条对应协方差的哪条性质?
2. 只用「」证明 ,怎么证?
3. 举一个 但不独立的连续型例子,并说出「知道 之后 的分布怎么变」。
4. 为什么 ?「自由度」在这句话里指什么?
5. 加权平均的权重为什么是 而不是 ?
相关笔记
- 1-2-长度与点积:Cauchy–Schwarz 不等式与夹角余弦的原始版本,本篇的相关系数就是它的概率版;向量内积的全部几何直觉都可以直接搬过来
- 4-1-四大子空间的正交性:中心化是投影到常数子空间的正交补,本篇 1.7 节的「期望的核」就是这条正交分解的概率版
- 4-2-投影与投影矩阵:期望是投影到常数子空间的坐标,方差是最优逼近的残差能量;「投影到 维子空间消耗 个自由度」也是 分母的来源
- 4-3-最小二乘逼近:本文 4.4 节的加权平均是加权最小二乘在「设计矩阵只有常数列」时的特例;最小二乘的 就是本篇相关系数的平方
- 10-4-傅里叶级数与函数空间:「函数作为向量」的一般框架,随机变量是其中一个特例;傅里叶系数与期望都是线性泛函
- 12-2-协方差矩阵:把本篇的单变量结论推广到随机向量,协方差排成矩阵; 就是「协方差 = 内积」的矩阵形式
- 12-3-多元高斯与加权最小二乘:用协方差矩阵做加权与广义最小二乘;本篇的「不相关与独立」在那里有一个重要的例外条款
- 7-3-主成分分析PCA:数据矩阵的「列」就是本篇所说的「 个样本点构成的空间中的向量」,PCA 就是在这组向量里找最大方差方向
参考来源
- MIT 18.06 Linear Algebra, Spring 2010(Gilbert Strang)——课程主页与讲义,第 12 章「概率统计中的线性代数」的讲授思路:https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/
- Gilbert Strang, Introduction to Linear Algebra(第 5 版)教材官方主页,对应章节的补充材料:https://math.mit.edu/~gs/linearalgebra/
- NumPy 官方文档
numpy.cov:默认除以 (bias=False)、ddof参数与加权协方差的算法说明:https://numpy.org/doc/stable/reference/generated/numpy.cov.html - NumPy 官方文档
numpy.corrcoef:相关系数矩阵的定义 与 :https://numpy.org/doc/stable/reference/generated/numpy.corrcoef.html - 教材(文字列名,非链接):盛骤、谢式千、潘承毅《概率论与数理统计》(第五版),高等教育出版社——第四章「随机变量的数字特征」、第六章「样本及抽样分布」