12-3-多元高斯与加权最小二乘
一句话概括
把协方差矩阵 塞进正态分布的指数里,就得到多元高斯分布(multivariate Gaussian);指数中的二次型 是马氏距离(Mahalanobis distance)的平方,等概率密度面是 的特征向量张成的椭球。同一个二次型出现在加权最小二乘(WLS)的目标函数里,于是「用 当权重」既是统计上的最优,也是几何上的「先白化再普通最小二乘」。
本篇覆盖:多元高斯密度逐项解读(含二维显式形式与条件分布)、马氏距离与欧氏距离的区别(用 的谱分解解释「先白化再算欧氏距离」,含逐主轴分解)、等概率密度面是椭球(半轴长 )、线性变换下高斯仍是高斯(密度变换与特征函数两条证明路线)、高斯下「不相关 独立」、加权最小二乘(WLS)的完整推导 与广义最小二乘(GLS) 、参数估计的协方差 、两组观测方差相差 倍时 WLS 与 OLS 的完整数值对比。
本版的例题与实验:例题 3-补充(二维手算:特征分解 + 马氏/欧氏距离 + 逐主轴分解 + 椭圆半轴 + 密度值)、例题 4-补充(数值实验:谱分解、椭球三点、密度归一化积分、)、例题 5-补充(WLS / GLS / OLS 三方对比:估计值、目标函数、协方差、置信区间、错误标准误)、例题 6-补充(归一化证明 + 线性变换封闭性证明 + 对角 推出独立)。
一、定义
1.1 标准正态向量
先看最简单的情形。若 的各分量相互独立且都服从标准正态分布 ,则联合密度是各分量密度之积:
此时 ,,密度只依赖 ——等密度面是球面。这是「各向同性」的原型。
1.2 多元高斯分布(multivariate Gaussian)的定义
定义: 维随机向量 服从均值 、协方差 的多元高斯分布(也称多元正态分布),记作
若 正定(),其概率密度函数为
由标准正态向量构造:设 ,取任意矩阵 (可逆)与 ,令
则 、(用了 12-2-协方差矩阵 定理 4)。取 就得 。这是理解多元高斯最实用的途径:它不过是标准正态经过仿射变换(旋转 + 拉伸 + 平移)的产物。
1.2b 二维情形:密度公式的每一个符号都对得上
把 的情形完整写开,因为这是唯一能「用手算检验」的维度,也是所有直觉的来源。设
第一步:行列式。
第二步:逆矩阵。用 求逆公式(2-4-矩阵运算与逆矩阵):
第三步:指数里的二次型。令 (这就是逐坐标标准化,z-score),则
这一步值得慢慢看:(a) 若 ,方括号变成 ,二次型分解成两个独立的一元项,密度也就分解成两个一元正态密度之积——这就是「高斯下不相关即独立」的来源(定理 2);(b) 若 ,出现交叉项 ,两个变量纠缠在一起,无法分解,也就不独立;(c) 分母的 是「相关性带来的额外不确定性」—— 越大,同一个 组合给出的马氏距离越大。
第四步:完整密度。
第五步:等密度线。令指数中的二次型等于常数 ,得
注意这里已经做了标准化(用 而非 ),所以椭圆方程只含 一个参数。这是统计教材里那张经典图(一族同中心的椭圆, 决定倾斜程度)的代数来源。
第六步:条件分布(顺带,后面 GDA 会用到)。固定 后,关于 的指数仍是 的二次函数,配方得
两个结论都很反直觉:(a) 条件均值是 的线性函数,斜率 ;对 就退化成常数 (知道 对预测 毫无帮助,这正是「不相关 = 无不线性关联」在高斯下的体现)。(b) 条件方差 是常数,不依赖 的取值——这叫「同方差性」,是高斯特有的性质;一般分布中条件方差会随 变化(例如圆盘分布,见 12-1-均值方差与概率 的反例 B)。
1.3 密度函数逐项解读
三个花括号下面的标注依次是「常数」「尺度」「形状」,具体含义见下表。
| 部件 | 作用 | 线性代数解释 |
|---|---|---|
| 归一化因子:保证 | 椭球的体积正比于 ; 越「大」(特征值越大),密度峰值必须越低 | |
| 决定等密度面的形状与朝向 | 正定矩阵的逆,其谱分解为 | |
| 指数中的二次型 | 马氏距离的平方(见 1.4) | |
| 使得二次型服从 分布 | 沿每个主成分是标准正态 | |
| 密度的中心(峰值位置) | 平移向量 | |
| 与 维球体积相关的常数 | 由 定出 |
为什么归一化因子恰好是 :做代换 ,其 Jacobi 行列式绝对值为 ,于是
这里的 正是变量代换的体积伸缩率——与 5-3-克莱姆法则与体积 中「行列式是体积伸缩率」是同一件事。
1.4 马氏距离(Mahalanobis distance)
定义:
(要求 。) 称为 到 的马氏距离。它在多元高斯中的意义: 服从自由度为 的卡方分布。
二、几何直观
2.1 马氏距离 vs 欧氏距离
| 欧氏距离 | 马氏距离 | |
|---|---|---|
| 公式 | ||
| 度量矩阵 | (各方向同等权重) | (按各方向方差加权) |
| 对量纲 | 敏感:换个单位距离就变 | 无关:单位变换被 吸收 |
| 对相关性 | 忽略 | 考虑(非对角元参与计算) |
| 几何图像 | 球面 | 椭球面 |
| 典型用途 | 物理空间中的距离 | 异常检测、判别分析、标准化比较 |
「量纲无关」的证明:设对每个坐标做缩放 ( 为可逆对角阵,如把「米」换成「厘米」)。则 ,(12-2-协方差矩阵 定理 4),于是
而 ,代入得
完全不变。所以「某个点离中心几个标准差」这种说法必须用马氏距离,用欧氏距离会把单位选择混进来。
2.2 用谱分解理解马氏距离:先白化再算欧氏距离
由 12-2-协方差矩阵 定理 5,,令白化变换
则 ,且
一句话记住马氏距离
马氏距离 = 白化之后的欧氏距离。
白化把椭球形的数据云「揉」成球形,各方向方差都变成 ;在球形的世界里,判断「离中心多远」用普通欧氏距离就够了。所以马氏距离度量的是「以数据的固有散布为标尺的距离」,也就是「多少个标准差」的自然推广。
展开成分量形式(主成分视角):令 是 在第 个主轴上的坐标,则
每一项都是「该主成分方向的标准化平方」:方差大的方向( 大)被除以大数,贡献被压低;方差小的方向( 小)被放大,贡献被抬高。这正是「按各方向方差加权」的精确含义。
2.2b 马氏距离与欧氏距离到底差多少:逐个方向的分解
上一小节的 把马氏距离变成了欧氏距离。现在把它反向拆开,看每一个主成分方向各贡献了多少——这是回答「为什么某个点的马氏距离远小于欧氏距离」的唯一严谨办法。
记 ,( 在第 个主轴上的坐标)。则
两个公式只差一个分母 。于是:
| 情形 | 欧氏距离 | 马氏距离 | 几何解释 |
|---|---|---|---|
| 沿大方差主轴( 大) | 大 | 小 | 数据在这个方向本来就铺得开,「远」是正常的 |
| 沿小方差主轴( 小) | 小 | 大 | 数据在这个方向几乎不动,稍微偏离就很异常 |
| 各 都等于 | 相等 | 相等 | 白化后两者重合( 时马氏距离就是欧氏距离) |
| 相差 倍 | — | — | 同一个点可以「欧氏很远但马氏很近」,或反之 |
一句话对比
欧氏距离用「尺子」量,马氏距离用「数据的散布」量。
欧氏距离把 当成各向同性的空间(度量矩阵是 );马氏距离把度量矩阵换成 ,于是每个方向的「单位长度」被重新定义为该方向的一个标准差。二者只有在 时才一致。当你听到「这个点离中心 3 个标准差」,那说的就是马氏距离(或它的平方根)。
「多少个标准差」这个说法的严格版本:
- 一维:,即 的平方根;
- 多维、各方向独立():,逐坐标标准化后求平方和;
- 多维、有相关(一般 ):必须先旋转到主轴()再标准化(),即 。不能只做逐坐标标准化(那是 z-score,只对 对角时才正确,见 FAQ Q2)。
为什么这会带来完全相反的异常检测结论:异常检测的判据通常是「 的分位数」。若误用欧氏距离,那么沿着大方差主轴方向上的正常点(欧氏距离可能很大)会被大量误判为异常,而沿着小方差主轴方向上的真异常(欧氏距离不大)反而逃过检测。这正是 12-3 篇八、易错点第 2 条的具体机制。
2.3 等概率密度面是椭球
因为密度只通过 依赖 ,而指数函数单调,所以等密度面就是等 面:
由 6-5-二次型与标准形 的结论:这是中心在 、主轴方向为 的特征向量 、半轴长为 的椭球。
推导(与 12-2 篇 2.3 节同一套路):令 ,方程变成
沿 方向令其余为零得 ,即半轴长 。
常用等值线的取值:
| 时的含义 | 概率 | |
|---|---|---|
| 半轴长 | 约 | |
| — | 约 (「」的二维版本) | |
| 半轴长 | 约 | |
| — | 约 |
(二维时 ,其 分位数是 , 分位数是 。)这正是代码里画置信椭圆的标准做法。
2.4 从「标准球」到「椭球」的几何变换链
式中三个花括号下的标注依次表示:标准球、中心在原点的椭球、中心平移到 的椭球。
三步对应三个线性代数操作:缩放()、旋转()、平移()。反过来求密度就是逆着走:先平移回原点,再旋转到主轴(),再缩放成球()——而这个逆过程算出来的「距离」恰好就是马氏距离。
三、性质与定理
定理 1(线性变换下高斯仍是高斯——封闭性)
表述:设 , 是常数矩阵, 是常数向量,则
即高斯族在仿射变换下封闭。
证明思路:分两步。
第一步(均值与协方差):由 12-2-协方差矩阵 定理 4 直接得到 、。所以只需证明 仍然是高斯分布。
第二步(密度的变换):先假设 可逆()且 。由 ,线性变换的 Jacobi 矩阵是 ,其行列式绝对值为 。变量代换公式给出
记 ,则 ,于是指数中的二次型变成
(用到 。)前面的因子
(因为 ,故其平方根为 。)合起来正是 的密度。
一般情形的处理:若 不可逆或 奇异(奇异高斯),密度不存在,但可以用特征函数(等价于 Fourier 变换 )来证明同样的结论:
而特征函数唯一决定分布,故结论成立。这条路线还顺带说明:高斯是唯一在仿射变换下封闭的分布族。
封闭性为什么重要
1. 误差传播:测量误差若是高斯,做任何线性运算(如求平均、加权和、求导数的线性近似)之后仍是高斯,误差分析有统一的闭式结果。
2. 卡尔曼滤波:状态与观测都是高斯,预测步()与更新步(条件分布)都保持高斯,于是只需要维护均值与协方差两个对象——整个滤波算法就是对 与 做矩阵运算。
3. 降维不破坏模型:PCA 投影(线性变换)之后的数据仍服从高斯,协方差为 。
4. 中心极限定理:大量独立小扰动之和(线性组合)趋于高斯,所以高斯是「默认模型」。
定理 2(高斯下不相关等价于独立)
表述:设 ,其分量为 。则下列命题等价:
- 相互独立;
- 两两不相关;
- 是对角矩阵。
证明:先设 。
(1 ⟹ 2) 由 12-1-均值方差与概率 定理 6。
(2 ⟹ 3) 由 12-2-协方差矩阵 定理 6。
(3 ⟹ 1) 设 。此时 ,,指数中的二次型分解为
于是
联合密度分解为边缘密度之积 独立。
奇异情形的处理:若 半正定但奇异,密度不存在;此时独立性的判定需要更细致的陈述——可以证明「 的各个分量独立 为对角阵并且 的支撑集是乘积集」。实践中最常见的退化情形是某个分量恒为常数(对应零特征值);此时该分量的分布在退化点,与其余分量的独立性照常成立。更一般地,只要 对角,且非退化部分与零方差部分可分离,结论仍成立。
这是高斯独有的性质
对一般分布,「不相关」推不出「独立」。第 12-1 篇的反例( 均匀取 ,, 但不独立)就是明证。
高斯之所以特殊,是因为它的密度函数完全由一阶矩()与二阶矩()决定——没有更高阶的依赖结构(偏度、峰度等)可以「藏在」协方差看不见的地方。所以协方差矩阵一旦对角,依赖性就真的没有了。
实践含义:做「不相关 ⟹ 独立」的推断前,先确认高斯假设。若数据明显非高斯(重尾、多峰、有界),这个推断是错的。
定理 3(加权最小二乘的解)
问题设置:设观测模型为
其中 (,超定)、 是已知的正定权重矩阵(对角时 )。加权最小二乘(weighted least squares, WLS) 是求解
定理:若 列满秩()且 ,则最优解唯一,为
完整推导(对 求梯度):
第 1 步:展开目标函数。记 。利用 :
第 2 步:合并中间两项。因为 是标量,等于自己的转置:
所以
第 3 步:求梯度。用两条矩阵微分公式(对列向量 ):
第二条在 时给出 (因为 ,是对称矩阵)。于是
第 4 步:令梯度为零,得加权正规方程(normal equations):
第 5 步:验证唯一最小值。 的 Hessian 是 。因为对任意 ,
( 列满秩保证 , 保证二次型严格为正。)故 Hessian 正定, 是严格凸函数,驻点即全局唯一最小值点。又 正定故可逆,解得
适用条件汇总:
- (无系统偏差;否则估计有偏);
- 已知(只差一个整体常数因子 也可以,因为 对 的整体缩放不变);
- 列满秩(否则 奇异, 不唯一);
- 误差不相关(对角协方差)。若误差之间相关,要用下一个定理的 GLS。
特例: 就退化为普通最小二乘,,与 4-3-最小二乘逼近 中的法方程完全一致。
为什么权重取 :若各观测独立、方差为 ,则 ,即
直觉:方差小 = 观测可靠 = 权重高。这样得到的估计在所有「线性无偏估计」中方差最小(Gauss–Markov / Aitken 定理)。
定理 4(广义最小二乘)
表述:若误差的协方差是一般的正定矩阵
(允许分量之间相关、方差各不相同),则最优线性无偏估计为
称为广义最小二乘(generalized least squares, GLS)估计。
证明(白化归约):因为 ,可以构造对称的 (见 12-2-协方差矩阵 定理 5)。把模型两边左乘 :
新的误差满足
(用了 对称:。)
于是「白化后」的问题正好是普通最小二乘问题,直接套用定理 3 的 情形:
(用了 与 。)
一句话记住 GLS
广义最小二乘 = 先白化,再普通最小二乘。
这与「马氏距离 = 先白化,再算欧氏距离」是同一个思想。白化把「各方向方差不同、且互相相关」的误差变成「各方向方差为 、互不相关」的白色噪声,之后一切普通最小二乘的结论(法方程、投影解释、Gauss–Markov 定理)都可以照搬。
当 为对角阵时 GLS 退化为 WLS;当 时进一步退化为 OLS。
定理 5(估计量的协方差与置信区间)
表述:在模型 、、 下,GLS 估计
是无偏的,且
证明:
无偏性:用期望线性性(不需要独立性):
协方差:把 代入,用 得 ()。令 ,则由 12-2-协方差矩阵 定理 4:
( 对称故 。)
特例:OLS()时有
这就是统计学教材里最常见的那个公式。它的对角元开平方就是各参数的标准误(standard error), 置信区间近似为
(正态误差下精确分位数用 分布;区间长度由 的对角元决定——这正是「 出现在公式里」的实际意义。)
为什么加权能降低方差(定量说明):考虑最简单的情形——只有一个参数 (, 列),观测 独立、方差 。则
这正是逆方差加权平均的方差,也是所有无偏线性组合中方差的最小值。若改用简单平均(权重都取 ),方差是
由 Cauchy–Schwarz(或调和平均 算术平均)可得
等号成立当且仅当所有 相等。所以观测精度越不均匀,加权的收益越大;精度完全相同时加权退化为简单平均,没有任何损失。
四、计算方法与步骤
4.1 判断数据是否近似多元高斯
- 边缘检查:每个变量的直方图是否近似钟形、是否大致对称。
- 二维散点:任意两变量的散点图是否呈椭圆云(而非弯曲的月牙形)。
- 马氏距离检查:若 ,则样本马氏距离的平方 近似服从 。把 排序后与 的分位数画 QQ 图,若接近直线则高斯假设合理。
- 高维情形: 很大时无法可视化,主要靠 QQ 图与领域知识。
4.2 计算马氏距离的步骤
- 估计均值 。
- 估计协方差 (12-2-协方差矩阵)。
- 检查 是否可逆:算 、条件数、秩。若奇异,先降维或加正则化 。
- 解线性方程 得到 。不要真的求逆矩阵——用
np.linalg.solve更快更稳。 - 计算 。
- 验证:与「白化后算欧氏距离」对比,两者应相等。
4.3 做加权最小二乘的步骤
- 确定权重:由仪器精度、重复测量的方差、或残差的初步估计得到 ,取 。
- 构造矩阵 (或一般正定矩阵)。
- 形成加权正规方程 。
- 检查 是否可逆:等价于 列满秩且 正定。
- 求解:优先用
np.linalg.solve(A.T @ W @ A, A.T @ W @ b),而不是先求逆(11-1-数值稳定性与LU 的原则:能解方程就不要求逆)。 - 算协方差:,对角元开方得标准误。
- 比较 OLS 与 WLS:若两者差别很大,说明异方差问题严重(或权重设定有误),应检查残差图。
4.4 置信椭球的画法
- 算出 与 。
- 对 做特征分解 。
- 取 的 分位数 (二维 时 )。
- 参数化 ,或等价地画 平面上的圆再变换。
- 用 matplotlib 画(需
pip install matplotlib)。
五、例题
例题 1(马氏距离与白化:完整计算)
题目:设二维随机向量 服从
考虑点 。
(1) 求 的特征分解。 (2) 求欧氏距离与马氏距离。 (3) 用白化验证 (2)。 (4) 说明等密度椭球的半轴。
解答:
(1) 特征方程:
,故
验证: ✓; ✓。
特征向量:对 ,由第二行 。取 ,,,得
由正交性
特征向量的符号可以整体取反
特征向量只确定到非零倍数,单位化之后还剩整体变号的自由: 与 都是合法的主轴方向(主轴是一条直线,不分正负)。下面(3)里为了与
np.linalg.eigh的实际输出对上,统一取 、。换符号不改变任何结论(、 不变、白化后的 不变)。
(2) 偏差向量:
欧氏距离:
马氏距离:先求 :
故 。
解读:马氏距离()远小于欧氏距离()。原因: 大致沿着方差较大的那个主轴( 所在直线,与 的夹角很小,约 ),在这个方向上数据本来就铺得开,所以「2 个单位」并不算远。
(3) 用白化验证。白化:。按上面约定的符号取 的列为 、:
✓ 与 (2) 一致,验证了「马氏距离 = 白化后的欧氏距离」。(注意白化把 送到的位置与上面的符号约定无关:无论主轴方向取正还是取负, 都是 。)
用主成分形式交叉验证:、,则
✓
(4) 等密度椭球:方程 给出中心在 的椭圆。取 (即「 个标准差」椭圆)时:
- 长轴沿 所在直线,半轴长 ;
- 短轴沿 所在直线,半轴长 。
取 (二维 置信椭圆):,半轴长为
长轴所在直线与 轴成约 角(等价地说 ,因为直线不分方向;由 得到)。
例题 2(加权最小二乘完全计算,并与 OLS 对比)
题目:用两套精度悬殊的仪器测量同一个物理量 ,得数据
| 仪器 | 观测值 | 误差标准差 | 方差 |
|---|---|---|---|
| A(精密) | |||
| A(精密) | |||
| A(精密) | |||
| B(粗糙) | |||
| B(粗糙) |
用 WLS 与 OLS 分别估计 ,比较结果与估计方差。
解答:
建模:只有一个未知参数,,。
第 1 步:权重。
第 2 步:加权正规方程。
第 3 步:解。
第 4 步:OLS 对比。
第 5 步:比较估计方差。
(式中 即标准差 standard deviation。)
第 6 步:比较。
| 估计值 | 估计标准差 | 与真值 的差距 | |
|---|---|---|---|
| OLS(简单平均) | |||
| WLS(逆方差加权) |
结论:WLS 的估计标准差只有 OLS 的 ,方差降低到约 (降低约 )。原因是两个粗糙观测的方差是精密观测的 倍,OLS 却给它们同样的话语权,导致估计严重偏向 和 那一侧。
理论说明:由定理 5 后的推导,
等号当且仅当所有 相等。本例中 相差 倍,故不等号非常「松」。
顺带一提:OLS 在这里其实很差,但不算「有偏」
OLS 估计是无偏的(),只是方差大。这一组数据里 OLS 落在 ,是方差大的正常表现(估计标准差 ,偏离 约 个标准差,属于比较极端的抽样,但完全可能)。结论不是「OLS 错了」,而是「OLS 没有利用已知的精度信息,白扔了效率」。
例题 3-补充(二维手算:马氏距离 vs 欧氏距离、谱分解、椭圆半轴、密度值)
题目
设二维随机向量 服从
取点 。求:
(1) 的特征值、特征向量与 ;
(2) 欧氏距离与马氏距离,并逐主轴分解马氏距离;
(3) 用白化验证 (2),并说明白化后 与马氏距离的关系;
(4) 单位等密度椭球的半轴长与朝向;
(5) 处的密度值与最大值之比。
解答:
第 1 步:特征值(手算,不跳步)。特征方程
展开:
所以
由 :
验证: ✓; ✓。
第 2 步:特征向量。对 ,取方程 :
取 ,,得
由正交性(对称矩阵的不同特征值对应特征向量正交,见 6-4-对称矩阵与正定矩阵)
第 3 步:。先算行列式 ,再套 求逆公式(交换对角元、副对角元变号、除以行列式):
第 4 步:欧氏距离。偏差向量
第 5 步:马氏距离。先算 :
再算内积:
第 6 步:逐主轴分解马氏距离。把 投影到两条主轴上:
于是
同样地分解欧氏距离(因为 是标准正交基,保持长度):
对比两个分解,结论一目了然:
| 主轴 | 坐标 | 沿该轴的方差 | 欧氏贡献 | 马氏贡献 |
|---|---|---|---|---|
| (大方差) | () | () | ||
| (小方差) | () | () | ||
| 合计 | — | — |
欧氏距离 、马氏距离 ,差了一倍多。原因看表就明白: 几乎完全落在大方差的主轴 上(与 的夹角 )。在这个方向上数据本来就铺得很开(,标准差 ),所以「偏离 」只相当于 个标准差——一点都不异常。马氏距离正是把这个事实自动算了进去。
第 7 步:用白化验证。白化变换 。先旋转:
(就是这个 !旋转到主轴坐标系。)再缩放:
验证了「马氏距离 = 白化后的欧氏距离」。注意 ,与第 6 步是同一个算式——白化就是「逐主轴除以标准差」这件事的矩阵写法。
特征向量的符号不影响任何结果
上半部分取 ;
np.linalg.eigh实际返回的是 (整体变号)。这会让 同时变号,但 不变,所以马氏距离、欧氏距离、 的各个平方分量都不变。主轴是一条直线,不分正负。
第 8 步:单位等密度椭球。方程 在 时给出中心在 的椭圆:
- 长轴沿 所在直线,半轴长 ;
- 短轴沿 所在直线,半轴长 ;
- 长轴与 轴夹角 。
取二维 置信椭圆(,即 的 分位数):,半轴长为
第 9 步:密度值。对 ,归一化常数是
- 中心 处:,(这是全局最大密度,因为指数项最大为 )。
- 点 处:,
密度之比:
这是一个极有用的速算法:多元高斯在两点处的密度之比只依赖它们马氏距离平方之差:
(归一化因子相同,直接约掉。)所以比较密度的唯一依据就是马氏距离——这正是「马氏距离 = 白化后的欧氏距离」在统计上的价值。
例题 4-补充(数值实验:马氏距离的谱分解、椭球、密度归一化、)
题目(数值实验)
用 numpy 把本节的核心结论全部验证一遍:
(1) 的谱分解,马氏距离 = 白化后的欧氏距离(两种白化方式);
(2) 椭圆上取三个点,验证「马氏距离相同而欧氏距离不同」;
(3) 二维密度的归一化常数、、 与密度比,并用数值积分验证归一化;
(4) 从 抽样,验证经验协方差与 。
本示例只用 numpy,无需额外安装。
import numpy as np
mu = np.array([1.0, 2.0])
Sigma = np.array([[4.0, 2.0],
[2.0, 3.0]])
p = np.array([3.0, 4.0])
d = p - mu
# ============ 1. 谱分解与两种白化 ============
w, Q = np.linalg.eigh(Sigma) # 对称矩阵专用,升序
idx = np.argsort(w)[::-1]
w, Q = w[idx], Q[:, idx]
print("[1] 特征值(降序) =", w, " 迹 =", np.trace(Sigma), " 行列式 =", np.linalg.det(Sigma))
print("[1] 特征向量(列) =\n", Q)
print("[1] Q^T Q 与 I 的偏差 =", np.abs(Q.T @ Q - np.eye(2)).max())
print("[1] d =", d, " 欧氏距离平方 =", d @ d)
maha2 = d @ np.linalg.solve(Sigma, d) # 解方程,不显式求逆
print("[1] 马氏距离平方 =", maha2, " 马氏距离 =", np.sqrt(maha2))
# 白化方式一:W = Lambda^{-1/2} Q^T
W = np.diag(1.0 / np.sqrt(w)) @ Q.T
z = W @ d
print("[1] 白化 z =", z, " ||z||^2 =", z @ z)
# 白化方式二:对称的 Sigma^{-1/2}
Sig_inv_sqrt = Q @ np.diag(1.0 / np.sqrt(w)) @ Q.T
z2 = Sig_inv_sqrt @ d
print("[1] 对称 Sigma^{-1/2} =\n", Sig_inv_sqrt)
print("[1] 用对称版本的 ||z||^2 =", z2 @ z2, " (两者必须相等)")
print("[1] Sig^{-1/2} Sig Sig^{-1/2} 与 I 的偏差 =",
np.abs(Sig_inv_sqrt @ Sigma @ Sig_inv_sqrt - np.eye(2)).max())
# 逐主轴分解
u = Q.T @ d
print("[1] 主轴坐标 u =", u)
print("[1] sum u_i^2 =", np.sum(u ** 2), " (应等于欧氏距离平方)")
print("[1] sum u_i^2/lam_i =", np.sum(u ** 2 / w), " (应等于马氏距离平方)")
# ============ 2. 椭圆上三点:马氏距离相同、欧氏距离不同 ============
print("\n[2] 椭球半轴: 单位 c=1 ->", np.sqrt(w),
" 95%(c^2=5.991) ->", np.sqrt(5.991 * w))
theta = np.array([0.0, np.pi / 3, np.pi / 2])
transform = Q @ np.diag(np.sqrt(w)) # 旋转 + 按半轴缩放
pts = mu[:, None] + transform @ np.vstack([np.cos(theta), np.sin(theta)])
for i in range(3):
dd = pts[:, i] - mu
print(f"[2] 椭圆上点{i+1} {np.round(pts[:, i], 4)}: "
f"欧氏距离平方 = {dd @ dd:.6f} 马氏距离平方 = {dd @ np.linalg.solve(Sigma, dd):.6f}")
# ============ 3. 密度:归一化、最大值、密度比 ============
print("\n[3] rho = 2/sqrt(4*3) =", 2 / np.sqrt(12), " (解析值 sqrt(3)/3 =", np.sqrt(3) / 3, ")")
norm = 1.0 / (2 * np.pi * np.sqrt(np.linalg.det(Sigma)))
print("[3] 归一化常数 =", norm)
print("[3] p(mu) =", norm, " (最大值)")
print("[3] p(p) =", norm * np.exp(-maha2 / 2))
print("[3] 密度比 p(mu)/p(p) =", np.exp(maha2 / 2), " (应等于 exp(0.75))")
# 数值积分验证归一化(Gauss-Legendre,区域取足够大)
from numpy.polynomial.legendre import leggauss
gx, gw = leggauss(300)
lim = 12.0
xs = lim * gx + mu[0]
ys = lim * gx + mu[1]
XX, YY = np.meshgrid(xs, ys, indexing="ij")
WW = np.outer(gw, gw) * lim * lim
D = np.stack([XX - mu[0], YY - mu[1]], axis=-1)
dens = norm * np.exp(-0.5 * np.einsum('...i,ij,...j->...', D, np.linalg.inv(Sigma), D))
print("[3] 数值积分 int p dx =", (dens * WW).sum(), " (应为 1)")
# ============ 4. 抽样:经验协方差与 d^2 ~ chi2_2 ============
rng = np.random.default_rng(seed=20261011)
samples = rng.multivariate_normal(mu, Sigma, size=400000)
print("\n[4] 样本均值 =", samples.mean(axis=0), " (理论", mu, ")")
S_hat = np.cov(samples, rowvar=False)
print("[4] 样本协方差 =\n", S_hat)
ds = samples - samples.mean(axis=0)
d2 = np.einsum('ij,jk,ik->i', ds, np.linalg.inv(S_hat), ds)
print("[4] 经验马氏距离平方的均值 =", d2.mean(), " (理论 2)")
print("[4] P(d^2 > 5.991) =", np.mean(d2 > 5.991), " (理论 0.05)")
运行结果(实测输出):
[1] 特征值(降序) = [5.56155281 1.43844719] 迹 = 7.0 行列式 = 7.999999999999998
[1] 特征向量(列) =
[[-0.78820544 0.61541221]
[-0.61541221 -0.78820544]]
[1] Q^T Q 与 I 的偏差 = 1.1102230246251565e-16
[1] d = [2. 2.] 欧氏距离平方 = 8.0
[1] 马氏距离平方 = 1.5 马氏距离 = 1.224744871391589
[1] 白化 z = [-1.19036674 -0.28814412] ||z||^2 = 1.5
[1] 对称 Sigma^{-1/2} =
[[ 0.57921992 -0.19875685]
[-0.19875685 0.67859834]]
[1] 用对称版本的 ||z||^2 = 1.4999999999999998 (两者必须相等)
[1] Sig^{-1/2} Sig Sig^{-1/2} 与 I 的偏差 = 4.440892098500626e-16
[1] 主轴坐标 u = [-2.80723529 -0.34558646]
[1] sum u_i^2 = 8.0 (应等于欧氏距离平方)
[1] sum u_i^2/lam_i = 1.5000000000000002 (应等于马氏距离平方)
[2] 椭球半轴: 单位 c=1 -> [2.35829447 1.19935282] 95%(c^2=5.991) -> [5.77228403 2.93559825]
[2] 椭圆上点1 [-0.8588 0.5487]: 欧氏距离平方 = 5.561553 马氏距离平方 = 1.000000
[2] 椭圆上点2 [0.7098 0.4557]: 欧氏距离平方 = 2.469224 马氏距离平方 = 1.000000
[2] 椭圆上点3 [1.7381 1.0547]: 欧氏距离平方 = 1.438447 马氏距离平方 = 1.000000
[3] rho = 2/sqrt(4*3) = 0.5773502691896258 (解析值 sqrt(3)/3 = 0.5773502691896257)
[3] 归一化常数 = 0.05626976975981913
[3] p(mu) = 0.05626976975981913 (最大值)
[3] p(p) = 0.026579957164976357
[3] 密度比 p(mu)/p(p) = 2.117000016612675 (应等于 exp(0.75))
[3] 数值积分 int p dx = 0.9999999980226184 (应为 1)
[4] 样本均值 = [1.00007758 1.99980825] (理论 [1. 2.])
[4] 样本协方差 =
[[4.00271969 1.99988252]
[1.99988252 2.99483476]]
[4] 经验马氏距离平方的均值 = 1.9999950000000015 (理论 2)
[4] P(d^2 > 5.991) = 0.05022 (理论 0.05)
运行结果要点:
- 第 1 段:马氏距离平方 与手算完全一致;两种白化方式(不对称的 与对称的 )给出相同的 ——这直接体现了「白化矩阵不唯一,但白化后的长度唯一」(准确的陈述是:不同的白化只差一个正交变换,而正交变换保长度)。
- 第 1 段的分解:(欧氏距离平方)、(马氏距离平方)。两个求和共用同一组 ,只在 上不同,这就是两个距离的唯一差别。
- 第 2 段:椭圆上三个点的马氏距离平方都等于 (这正是「等 面」的定义),而它们的欧氏距离平方相差 倍( 对 )。注意这三个数值恰好等于 :点 1 落在长轴端点(欧氏距离平方 ),点 3 落在短轴端点(欧氏距离平方 )。这精确印证了「椭圆半轴长 」——半轴端点到中心的欧氏距离平方就是 ,取 即 。
- 第 3 段:归一化常数的数值积分 与 的微小差距来自把积分区域截断成 (尾部漏掉了约 ,因为 相当于 个标准差)。密度比 与手算一致。
- 第 4 段:样本协方差逼近真值 ,经验马氏距离平方的均值 逼近 的均值 ,超过 的比例 逼近理论值 。这一条是「数据看起来像不像多元高斯」的标准检验(4.1 节的马氏距离 QQ 图检验)。
例题 5-补充(两组观测方差相差 倍:WLS / GLS / OLS 三方对比)
题目
用两套精度悬殊的仪器测量线性关系 ( 截距、 斜率,真值 ):
| 组 | | | 误差标准差 | 方差 |
|---|---|---|---|---|
| A(精密) | | | | |
| B(粗糙) | | | | |
两组的方差相差 ,标准差相差 倍。
(1) 写出 、(或 ),解加权正规方程;(2) 求 OLS 估计并比较;(3) 比较目标函数值、与真值的偏差、估计量的协方差矩阵;(4) 说明为什么「忽略精度差异」会同时破坏估计值与标准误。
解答:
第 1 步:模型与矩阵。
第 2 步:加权正规方程的各个量。
第 3 步:解 WLS。
(分子:;。)
第 4 步:OLS。
第 5 步:GLS 与 WLS 的关系。本例的 是对角阵,由 1.2 节的结论,GLS 退化为 WLS:
这不是巧合,而是恒等式: 对角时 ,两个公式逐字相同。
第 6 步:三方对比。
| 截距 | 斜率 | 与真值 的偏差 | |
|---|---|---|---|
| 真值 | — | ||
| WLS | |||
| GLS | 同上(对角 时与 WLS 完全相同) | ||
| OLS |
OLS 把斜率估成了负数(,真值 ),方向都反了。原因:两组粗糙观测的方差是精密观测的 倍,OLS 却给它们同样的权,于是估计被那四个「乱跳」的点拖跑。
第 7 步:目标函数值(加权残差平方和 ):
| 代入的解 | |
|---|---|
| WLS(= GLS)解 | (最小) |
| 真值 | |
| OLS 解 |
两个值得注意的现象:
(a) OLS 解的 是 WLS 的 倍。OLS 也叫「最小二乘」,但它最小化的是不加权的残差平方和;一旦换了正确的目标函数,它毫无最优性。
(b) 真值的 略大于 WLS 的()。这不是矛盾:WLS 是 的极小值点,真值只是好候选。「无偏」是重复实验的平均性质,单次实现不必比真值更接近目标函数最优值——这是最容易被误解的一点。
第 8 步:估计量的协方差矩阵。
WLS:
标准误:(截距),(斜率)。用未舍入的矩阵直接算得 ——手算与代码的小差别来自上面把 与矩阵元各自四舍五入。
OLS 的真实协方差(必须用三明治公式,因为 ):
其中
(,;,。)代入得
标准误:(截距),(斜率)。
对比:
| 截距标准误 | 斜率标准误 | |
|---|---|---|
| WLS / GLS | ||
| OLS | ||
| 比值 |
OLS 的标准误大 倍,方差大 倍(代码实测:两对协方差的对角元之比都是 ,精确相等——这是本例数据的特殊结构造成的,不要当成一般规律)。
用 置信区间看实际影响(,用代码给出的精确标准误):
| 截距的 区间 | 斜率的 区间 | 是否包含真值 | |
|---|---|---|---|
| WLS | 都包含 ✓,区间窄 | ||
| OLS | 都包含,但宽约 倍 |
结论:OLS 的区间虽然也覆盖了真值,但宽到几乎无信息(截距区间宽度约 ,而真值只有 ;斜率区间跨越零点,连符号都判断不了)。这就是「效率损失」的实际样子:不是「错了」,而是「白做了」。
第 9 步:忽略异方差的第二个危害——标准误完全失真。若无视异方差、照搬同方差公式
得到 、。而真实标准误是 :截距的假标准误高估了 倍,斜率的只差 。同一个错误公式,在不同参数上造成的偏差方向与幅度完全不同,事先无法预测:
实践结论:只要怀疑误差方差随观测变化(异方差),就必须用 WLS/GLS 或稳健标准误,不能直接套 。
关于「真值的 反而更大」这件事
很多人第一次看到「真值的目标函数值大于估计值」会觉得估计量有问题。这正是「估计量」与「参数」的区别:
- 是数据的函数,它的最小值点(WLS 估计)依赖具体数据,是随机的;
- 真值是固定的常数,它对当前样本的 值没有最优性义务。
类似的例子在一维更好理解:真值 、观测 ,则 在 处最小,真值 给的目标值更大。估计量是「用数据猜参数」,不是「用参数拟合数据」。
例题 6-补充(证明题:高斯密度的归一化、线性变换封闭性、条件分布)
题目
(1) 证明 ,说明 的来源;
(2) 设 、( 可逆),用密度变换公式证明 ,并说明 不可逆时要怎么处理;
(3) 证明:若 是对角阵 ,则 相互独立。
解答:
(1) 归一化。做变量代换
这是仿射变换,其 Jacobi 矩阵是常数矩阵 (对 求导,平移项 消失),故
(用了 ,因为 ,且 正定故行列式为正。)同时指数里的二次型恰好化为 :
代入:
(最后一个等号把 重积分拆成 个一元积分的乘积,因为被积函数是各分量函数之积。)而标准一元积分
所以
的意义:它是变量代换的体积伸缩率——与 5-3-克莱姆法则与体积 中「行列式是体积的伸缩率」是同一件事。几何上, 把单位球拉成椭球,椭球的体积正是 乘以单位球体积。密度必须在椭球体积大的时候调低(否则积分会超过 ),这就是 因子的来源。
(2) 线性变换下仍是高斯。设 可逆,则 ,Jacobi 矩阵是 ,故
记 。因为 ,指数里的二次型变成
(用了 ,由 验证。)而前面的系数
因为
两处合起来,恰好是 的密度。均值与协方差由 12-2-协方差矩阵 定理 4 给出:、。
不可逆时(或 奇异):此时 也奇异,密度根本不存在( 维分布退化到低维子空间上),上面的密度变换公式无从谈起。正确做法是用特征函数(等价于 Fourier 变换):
则
即
这是 的特征函数;而特征函数唯一决定分布,故结论成立。这条路线不需要密度存在,因此对奇异情形也有效——这正是 12-3 篇定理 1 里「特征函数路线」的意义。
(3) 对角 推出独立。设 ,则
指数中的二次型分解为 个只含单个变量的项:
于是密度也分解为乘积:
每个因子正是一元正态密度 。所以
联合密度分解为边缘密度之积 相互独立,故 独立。
这个证明里的关键一步在哪
关键不是「 对角」,而是「二次型分解成只含单个变量的项之和」。对角矩阵让交叉项 ()全部消失,于是指数函数的 才能把密度拆成乘积。
对一般(非高斯)分布,即使 对角也没有这样的分解——因为密度里可能还有更高阶的交叉项(如 )。这就是「不相关 ⟹ 独立」只在高斯下成立的代数根源。
六、应用
| 场景 | 用到的结构 |
|---|---|
| 异常检测(anomaly detection) | 马氏距离超过 的 分位数即判为异常 |
| 传感器融合 / 卡尔曼滤波 | 逆协方差加权, |
| 参数辨识(异方差噪声) | 加权最小二乘,权重 |
| 时间序列回归(误差自相关) | 广义最小二乘, 捕捉误差的时间相关性 |
| 分类与判别分析 | 高斯判别分析:两个类的高斯密度之比,指数里就是马氏距离之差 |
| 高斯过程回归 | 协方差核矩阵 的正规方程 |
| 金融风险 | 组合的多元高斯假设下,VaR 由马氏距离分位数给出 |
| 图像处理 | 高斯滤波器的协方差矩阵决定模糊核的形状与朝向 |
| 最小二乘拟合的误差棒 | 由 的对角元算标准误([[11-2-范数与条件数]] 讨论的条件数会放大这些误差) |
高斯判别分析(GDA)的一瞥:设有两个类,各自服从 (共享协方差)。由贝叶斯公式,对数后验比是
展开后 项相消,剩下的关于 是线性的——所以决策边界是一个超平面,而「马氏距离相等」的集合恰恰是这个超平面。这正是「线性判别分析(LDA)为什么是线性的」的代数解释。
七、可运行代码示例
本示例中第一段只用 numpy;第二段(画置信椭圆)需要 matplotlib:pip install matplotlib。
import numpy as np
# ============================================================
# 第 1 部分:多元高斯、马氏距离、白化(只需 numpy)
# ============================================================
mu = np.array([1.0, 2.0])
Sigma = np.array([[4.0, 2.0],
[2.0, 3.0]])
p = np.array([3.0, 4.0])
# ---- 1. 特征分解(用 eigh,专用于对称矩阵)----
w, Q = np.linalg.eigh(Sigma) # 升序
idx = np.argsort(w)[::-1]
w, Q = w[idx], Q[:, idx]
print("特征值(降序):", w)
print("特征向量(列):\n", Q)
print("Q^T Q =\n", np.round(Q.T @ Q, 12))
print("特征值之和 =", w.sum(), " 迹 =", np.trace(Sigma))
print("特征值之积 =", w.prod(), " 行列式 =", np.linalg.det(Sigma))
# 特征向量只确定到整体变号:q 与 -q 都是同一个主轴方向。
# 下面直接采用 eigh 的自然符号(对本例即 q1 = (-0.7882, -0.6154)),
# 与例题 1(3) 中的手算保持一致。
print("特征向量(列,eigh 自然符号):\n", np.round(Q, 4))
# 注意:换符号不影响任何结论(Q^T Q = I、Lambda 不变、||z|| 不变)
# ---- 2. 欧氏距离 vs 马氏距离 ----
d = p - mu
euclid2 = d @ d
# 解 Sigma v = d,避免显式求逆
v = np.linalg.solve(Sigma, d)
maha2 = d @ v
print("\n偏差向量 d =", d)
print("欧氏距离平方 =", euclid2, " 欧氏距离 =", np.sqrt(euclid2))
print("马氏距离平方 =", maha2, " 马氏距离 =", np.sqrt(maha2))
# 用显式逆交叉验证
maha2_inv = d @ np.linalg.inv(Sigma) @ d
print("用 np.linalg.inv 交叉验证:", maha2_inv)
# ---- 3. 验证:马氏距离 = 白化后的欧氏距离 ----
W_white = np.diag(1.0 / np.sqrt(w)) @ Q.T # Lambda^{-1/2} Q^T
z = W_white @ d
print("\n白化后的向量 z =", z)
print("||z||^2 =", z @ z, " (应等于马氏距离平方)")
print("WSW^T 与 I 的最大偏差:",
np.abs(W_white @ Sigma @ W_white.T - np.eye(2)).max())
# 对称版本 Sigma^{-1/2}
Sig_inv_sqrt = Q @ np.diag(1.0 / np.sqrt(w)) @ Q.T
z2 = Sig_inv_sqrt @ d
print("用对称 Sigma^{-1/2} 的 ||z||^2 =", z2 @ z2)
# ---- 4. 主成分分解形式 d^2 = sum u_i^2 / lambda_i ----
u = Q.T @ d
print("\n主成分坐标 u =", u)
print("sum u_i^2/lambda_i =", np.sum(u**2 / w), " (应等于马氏距离平方)")
# ---- 5. 椭圆形等密度线的半轴长(95% 置信椭圆)----
from math import sqrt
c2_95 = 5.991 # chi2_2 的 95% 分位数
print("\n95% 椭圆半轴长:", np.sqrt(c2_95 * w))
print("长轴方向:", Q[:, 0], " 倾角(度):",
np.degrees(np.arctan2(Q[1, 0], Q[0, 0])))
# ---- 6. 用多元高斯抽样并验证经验协方差 ----
rng = np.random.default_rng(seed=20261011)
samples = rng.multivariate_normal(mu, Sigma, size=200000)
print("\n样本均值:", samples.mean(axis=0))
print("样本协方差:\n", np.cov(samples, rowvar=False))
# 经验马氏距离平方应近似 chi2_2(均值 = 2)
ds = samples - samples.mean(axis=0)
S_hat = np.cov(samples, rowvar=False)
d2_all = np.einsum('ij,jk,ik->i', ds, np.linalg.inv(S_hat), ds)
print("经验马氏距离平方的均值:", d2_all.mean(), " (理论值 = 2)")
print("超过 5.991 的比例:", np.mean(d2_all > 5.991), " (理论值约 0.05)")
# ---- 7. 线性变换下高斯仍是高斯 ----
A = np.array([[2.0, -1.0],
[1.0, 3.0]])
b = np.array([0.5, -0.5])
y = samples @ A.T + b
print("\nE[y] 经验:", y.mean(axis=0), " 理论:", A @ mu + b)
print("Cov(y) 经验:\n", np.cov(y, rowvar=False))
print("Cov(y) 理论 A Sigma A^T:\n", A @ Sigma @ A.T)
# ============================================================
# 第 2 部分:加权最小二乘 vs 普通最小二乘(只需 numpy)
# ============================================================
b_obs = np.array([10.1, 10.3, 9.8, 12.0, 15.0])
sigma = np.array([0.1, 0.1, 0.1, 1.0, 1.0])
Amat = np.ones((5, 1)) # 只有截距项
Wmat = np.diag(1.0 / sigma**2)
x_wls = np.linalg.solve(Amat.T @ Wmat @ Amat, Amat.T @ Wmat @ b_obs)
x_ols = np.linalg.solve(Amat.T @ Amat, Amat.T @ b_obs)
print("\n权重:", np.diag(Wmat))
print("WLS 估计:", x_wls[0])
print("OLS 估计:", x_ols[0])
print("真值 10 的差距: WLS =", abs(x_wls[0] - 10), " OLS =", abs(x_ols[0] - 10))
cov_wls = np.linalg.inv(Amat.T @ Wmat @ Amat)
var_ols = np.sum(sigma**2) / 5**2
print("Var(WLS) =", cov_wls[0, 0], " 标准差 =", np.sqrt(cov_wls[0, 0]))
print("Var(OLS) =", var_ols, " 标准差 =", np.sqrt(var_ols), " (解析)")
print("方差比值 =", cov_wls[0, 0] / var_ols)
# ---- 蒙特卡洛:重复实验,验证 WLS 的方差更小 ----
rng = np.random.default_rng(seed=42)
trials = 40000
noise = rng.normal(scale=sigma, size=(trials, 5)) # 异方差噪声
B = 10.0 + noise # 真值 10
xw = np.linalg.solve(Amat.T @ Wmat @ Amat, Amat.T @ Wmat @ B.T)[0]
xo = np.linalg.solve(Amat.T @ Amat, Amat.T @ B.T)[0]
print("\n[蒙特卡洛] WLS 均值 =", xw.mean(), " 方差 =", xw.var(ddof=1))
print("[蒙特卡洛] OLS 均值 =", xo.mean(), " 方差 =", xo.var(ddof=1))
print("[理论值] WLS 方差 =", cov_wls[0, 0], " OLS 方差 =", var_ols)
# ---- 忽略异方差、强行用 OLS 的后果:标准误被低估/高估 ----
# 用 OLS 公式算标准误(错误地假设同方差)
resid = b_obs - Amat @ x_ols
s2 = resid @ resid / (5 - 1) # OLS 残差方差估计
se_ols_wrong = np.sqrt(s2 * np.linalg.inv(Amat.T @ Amat)[0, 0])
print("\nOLS 公式给出的标准误(错误地假设同方差):", se_ols_wrong)
print("OLS 真实标准误:", np.sqrt(var_ols))
print("WLS 标准误:", np.sqrt(cov_wls[0, 0]))
print("\n>>> 以上第 1、2 部分只用 numpy,到此已可完整运行 <<<")
绘图部分(单独运行,需要 matplotlib)
本示例需要 matplotlib:pip install matplotlib。这段代码独立成块,没装 matplotlib 不影响上面第 1、2 部分的运行。
import numpy as np
import matplotlib
matplotlib.use("Agg") # 无显示环境(如服务器)也能保存图片
import matplotlib.pyplot as plt
mu = np.array([1.0, 2.0])
Sigma = np.array([[4.0, 2.0], [2.0, 3.0]])
p = np.array([3.0, 4.0])
w, Q = np.linalg.eigh(Sigma)
idx = np.argsort(w)[::-1]
w, Q = w[idx], Q[:, idx]
# 重新抽样(与上面用同一个种子,保证点云一致)
rng = np.random.default_rng(seed=20261011)
samples = rng.multivariate_normal(mu, Sigma, size=200000)
# ============================================================
# 第 3 部分:绘制 95% 置信椭圆
# ============================================================
theta = np.linspace(0, 2 * np.pi, 400)
circle = np.vstack([np.cos(theta), np.sin(theta)]) # 单位圆
transform = Q @ np.diag(np.sqrt(w * 5.991)) # 旋转 + 按半轴缩放
ellipse = mu[:, None] + transform @ circle
fig, ax = plt.subplots(figsize=(6, 6))
ax.scatter(samples[:3000, 0], samples[:3000, 1], s=2, alpha=0.15, label="samples")
ax.plot(ellipse[0], ellipse[1], "r-", lw=2, label="95% ellipse")
ax.plot(*mu, "k+", ms=12, label="mean")
ax.plot(*p, "go", ms=8, label="point p")
ax.set_aspect("equal")
ax.grid(alpha=0.3)
ax.legend()
fig.savefig("mvg_ellipse.png", dpi=120)
print("\n已保存 mvg_ellipse.png")
运行结果要点:
- 第 1 段特征值为 与 ,和手算一致。
- 第 2 段马氏距离平方为 ,欧氏距离平方为 ,与例题 1 完全吻合。
- 第 3 段白化后 ,验证「马氏距离 = 白化后欧氏距离」。
- 第 6 段经验马氏距离平方的均值接近 ,超过 的比例接近 ,验证 。
- 第 7 段经验协方差与 一致,验证定理 1。
- 加权最小二乘部分:WLS 给出约 ,OLS 给出约 ;蒙特卡洛显示两者均值都接近 (都无偏),但 WLS 的方差只有 OLS 的约 。
- 最后一段演示:若忽视异方差、硬套同方差公式估标准误,得到的标准误完全失真——这正是「忽略观测精度差异」的实际危害。
八、易错点
六个高频错误
1. 奇异时还去写密度。 是密度存在的前提: 使归一化因子为零, 不存在使二次型无定义。此时分布退化为「集中在某个低维子空间上的奇异高斯」,只能在支撑集的低维空间里定义伪密度(用伪行列式与伪逆,对应
scipy.stats.multivariate_normal(..., allow_singular=True))。实践含义: 时(12-2-协方差矩阵 定理 7)样本协方差矩阵必然奇异,直接套高斯密度会得到inf、nan或报错。2. 把马氏距离当欧氏距离用。马氏距离按各方向方差加权。在方差大的方向上「距离 3 个单位」可能只是 个标准差,完全正常;在方差小的方向上同样的欧氏距离可能是 个标准差,极度异常。判断异常时必须用马氏距离,否则会把沿着主轴方向的正常极端值全部误判为异常。
3. 权重取错:应是方差的倒数而非标准差的倒数。,不是 。取 虽然方向对(精度高的权重大),但不是最优,会损失效率。推导见定理 5 之后的讨论: 在 下最小化给出 。
4. 忽略观测之间的相关性而误用 OLS。OLS 的 Gauss–Markov 最优性要求误差不相关且同方差。若误差有相关性(如时间序列的相邻观测、同一被试的多次测量),OLS 仍无偏但不再有效,而且 会低估真实标准误,导致把不显著的参数当成显著。此时要用 GLS:。
5. 权重矩阵依赖数据本身。若 是用同一批数据估出来的(例如先用 OLS 残差估计 再回代),则 变成随机的, 的分布不再严格是高斯, 也只是协方差的近似。实践中这叫「可行的广义最小二乘(FGLS)」,小样本下需要修正。
6. 以为加权的目的是「去掉离群点」。加权最小二乘是用已知的精度信息做最优组合(无偏 + 最小方差),不是鲁棒回归。真正的离群点(不属于同一模型的数据)应该用稳健回归(Huber、RANSAC 等),简单加大权重反而会让估计被离群点带偏。
九、练习题
练习 1(基础):设 ,。求点 的欧氏距离与马氏距离,并指出哪个更大以及为什么。
练习 2(基础):设 , 为 常数矩阵。用定理 1 说明:若 奇异,则 的分布是什么(是否存在密度)?举一个具体例子。
练习 3(进阶):设 ,。求 与 的分布,并验证它们独立。(提示:先算协方差,再用定理 2。)
练习 4(进阶):用定理 3 的推导方法证明:若把目标函数改成 (绝对值而非平方),梯度法不再适用,驻点条件变成 。说明为什么加权最小二乘()比加权最小绝对偏差()更容易求解,以及两者对离群点的敏感度差异。
练习 5(进阶):设模型 ,,误差独立且 (方差随 增大)。写出 的具体形式,并说明如何把这个问题化为普通最小二乘(提示:除以 做变量代换)。
练习 6(思考):为什么「不相关 ⟹ 独立」只在多元高斯下成立?从密度函数的形式(只依赖 与 )给出解释。再构造一个非高斯的二维分布,其协方差为单位阵(不相关、同方差),但两个分量明显不独立。
练习 7(思考):在定理 5 中,若把 替换为 ( 为常数,即把所有误差方差整体放大 倍), 与 分别如何变化?这说明了为什么实践中只需要权重之间的相对大小。
十、常见问题 FAQ
Q1:为什么多元高斯的密度里会出现 ?
A:它是变量代换的体积伸缩率。做代换 把椭球拉成球,代换的 Jacobi 行列式绝对值是 。为了让变换后的密度在整个 上积分为 ,必须把这个体积因子除回来(见 1.3 节的积分验证)。几何上:椭球的体积正比于 , 越大密度峰值越低——分布铺得越开,峰就越矮。
Q2:马氏距离和「标准化后算欧氏距离」(z-score)有什么区别?
A:z-score 只除以标准差,不处理相关性。若 是对角阵,两者完全相同:。但 有非对角元时,马氏距离还会旋转到主轴(用 )再缩放,而 z-score 只在原坐标轴上缩放。所以马氏距离 = 完整白化 + 欧氏距离;z-score = 只做 那一步。当变量之间相关时,用 z-score 会得到错误结论。
Q3:加权最小二乘的权重怎么定?
A:原则是 , 是第 个观测的误差方差。实际做法有三条路:(1) 仪器精度已知——直接查手册取方差;(2) 重复测量——对每个观测条件重复若干次,用样本方差估计 ;(3) 残差建模——先做 OLS,把残差平方对自变量回归(如 ),用拟合值当方差(这就是 FGLS)。注意第三条路里 依赖数据,标准误需要修正。另外, 的整体缩放不影响 ,只需要相对权重。
Q4:加权最小二乘一定能降低方差吗?
A:在权重取 且模型正确时,一定不会变差。由定理 5 后的推导,,等号当且仅当所有 相等(Cauchy–Schwarz 取等)。所以:精度相同时加权无害,精度不均时加权收益巨大(例题 2 中方差降到 )。但如果权重设错(比如把方差的倒数写成了标准差的倒数,或者 估计得离谱),WLS 可能反而不如 OLS。
Q5:为什么广义最小二乘就是「先白化再 OLS」?
A:因为把模型两边左乘 后,新误差的协方差变成 ——白噪声。白噪声下 OLS 就是最优的(Gauss–Markov 定理),所以对变换后的模型做 OLS 即可,代回原变量就得到 GLS 公式 。这与「马氏距离 = 先白化再算欧氏距离」是同一个几何思想: 就是那个把椭球揉成球的变换。
本篇小结
核心结论(十二条)
- 多元高斯 = 标准正态的仿射像:()。密度、椭球、条件分布等一切性质都可以从这句话推出来。
- 密度的三个部件:常数 、体积因子 、形状因子 。体积因子来自变量代换的 Jacobi 行列式,与 5-3-克莱姆法则与体积 的「行列式 = 体积伸缩率」同源。
- 二维显式形式:,其中 是逐坐标标准化。 时指数可分解,密度随之分解为乘积——这是「高斯下不相关即独立」的代数根源。
- 马氏距离:,且在 服从高斯时 。
- 马氏距离 = 白化后的欧氏距离:。它按各方向的方差加权,因而与量纲无关。
- 欧氏距离与马氏距离的唯一差别是分母: 而 ( 是主轴坐标)。沿大方差方向「远」是正常的;沿小方差方向「远」才是异常。
- 等概率密度面是椭球:,主轴为 ,半轴长为 ; 时 给出 置信椭圆。
- 线性变换下仍是高斯:。这是卡尔曼滤波、误差传播、「PCA 投影后仍是高斯」的共同依据。
- 高斯下不相关 独立:对高斯而言 对角等价于各分量独立(对一般分布不成立)。
- 加权最小二乘(WLS):,权重取 ;估计量的协方差是 。
- 广义最小二乘(GLS):,证明方式是白化归约——左乘 把问题变成普通最小二乘,即 GLS = 先白化再 OLS。 对角时 GLS 退化为 WLS。
- 权重是方差的倒数,不是标准差的倒数:由「在 下最小化 」定出 。精度不均时 WLS 收益巨大,精度相同时 WLS 退化为简单平均、没有损失。
易混概念对照表
| 概念 A | 概念 B | 关键区别 | 关系 |
|---|---|---|---|
| 欧氏距离 | 马氏距离 | 度量矩阵 对 ;前者对量纲敏感 | 时相同;马氏 = 白化后的欧氏 |
| z-score 标准化 | 白化 | z-score 只逐坐标除以 (不旋转);白化 = 旋转 + 缩放 | 仅当 对角时两者相同 |
| 马氏距离 | 卡方分布 | 是统计量; 是它在高斯下的分布 | 高斯时 |
| 等密度面 | 置信椭球 | 数学上同一条方程;后者指取 分位数的那个 | |
| WLS( 对角) | GLS( 一般) | 前者假设误差互不相关、只方差不同;后者允许误差相关 | 对角时 GLS WLS |
| WLS 的 | GLS 的 | 同一个对象的两种记法 | |
| OLS 的公式 | 真实方差 | 前者只在同方差且不相关时成立 | 一般情形用三明治公式 |
| 让目标函数最小 | 估计更接近真值 | WLS 让 最小;真值处的 可以更大 | 「无偏」是平均性质,不是单次保证 |
| 密度比 | 概率比 | 连续情形单点概率为零,只有密度比与区域概率有意义 | 密度比 |
| 奇异 | 病态 | 前者密度理论不存在;后者密度存在但数值不可信 | 都靠降维 / 正则化 / 伪逆处理 |
| 奇异高斯 | 普通高斯 | 奇异高斯没有密度,只能用特征函数与伪密度描述 | 支撑集是低维仿射子空间 |
自学检查清单
读完本篇,你应该能不看笔记回答:
1. 多元高斯密度里 是怎么来的?它与「行列式是体积伸缩率」是什么关系?
2. 为什么马氏距离等于「先白化再算欧氏距离」?把这条等式逐步写出来。
3. 沿大方差主轴与小方差主轴各取一个欧氏距离相同的点,哪个更容易被判为异常?为什么?
4. 推导加权正规方程 ,并说明为什么 正定。
5. 广义最小二乘为什么等于「先白化再 OLS」?白化后的误差协方差是什么?
6. 两组观测方差相差 倍时,OLS 会出什么问题?(至少说出两个:估计被拖偏 + 标准误失真。)
相关笔记
- 12-2-协方差矩阵: 的对称性、半正定性、特征分解与白化( 与对称版 ),本篇的全部工具来自这里
- 12-1-均值方差与概率:单变量的期望、方差与协方差;「加权平均 + 逆方差权重」就是 WLS 在设计矩阵只有常数列时的特例
- 4-3-最小二乘逼近:普通最小二乘的法方程 与投影解释;WLS/GLS 是它在加权内积下的推广( 时完全退回)
- 4-2-投影与投影矩阵:最小二乘是投影;加权最小二乘是在 定义的内积下的正交投影,投影矩阵 幂等但不对称
- 6-4-对称矩阵与正定矩阵:密度存在的前提 、 的构造、 正定的判据
- 6-5-二次型与标准形:等密度椭球就是二次型 的等值线,半轴长公式来自正交化为标准形
- 6-1-特征值引论:迹、行列式与特征值的关系,手算 特征值时的查错手段
- 5-3-克莱姆法则与体积: 是椭球的体积伸缩率,与行列式的体积意义是同一件事
- 7-3-主成分分析PCA: 的特征分解用于降维;高斯数据经 PCA 投影后仍是高斯,协方差为
- 11-2-范数与条件数: 决定 GLS 解的数值可靠性,置信椭球的形状也由它控制
- 11-1-数值稳定性与LU:WLS 求解应当用
np.linalg.solve而不是先求逆; 病态时求逆会失真 - 2-4-矩阵运算与逆矩阵:推导里反复用到的 与 求逆公式
参考来源
- MIT 18.06 Linear Algebra, Spring 2010(Gilbert Strang)——课程主页;第 12 章「概率统计中的线性代数」讨论协方差矩阵、正定性与最小二乘:https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/
- Gilbert Strang, Introduction to Linear Algebra(第 5 版)教材官方主页:https://math.mit.edu/~gs/linearalgebra/
- SciPy 官方文档
scipy.stats.multivariate_normal:多元高斯密度的定义式、allow_singular参数(奇异协方差)与伪行列式/伪逆的处理:https://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.multivariate_normal.html - NumPy 官方文档
numpy.random.Generator.multivariate_normal:从 抽样、协方差矩阵必须半正定、method参数(svd/eigh/cholesky)与 的因子分解:https://numpy.org/doc/stable/reference/random/generated/numpy.random.Generator.multivariate_normal.html - NumPy 官方文档
numpy.linalg.lstsq:最小二乘解与残差平方和的定义,以及「 秩亏时返回最小范数解」的行为:https://numpy.org/doc/stable/reference/generated/numpy.linalg.lstsq.html - 教材(文字列名,非链接):盛骤、谢式千、潘承毅《概率论与数理统计》(第五版),高等教育出版社——第三章「二维随机变量」中的二维正态分布、第四章「 维随机向量的数字特征」