w wyl123ly 的博客
MD

12-3-多元高斯与加权最小二乘

102 KB 2026.10.11 原文件

12-3-多元高斯与加权最小二乘

一句话概括

把协方差矩阵 塞进正态分布的指数里,就得到多元高斯分布(multivariate Gaussian);指数中的二次型 是马氏距离(Mahalanobis distance)的平方,等概率密度面是 的特征向量张成的椭球。同一个二次型出现在加权最小二乘(WLS)的目标函数里,于是「用 当权重」既是统计上的最优,也是几何上的「先白化再普通最小二乘」。

本篇覆盖:多元高斯密度逐项解读(含二维显式形式与条件分布)、马氏距离与欧氏距离的区别(用 的谱分解解释「先白化再算欧氏距离」,含逐主轴分解)、等概率密度面是椭球(半轴长 )、线性变换下高斯仍是高斯(密度变换与特征函数两条证明路线)、高斯下「不相关 独立」、加权最小二乘(WLS)的完整推导 与广义最小二乘(GLS) 、参数估计的协方差 、两组观测方差相差 倍时 WLS 与 OLS 的完整数值对比。

本版的例题与实验:例题 3-补充(二维手算:特征分解 + 马氏/欧氏距离 + 逐主轴分解 + 椭圆半轴 + 密度值)、例题 4-补充(数值实验:谱分解、椭球三点、密度归一化积分、)、例题 5-补充(WLS / GLS / OLS 三方对比:估计值、目标函数、协方差、置信区间、错误标准误)、例题 6-补充(归一化证明 + 线性变换封闭性证明 + 对角 推出独立)。

一、定义

1.1 标准正态向量

先看最简单的情形。若 的各分量相互独立且都服从标准正态分布 ,则联合密度是各分量密度之积:

此时 ,,密度只依赖 ——等密度面是球面。这是「各向同性」的原型。

1.2 多元高斯分布(multivariate Gaussian)的定义

定义: 维随机向量 服从均值 、协方差 的多元高斯分布(也称多元正态分布),记作

若 正定(),其概率密度函数为

由标准正态向量构造:设 ,取任意矩阵 (可逆)与 ,令

则 、(用了 12-2-协方差矩阵 定理 4)。取 就得 。这是理解多元高斯最实用的途径:它不过是标准正态经过仿射变换(旋转 + 拉伸 + 平移)的产物。

1.2b 二维情形:密度公式的每一个符号都对得上

把 的情形完整写开,因为这是唯一能「用手算检验」的维度,也是所有直觉的来源。设

第一步:行列式。

第二步:逆矩阵。用 求逆公式(2-4-矩阵运算与逆矩阵):

第三步:指数里的二次型。令 (这就是逐坐标标准化,z-score),则

这一步值得慢慢看:(a) 若 ,方括号变成 ,二次型分解成两个独立的一元项,密度也就分解成两个一元正态密度之积——这就是「高斯下不相关即独立」的来源(定理 2);(b) 若 ,出现交叉项 ,两个变量纠缠在一起,无法分解,也就不独立;(c) 分母的 是「相关性带来的额外不确定性」—— 越大,同一个 组合给出的马氏距离越大。

第四步:完整密度。

第五步:等密度线。令指数中的二次型等于常数 ,得

注意这里已经做了标准化(用 而非 ),所以椭圆方程只含 一个参数。这是统计教材里那张经典图(一族同中心的椭圆, 决定倾斜程度)的代数来源。

第六步:条件分布(顺带,后面 GDA 会用到)。固定 后,关于 的指数仍是 的二次函数,配方得

两个结论都很反直觉:(a) 条件均值是 的线性函数,斜率 ;对 就退化成常数 (知道 对预测 毫无帮助,这正是「不相关 = 无不线性关联」在高斯下的体现)。(b) 条件方差 是常数,不依赖 的取值——这叫「同方差性」,是高斯特有的性质;一般分布中条件方差会随 变化(例如圆盘分布,见 12-1-均值方差与概率 的反例 B)。

1.3 密度函数逐项解读

三个花括号下面的标注依次是「常数」「尺度」「形状」,具体含义见下表。

部件作用线性代数解释
归一化因子:保证 椭球的体积正比于 ; 越「大」(特征值越大),密度峰值必须越低
决定等密度面的形状与朝向正定矩阵的逆,其谱分解为
指数中的二次型马氏距离的平方(见 1.4)
使得二次型服从 分布沿每个主成分是标准正态
密度的中心(峰值位置)平移向量
与 维球体积相关的常数由 定出

为什么归一化因子恰好是 :做代换 ,其 Jacobi 行列式绝对值为 ,于是

这里的 正是变量代换的体积伸缩率——与 5-3-克莱姆法则与体积 中「行列式是体积伸缩率」是同一件事。

1.4 马氏距离(Mahalanobis distance)

定义:

(要求 。) 称为 到 的马氏距离。它在多元高斯中的意义: 服从自由度为 的卡方分布。

二、几何直观

2.1 马氏距离 vs 欧氏距离

欧氏距离马氏距离
公式
度量矩阵(各方向同等权重)(按各方向方差加权)
对量纲敏感:换个单位距离就变无关:单位变换被 吸收
对相关性忽略考虑(非对角元参与计算)
几何图像球面椭球面
典型用途物理空间中的距离异常检测、判别分析、标准化比较

「量纲无关」的证明:设对每个坐标做缩放 ( 为可逆对角阵,如把「米」换成「厘米」)。则 ,(12-2-协方差矩阵 定理 4),于是

而 ,代入得

完全不变。所以「某个点离中心几个标准差」这种说法必须用马氏距离,用欧氏距离会把单位选择混进来。

2.2 用谱分解理解马氏距离:先白化再算欧氏距离

由 12-2-协方差矩阵 定理 5,,令白化变换

则 ,且

一句话记住马氏距离

马氏距离 = 白化之后的欧氏距离。

白化把椭球形的数据云「揉」成球形,各方向方差都变成 ;在球形的世界里,判断「离中心多远」用普通欧氏距离就够了。所以马氏距离度量的是「以数据的固有散布为标尺的距离」,也就是「多少个标准差」的自然推广。

展开成分量形式(主成分视角):令 是 在第 个主轴上的坐标,则

每一项都是「该主成分方向的标准化平方」:方差大的方向( 大)被除以大数,贡献被压低;方差小的方向( 小)被放大,贡献被抬高。这正是「按各方向方差加权」的精确含义。

2.2b 马氏距离与欧氏距离到底差多少:逐个方向的分解

上一小节的 把马氏距离变成了欧氏距离。现在把它反向拆开,看每一个主成分方向各贡献了多少——这是回答「为什么某个点的马氏距离远小于欧氏距离」的唯一严谨办法。

记 ,( 在第 个主轴上的坐标)。则

两个公式只差一个分母 。于是:

情形欧氏距离马氏距离几何解释
沿大方差主轴( 大)大小数据在这个方向本来就铺得开,「远」是正常的
沿小方差主轴( 小)小大数据在这个方向几乎不动,稍微偏离就很异常
各 都等于 相等相等白化后两者重合( 时马氏距离就是欧氏距离)
相差 倍——同一个点可以「欧氏很远但马氏很近」,或反之

一句话对比

欧氏距离用「尺子」量,马氏距离用「数据的散布」量。

欧氏距离把 当成各向同性的空间(度量矩阵是 );马氏距离把度量矩阵换成 ,于是每个方向的「单位长度」被重新定义为该方向的一个标准差。二者只有在 时才一致。当你听到「这个点离中心 3 个标准差」,那说的就是马氏距离(或它的平方根)。

「多少个标准差」这个说法的严格版本:

  • 一维:,即 的平方根;
  • 多维、各方向独立():,逐坐标标准化后求平方和;
  • 多维、有相关(一般 ):必须先旋转到主轴()再标准化(),即 。不能只做逐坐标标准化(那是 z-score,只对 对角时才正确,见 FAQ Q2)。

为什么这会带来完全相反的异常检测结论:异常检测的判据通常是「 的分位数」。若误用欧氏距离,那么沿着大方差主轴方向上的正常点(欧氏距离可能很大)会被大量误判为异常,而沿着小方差主轴方向上的真异常(欧氏距离不大)反而逃过检测。这正是 12-3 篇八、易错点第 2 条的具体机制。

2.3 等概率密度面是椭球

因为密度只通过 依赖 ,而指数函数单调,所以等密度面就是等 面:

由 6-5-二次型与标准形 的结论:这是中心在 、主轴方向为 的特征向量 、半轴长为 的椭球。

推导(与 12-2 篇 2.3 节同一套路):令 ,方程变成

沿 方向令其余为零得 ,即半轴长 。

常用等值线的取值:

时的含义概率
半轴长 约
—约 (「」的二维版本)
半轴长 约
—约

(二维时 ,其 分位数是 , 分位数是 。)这正是代码里画置信椭圆的标准做法。

2.4 从「标准球」到「椭球」的几何变换链

式中三个花括号下的标注依次表示:标准球、中心在原点的椭球、中心平移到 的椭球。

三步对应三个线性代数操作:缩放()、旋转()、平移()。反过来求密度就是逆着走:先平移回原点,再旋转到主轴(),再缩放成球()——而这个逆过程算出来的「距离」恰好就是马氏距离。

三、性质与定理

定理 1(线性变换下高斯仍是高斯——封闭性)

表述:设 , 是常数矩阵, 是常数向量,则

即高斯族在仿射变换下封闭。

证明思路:分两步。

第一步(均值与协方差):由 12-2-协方差矩阵 定理 4 直接得到 、。所以只需证明 仍然是高斯分布。

第二步(密度的变换):先假设 可逆()且 。由 ,线性变换的 Jacobi 矩阵是 ,其行列式绝对值为 。变量代换公式给出

记 ,则 ,于是指数中的二次型变成

(用到 。)前面的因子

(因为 ,故其平方根为 。)合起来正是 的密度。

一般情形的处理:若 不可逆或 奇异(奇异高斯),密度不存在,但可以用特征函数(等价于 Fourier 变换 )来证明同样的结论:

而特征函数唯一决定分布,故结论成立。这条路线还顺带说明:高斯是唯一在仿射变换下封闭的分布族。

封闭性为什么重要

1. 误差传播:测量误差若是高斯,做任何线性运算(如求平均、加权和、求导数的线性近似)之后仍是高斯,误差分析有统一的闭式结果。

2. 卡尔曼滤波:状态与观测都是高斯,预测步()与更新步(条件分布)都保持高斯,于是只需要维护均值与协方差两个对象——整个滤波算法就是对 与 做矩阵运算。

3. 降维不破坏模型:PCA 投影(线性变换)之后的数据仍服从高斯,协方差为 。

4. 中心极限定理:大量独立小扰动之和(线性组合)趋于高斯,所以高斯是「默认模型」。

定理 2(高斯下不相关等价于独立)

表述:设 ,其分量为 。则下列命题等价:

  1. 相互独立;
  2. 两两不相关;
  3. 是对角矩阵。

证明:先设 。

(1 ⟹ 2) 由 12-1-均值方差与概率 定理 6。

(2 ⟹ 3) 由 12-2-协方差矩阵 定理 6。

(3 ⟹ 1) 设 。此时 ,,指数中的二次型分解为

于是

联合密度分解为边缘密度之积 独立。

奇异情形的处理:若 半正定但奇异,密度不存在;此时独立性的判定需要更细致的陈述——可以证明「 的各个分量独立 为对角阵并且 的支撑集是乘积集」。实践中最常见的退化情形是某个分量恒为常数(对应零特征值);此时该分量的分布在退化点,与其余分量的独立性照常成立。更一般地,只要 对角,且非退化部分与零方差部分可分离,结论仍成立。

这是高斯独有的性质

对一般分布,「不相关」推不出「独立」。第 12-1 篇的反例( 均匀取 ,, 但不独立)就是明证。

高斯之所以特殊,是因为它的密度函数完全由一阶矩()与二阶矩()决定——没有更高阶的依赖结构(偏度、峰度等)可以「藏在」协方差看不见的地方。所以协方差矩阵一旦对角,依赖性就真的没有了。

实践含义:做「不相关 ⟹ 独立」的推断前,先确认高斯假设。若数据明显非高斯(重尾、多峰、有界),这个推断是错的。

定理 3(加权最小二乘的解)

问题设置:设观测模型为

其中 (,超定)、 是已知的正定权重矩阵(对角时 )。加权最小二乘(weighted least squares, WLS) 是求解

定理:若 列满秩()且 ,则最优解唯一,为

完整推导(对 求梯度):

第 1 步:展开目标函数。记 。利用 :

第 2 步:合并中间两项。因为 是标量,等于自己的转置:

所以

第 3 步:求梯度。用两条矩阵微分公式(对列向量 ):

第二条在 时给出 (因为 ,是对称矩阵)。于是

第 4 步:令梯度为零,得加权正规方程(normal equations):

第 5 步:验证唯一最小值。 的 Hessian 是 。因为对任意 ,

( 列满秩保证 , 保证二次型严格为正。)故 Hessian 正定, 是严格凸函数,驻点即全局唯一最小值点。又 正定故可逆,解得

适用条件汇总:

  1. (无系统偏差;否则估计有偏);
  2. 已知(只差一个整体常数因子 也可以,因为 对 的整体缩放不变);
  3. 列满秩(否则 奇异, 不唯一);
  4. 误差不相关(对角协方差)。若误差之间相关,要用下一个定理的 GLS。

特例: 就退化为普通最小二乘,,与 4-3-最小二乘逼近 中的法方程完全一致。

为什么权重取 :若各观测独立、方差为 ,则 ,即

直觉:方差小 = 观测可靠 = 权重高。这样得到的估计在所有「线性无偏估计」中方差最小(Gauss–Markov / Aitken 定理)。

定理 4(广义最小二乘)

表述:若误差的协方差是一般的正定矩阵

(允许分量之间相关、方差各不相同),则最优线性无偏估计为

称为广义最小二乘(generalized least squares, GLS)估计。

证明(白化归约):因为 ,可以构造对称的 (见 12-2-协方差矩阵 定理 5)。把模型两边左乘 :

新的误差满足

(用了 对称:。)

于是「白化后」的问题正好是普通最小二乘问题,直接套用定理 3 的 情形:

(用了 与 。)

一句话记住 GLS

广义最小二乘 = 先白化,再普通最小二乘。

这与「马氏距离 = 先白化,再算欧氏距离」是同一个思想。白化把「各方向方差不同、且互相相关」的误差变成「各方向方差为 、互不相关」的白色噪声,之后一切普通最小二乘的结论(法方程、投影解释、Gauss–Markov 定理)都可以照搬。

当 为对角阵时 GLS 退化为 WLS;当 时进一步退化为 OLS。

定理 5(估计量的协方差与置信区间)

表述:在模型 、、 下,GLS 估计

是无偏的,且

证明:

无偏性:用期望线性性(不需要独立性):

协方差:把 代入,用 得 ()。令 ,则由 12-2-协方差矩阵 定理 4:

( 对称故 。)

特例:OLS()时有

这就是统计学教材里最常见的那个公式。它的对角元开平方就是各参数的标准误(standard error), 置信区间近似为

(正态误差下精确分位数用 分布;区间长度由 的对角元决定——这正是「 出现在公式里」的实际意义。)

为什么加权能降低方差(定量说明):考虑最简单的情形——只有一个参数 (, 列),观测 独立、方差 。则

这正是逆方差加权平均的方差,也是所有无偏线性组合中方差的最小值。若改用简单平均(权重都取 ),方差是

由 Cauchy–Schwarz(或调和平均 算术平均)可得

等号成立当且仅当所有 相等。所以观测精度越不均匀,加权的收益越大;精度完全相同时加权退化为简单平均,没有任何损失。

四、计算方法与步骤

4.1 判断数据是否近似多元高斯

  1. 边缘检查:每个变量的直方图是否近似钟形、是否大致对称。
  2. 二维散点:任意两变量的散点图是否呈椭圆云(而非弯曲的月牙形)。
  3. 马氏距离检查:若 ,则样本马氏距离的平方 近似服从 。把 排序后与 的分位数画 QQ 图,若接近直线则高斯假设合理。
  4. 高维情形: 很大时无法可视化,主要靠 QQ 图与领域知识。

4.2 计算马氏距离的步骤

  1. 估计均值 。
  2. 估计协方差 (12-2-协方差矩阵)。
  3. 检查 是否可逆:算 、条件数、秩。若奇异,先降维或加正则化 。
  4. 解线性方程 得到 。不要真的求逆矩阵——用 np.linalg.solve 更快更稳。
  5. 计算 。
  6. 验证:与「白化后算欧氏距离」对比,两者应相等。

4.3 做加权最小二乘的步骤

  1. 确定权重:由仪器精度、重复测量的方差、或残差的初步估计得到 ,取 。
  2. 构造矩阵 (或一般正定矩阵)。
  3. 形成加权正规方程 。
  4. 检查 是否可逆:等价于 列满秩且 正定。
  5. 求解:优先用 np.linalg.solve(A.T @ W @ A, A.T @ W @ b),而不是先求逆(11-1-数值稳定性与LU 的原则:能解方程就不要求逆)。
  6. 算协方差:,对角元开方得标准误。
  7. 比较 OLS 与 WLS:若两者差别很大,说明异方差问题严重(或权重设定有误),应检查残差图。

4.4 置信椭球的画法

  1. 算出 与 。
  2. 对 做特征分解 。
  3. 取 的 分位数 (二维 时 )。
  4. 参数化 ,或等价地画 平面上的圆再变换。
  5. 用 matplotlib 画(需 pip install matplotlib)。

五、例题

例题 1(马氏距离与白化:完整计算)

题目:设二维随机向量 服从

考虑点 。

(1) 求 的特征分解。 (2) 求欧氏距离与马氏距离。 (3) 用白化验证 (2)。 (4) 说明等密度椭球的半轴。

解答:

(1) 特征方程:

,故

验证: ✓; ✓。

特征向量:对 ,由第二行 。取 ,,,得

由正交性

特征向量的符号可以整体取反

特征向量只确定到非零倍数,单位化之后还剩整体变号的自由: 与 都是合法的主轴方向(主轴是一条直线,不分正负)。下面(3)里为了与 np.linalg.eigh 的实际输出对上,统一取 、。换符号不改变任何结论(、 不变、白化后的 不变)。

(2) 偏差向量:

欧氏距离:

马氏距离:先求 :

故 。

解读:马氏距离()远小于欧氏距离()。原因: 大致沿着方差较大的那个主轴( 所在直线,与 的夹角很小,约 ),在这个方向上数据本来就铺得开,所以「2 个单位」并不算远。

(3) 用白化验证。白化:。按上面约定的符号取 的列为 、:

✓ 与 (2) 一致,验证了「马氏距离 = 白化后的欧氏距离」。(注意白化把 送到的位置与上面的符号约定无关:无论主轴方向取正还是取负, 都是 。)

用主成分形式交叉验证:、,则

✓

(4) 等密度椭球:方程 给出中心在 的椭圆。取 (即「 个标准差」椭圆)时:

  • 长轴沿 所在直线,半轴长 ;
  • 短轴沿 所在直线,半轴长 。

取 (二维 置信椭圆):,半轴长为

长轴所在直线与 轴成约 角(等价地说 ,因为直线不分方向;由 得到)。

例题 2(加权最小二乘完全计算,并与 OLS 对比)

题目:用两套精度悬殊的仪器测量同一个物理量 ,得数据

仪器观测值 误差标准差 方差
A(精密)
A(精密)
A(精密)
B(粗糙)
B(粗糙)

用 WLS 与 OLS 分别估计 ,比较结果与估计方差。

解答:

建模:只有一个未知参数,,。

第 1 步:权重。

第 2 步:加权正规方程。

第 3 步:解。

第 4 步:OLS 对比。

第 5 步:比较估计方差。

(式中 即标准差 standard deviation。)

第 6 步:比较。

估计值估计标准差与真值 的差距
OLS(简单平均)
WLS(逆方差加权)

结论:WLS 的估计标准差只有 OLS 的 ,方差降低到约 (降低约 )。原因是两个粗糙观测的方差是精密观测的 倍,OLS 却给它们同样的话语权,导致估计严重偏向 和 那一侧。

理论说明:由定理 5 后的推导,

等号当且仅当所有 相等。本例中 相差 倍,故不等号非常「松」。

顺带一提:OLS 在这里其实很差,但不算「有偏」

OLS 估计是无偏的(),只是方差大。这一组数据里 OLS 落在 ,是方差大的正常表现(估计标准差 ,偏离 约 个标准差,属于比较极端的抽样,但完全可能)。结论不是「OLS 错了」,而是「OLS 没有利用已知的精度信息,白扔了效率」。

例题 3-补充(二维手算:马氏距离 vs 欧氏距离、谱分解、椭圆半轴、密度值)

题目

设二维随机向量 服从

取点 。求:

(1) 的特征值、特征向量与 ;

(2) 欧氏距离与马氏距离,并逐主轴分解马氏距离;

(3) 用白化验证 (2),并说明白化后 与马氏距离的关系;

(4) 单位等密度椭球的半轴长与朝向;

(5) 处的密度值与最大值之比。

解答:

第 1 步:特征值(手算,不跳步)。特征方程

展开:

所以

由 :

验证: ✓; ✓。

第 2 步:特征向量。对 ,取方程 :

取 ,,得

由正交性(对称矩阵的不同特征值对应特征向量正交,见 6-4-对称矩阵与正定矩阵)

第 3 步:。先算行列式 ,再套 求逆公式(交换对角元、副对角元变号、除以行列式):

第 4 步:欧氏距离。偏差向量

第 5 步:马氏距离。先算 :

再算内积:

第 6 步:逐主轴分解马氏距离。把 投影到两条主轴上:

于是

同样地分解欧氏距离(因为 是标准正交基,保持长度):

对比两个分解,结论一目了然:

主轴坐标 沿该轴的方差 欧氏贡献 马氏贡献
(大方差)()()
(小方差)()()
合计——

欧氏距离 、马氏距离 ,差了一倍多。原因看表就明白: 几乎完全落在大方差的主轴 上(与 的夹角 )。在这个方向上数据本来就铺得很开(,标准差 ),所以「偏离 」只相当于 个标准差——一点都不异常。马氏距离正是把这个事实自动算了进去。

第 7 步:用白化验证。白化变换 。先旋转:

(就是这个 !旋转到主轴坐标系。)再缩放:

验证了「马氏距离 = 白化后的欧氏距离」。注意 ,与第 6 步是同一个算式——白化就是「逐主轴除以标准差」这件事的矩阵写法。

特征向量的符号不影响任何结果

上半部分取 ;np.linalg.eigh 实际返回的是 (整体变号)。这会让 同时变号,但 不变,所以马氏距离、欧氏距离、 的各个平方分量都不变。主轴是一条直线,不分正负。

第 8 步:单位等密度椭球。方程 在 时给出中心在 的椭圆:

  • 长轴沿 所在直线,半轴长 ;
  • 短轴沿 所在直线,半轴长 ;
  • 长轴与 轴夹角 。

取二维 置信椭圆(,即 的 分位数):,半轴长为

第 9 步:密度值。对 ,归一化常数是

  • 中心 处:,(这是全局最大密度,因为指数项最大为 )。
  • 点 处:,

密度之比:

这是一个极有用的速算法:多元高斯在两点处的密度之比只依赖它们马氏距离平方之差:

(归一化因子相同,直接约掉。)所以比较密度的唯一依据就是马氏距离——这正是「马氏距离 = 白化后的欧氏距离」在统计上的价值。

例题 4-补充(数值实验:马氏距离的谱分解、椭球、密度归一化、)

题目(数值实验)

用 numpy 把本节的核心结论全部验证一遍:

(1) 的谱分解,马氏距离 = 白化后的欧氏距离(两种白化方式);

(2) 椭圆上取三个点,验证「马氏距离相同而欧氏距离不同」;

(3) 二维密度的归一化常数、、 与密度比,并用数值积分验证归一化;

(4) 从 抽样,验证经验协方差与 。

本示例只用 numpy,无需额外安装。

import numpy as np

mu = np.array([1.0, 2.0])
Sigma = np.array([[4.0, 2.0],
                  [2.0, 3.0]])
p = np.array([3.0, 4.0])
d = p - mu

# ============ 1. 谱分解与两种白化 ============
w, Q = np.linalg.eigh(Sigma)          # 对称矩阵专用,升序
idx = np.argsort(w)[::-1]
w, Q = w[idx], Q[:, idx]
print("[1] 特征值(降序) =", w, " 迹 =", np.trace(Sigma), " 行列式 =", np.linalg.det(Sigma))
print("[1] 特征向量(列) =\n", Q)
print("[1] Q^T Q 与 I 的偏差 =", np.abs(Q.T @ Q - np.eye(2)).max())
print("[1] d =", d, " 欧氏距离平方 =", d @ d)
maha2 = d @ np.linalg.solve(Sigma, d)      # 解方程,不显式求逆
print("[1] 马氏距离平方 =", maha2, " 马氏距离 =", np.sqrt(maha2))

# 白化方式一:W = Lambda^{-1/2} Q^T
W = np.diag(1.0 / np.sqrt(w)) @ Q.T
z = W @ d
print("[1] 白化 z =", z, " ||z||^2 =", z @ z)

# 白化方式二:对称的 Sigma^{-1/2}
Sig_inv_sqrt = Q @ np.diag(1.0 / np.sqrt(w)) @ Q.T
z2 = Sig_inv_sqrt @ d
print("[1] 对称 Sigma^{-1/2} =\n", Sig_inv_sqrt)
print("[1] 用对称版本的 ||z||^2 =", z2 @ z2, "  (两者必须相等)")
print("[1] Sig^{-1/2} Sig Sig^{-1/2} 与 I 的偏差 =",
      np.abs(Sig_inv_sqrt @ Sigma @ Sig_inv_sqrt - np.eye(2)).max())

# 逐主轴分解
u = Q.T @ d
print("[1] 主轴坐标 u =", u)
print("[1] sum u_i^2 =", np.sum(u ** 2), " (应等于欧氏距离平方)")
print("[1] sum u_i^2/lam_i =", np.sum(u ** 2 / w), " (应等于马氏距离平方)")

# ============ 2. 椭圆上三点:马氏距离相同、欧氏距离不同 ============
print("\n[2] 椭球半轴: 单位 c=1 ->", np.sqrt(w),
      "  95%(c^2=5.991) ->", np.sqrt(5.991 * w))
theta = np.array([0.0, np.pi / 3, np.pi / 2])
transform = Q @ np.diag(np.sqrt(w))            # 旋转 + 按半轴缩放
pts = mu[:, None] + transform @ np.vstack([np.cos(theta), np.sin(theta)])
for i in range(3):
    dd = pts[:, i] - mu
    print(f"[2] 椭圆上点{i+1} {np.round(pts[:, i], 4)}: "
          f"欧氏距离平方 = {dd @ dd:.6f}   马氏距离平方 = {dd @ np.linalg.solve(Sigma, dd):.6f}")

# ============ 3. 密度:归一化、最大值、密度比 ============
print("\n[3] rho = 2/sqrt(4*3) =", 2 / np.sqrt(12), " (解析值 sqrt(3)/3 =", np.sqrt(3) / 3, ")")
norm = 1.0 / (2 * np.pi * np.sqrt(np.linalg.det(Sigma)))
print("[3] 归一化常数 =", norm)
print("[3] p(mu) =", norm, " (最大值)")
print("[3] p(p)  =", norm * np.exp(-maha2 / 2))
print("[3] 密度比 p(mu)/p(p) =", np.exp(maha2 / 2), " (应等于 exp(0.75))")

# 数值积分验证归一化(Gauss-Legendre,区域取足够大)
from numpy.polynomial.legendre import leggauss
gx, gw = leggauss(300)
lim = 12.0
xs = lim * gx + mu[0]
ys = lim * gx + mu[1]
XX, YY = np.meshgrid(xs, ys, indexing="ij")
WW = np.outer(gw, gw) * lim * lim
D = np.stack([XX - mu[0], YY - mu[1]], axis=-1)
dens = norm * np.exp(-0.5 * np.einsum('...i,ij,...j->...', D, np.linalg.inv(Sigma), D))
print("[3] 数值积分 int p dx =", (dens * WW).sum(), " (应为 1)")

# ============ 4. 抽样:经验协方差与 d^2 ~ chi2_2 ============
rng = np.random.default_rng(seed=20261011)
samples = rng.multivariate_normal(mu, Sigma, size=400000)
print("\n[4] 样本均值 =", samples.mean(axis=0), " (理论", mu, ")")
S_hat = np.cov(samples, rowvar=False)
print("[4] 样本协方差 =\n", S_hat)
ds = samples - samples.mean(axis=0)
d2 = np.einsum('ij,jk,ik->i', ds, np.linalg.inv(S_hat), ds)
print("[4] 经验马氏距离平方的均值 =", d2.mean(), " (理论 2)")
print("[4] P(d^2 > 5.991) =", np.mean(d2 > 5.991), " (理论 0.05)")

运行结果(实测输出):

[1] 特征值(降序) = [5.56155281 1.43844719]  迹 = 7.0  行列式 = 7.999999999999998
[1] 特征向量(列) =
 [[-0.78820544  0.61541221]
 [-0.61541221 -0.78820544]]
[1] Q^T Q 与 I 的偏差 = 1.1102230246251565e-16
[1] d = [2. 2.]  欧氏距离平方 = 8.0
[1] 马氏距离平方 = 1.5  马氏距离 = 1.224744871391589
[1] 白化 z = [-1.19036674 -0.28814412]  ||z||^2 = 1.5
[1] 对称 Sigma^{-1/2} =
 [[ 0.57921992 -0.19875685]
 [-0.19875685  0.67859834]]
[1] 用对称版本的 ||z||^2 = 1.4999999999999998   (两者必须相等)
[1] Sig^{-1/2} Sig Sig^{-1/2} 与 I 的偏差 = 4.440892098500626e-16
[1] 主轴坐标 u = [-2.80723529 -0.34558646]
[1] sum u_i^2 = 8.0  (应等于欧氏距离平方)
[1] sum u_i^2/lam_i = 1.5000000000000002  (应等于马氏距离平方)

[2] 椭球半轴: 单位 c=1 -> [2.35829447 1.19935282]   95%(c^2=5.991) -> [5.77228403 2.93559825]
[2] 椭圆上点1 [-0.8588  0.5487]: 欧氏距离平方 = 5.561553   马氏距离平方 = 1.000000
[2] 椭圆上点2 [0.7098 0.4557]: 欧氏距离平方 = 2.469224   马氏距离平方 = 1.000000
[2] 椭圆上点3 [1.7381 1.0547]: 欧氏距离平方 = 1.438447   马氏距离平方 = 1.000000

[3] rho = 2/sqrt(4*3) = 0.5773502691896258  (解析值 sqrt(3)/3 = 0.5773502691896257)
[3] 归一化常数 = 0.05626976975981913
[3] p(mu) = 0.05626976975981913  (最大值)
[3] p(p)  = 0.026579957164976357
[3] 密度比 p(mu)/p(p) = 2.117000016612675  (应等于 exp(0.75))
[3] 数值积分 int p dx = 0.9999999980226184  (应为 1)

[4] 样本均值 = [1.00007758 1.99980825]  (理论 [1. 2.])
[4] 样本协方差 =
 [[4.00271969 1.99988252]
 [1.99988252 2.99483476]]
[4] 经验马氏距离平方的均值 = 1.9999950000000015  (理论 2)
[4] P(d^2 > 5.991) = 0.05022  (理论 0.05)

运行结果要点:

  1. 第 1 段:马氏距离平方 与手算完全一致;两种白化方式(不对称的 与对称的 )给出相同的 ——这直接体现了「白化矩阵不唯一,但白化后的长度唯一」(准确的陈述是:不同的白化只差一个正交变换,而正交变换保长度)。
  2. 第 1 段的分解:(欧氏距离平方)、(马氏距离平方)。两个求和共用同一组 ,只在 上不同,这就是两个距离的唯一差别。
  3. 第 2 段:椭圆上三个点的马氏距离平方都等于 (这正是「等 面」的定义),而它们的欧氏距离平方相差 倍( 对 )。注意这三个数值恰好等于 :点 1 落在长轴端点(欧氏距离平方 ),点 3 落在短轴端点(欧氏距离平方 )。这精确印证了「椭圆半轴长 」——半轴端点到中心的欧氏距离平方就是 ,取 即 。
  4. 第 3 段:归一化常数的数值积分 与 的微小差距来自把积分区域截断成 (尾部漏掉了约 ,因为 相当于 个标准差)。密度比 与手算一致。
  5. 第 4 段:样本协方差逼近真值 ,经验马氏距离平方的均值 逼近 的均值 ,超过 的比例 逼近理论值 。这一条是「数据看起来像不像多元高斯」的标准检验(4.1 节的马氏距离 QQ 图检验)。

例题 5-补充(两组观测方差相差 倍:WLS / GLS / OLS 三方对比)

题目

用两套精度悬殊的仪器测量线性关系 ( 截距、 斜率,真值 ):

| 组 | | | 误差标准差 | 方差 |

|---|---|---|---|---|

| A(精密) | | | | |

| B(粗糙) | | | | |

两组的方差相差 ,标准差相差 倍。

(1) 写出 、(或 ),解加权正规方程;(2) 求 OLS 估计并比较;(3) 比较目标函数值、与真值的偏差、估计量的协方差矩阵;(4) 说明为什么「忽略精度差异」会同时破坏估计值与标准误。

解答:

第 1 步:模型与矩阵。

第 2 步:加权正规方程的各个量。

第 3 步:解 WLS。

(分子:;。)

第 4 步:OLS。

第 5 步:GLS 与 WLS 的关系。本例的 是对角阵,由 1.2 节的结论,GLS 退化为 WLS:

这不是巧合,而是恒等式: 对角时 ,两个公式逐字相同。

第 6 步:三方对比。

截距 斜率 与真值 的偏差
真值—
WLS
GLS同上(对角 时与 WLS 完全相同)
OLS

OLS 把斜率估成了负数(,真值 ),方向都反了。原因:两组粗糙观测的方差是精密观测的 倍,OLS 却给它们同样的权,于是估计被那四个「乱跳」的点拖跑。

第 7 步:目标函数值(加权残差平方和 ):

代入的解
WLS(= GLS)解(最小)
真值
OLS 解

两个值得注意的现象:

(a) OLS 解的 是 WLS 的 倍。OLS 也叫「最小二乘」,但它最小化的是不加权的残差平方和;一旦换了正确的目标函数,它毫无最优性。

(b) 真值的 略大于 WLS 的()。这不是矛盾:WLS 是 的极小值点,真值只是好候选。「无偏」是重复实验的平均性质,单次实现不必比真值更接近目标函数最优值——这是最容易被误解的一点。

第 8 步:估计量的协方差矩阵。

WLS:

标准误:(截距),(斜率)。用未舍入的矩阵直接算得 ——手算与代码的小差别来自上面把 与矩阵元各自四舍五入。

OLS 的真实协方差(必须用三明治公式,因为 ):

其中

(,;,。)代入得

标准误:(截距),(斜率)。

对比:

截距标准误斜率标准误
WLS / GLS
OLS
比值

OLS 的标准误大 倍,方差大 倍(代码实测:两对协方差的对角元之比都是 ,精确相等——这是本例数据的特殊结构造成的,不要当成一般规律)。

用 置信区间看实际影响(,用代码给出的精确标准误):

截距的 区间斜率的 区间是否包含真值
WLS都包含 ✓,区间窄
OLS都包含,但宽约 倍

结论:OLS 的区间虽然也覆盖了真值,但宽到几乎无信息(截距区间宽度约 ,而真值只有 ;斜率区间跨越零点,连符号都判断不了)。这就是「效率损失」的实际样子:不是「错了」,而是「白做了」。

第 9 步:忽略异方差的第二个危害——标准误完全失真。若无视异方差、照搬同方差公式

得到 、。而真实标准误是 :截距的假标准误高估了 倍,斜率的只差 。同一个错误公式,在不同参数上造成的偏差方向与幅度完全不同,事先无法预测:

实践结论:只要怀疑误差方差随观测变化(异方差),就必须用 WLS/GLS 或稳健标准误,不能直接套 。

关于「真值的 反而更大」这件事

很多人第一次看到「真值的目标函数值大于估计值」会觉得估计量有问题。这正是「估计量」与「参数」的区别:

- 是数据的函数,它的最小值点(WLS 估计)依赖具体数据,是随机的;

- 真值是固定的常数,它对当前样本的 值没有最优性义务。

类似的例子在一维更好理解:真值 、观测 ,则 在 处最小,真值 给的目标值更大。估计量是「用数据猜参数」,不是「用参数拟合数据」。

例题 6-补充(证明题:高斯密度的归一化、线性变换封闭性、条件分布)

题目

(1) 证明 ,说明 的来源;

(2) 设 、( 可逆),用密度变换公式证明 ,并说明 不可逆时要怎么处理;

(3) 证明:若 是对角阵 ,则 相互独立。

解答:

(1) 归一化。做变量代换

这是仿射变换,其 Jacobi 矩阵是常数矩阵 (对 求导,平移项 消失),故

(用了 ,因为 ,且 正定故行列式为正。)同时指数里的二次型恰好化为 :

代入:

(最后一个等号把 重积分拆成 个一元积分的乘积,因为被积函数是各分量函数之积。)而标准一元积分

所以

的意义:它是变量代换的体积伸缩率——与 5-3-克莱姆法则与体积 中「行列式是体积的伸缩率」是同一件事。几何上, 把单位球拉成椭球,椭球的体积正是 乘以单位球体积。密度必须在椭球体积大的时候调低(否则积分会超过 ),这就是 因子的来源。

(2) 线性变换下仍是高斯。设 可逆,则 ,Jacobi 矩阵是 ,故

记 。因为 ,指数里的二次型变成

(用了 ,由 验证。)而前面的系数

因为

两处合起来,恰好是 的密度。均值与协方差由 12-2-协方差矩阵 定理 4 给出:、。

不可逆时(或 奇异):此时 也奇异,密度根本不存在( 维分布退化到低维子空间上),上面的密度变换公式无从谈起。正确做法是用特征函数(等价于 Fourier 变换):

则

即

这是 的特征函数;而特征函数唯一决定分布,故结论成立。这条路线不需要密度存在,因此对奇异情形也有效——这正是 12-3 篇定理 1 里「特征函数路线」的意义。

(3) 对角 推出独立。设 ,则

指数中的二次型分解为 个只含单个变量的项:

于是密度也分解为乘积:

每个因子正是一元正态密度 。所以

联合密度分解为边缘密度之积 相互独立,故 独立。

这个证明里的关键一步在哪

关键不是「 对角」,而是「二次型分解成只含单个变量的项之和」。对角矩阵让交叉项 ()全部消失,于是指数函数的 才能把密度拆成乘积。

对一般(非高斯)分布,即使 对角也没有这样的分解——因为密度里可能还有更高阶的交叉项(如 )。这就是「不相关 ⟹ 独立」只在高斯下成立的代数根源。

六、应用

场景用到的结构
异常检测(anomaly detection)马氏距离超过 的 分位数即判为异常
传感器融合 / 卡尔曼滤波逆协方差加权,
参数辨识(异方差噪声)加权最小二乘,权重
时间序列回归(误差自相关)广义最小二乘, 捕捉误差的时间相关性
分类与判别分析高斯判别分析:两个类的高斯密度之比,指数里就是马氏距离之差
高斯过程回归协方差核矩阵 的正规方程
金融风险组合的多元高斯假设下,VaR 由马氏距离分位数给出
图像处理高斯滤波器的协方差矩阵决定模糊核的形状与朝向
最小二乘拟合的误差棒由 的对角元算标准误([[11-2-范数与条件数]] 讨论的条件数会放大这些误差)

高斯判别分析(GDA)的一瞥:设有两个类,各自服从 (共享协方差)。由贝叶斯公式,对数后验比是

展开后 项相消,剩下的关于 是线性的——所以决策边界是一个超平面,而「马氏距离相等」的集合恰恰是这个超平面。这正是「线性判别分析(LDA)为什么是线性的」的代数解释。

七、可运行代码示例

本示例中第一段只用 numpy;第二段(画置信椭圆)需要 matplotlib:pip install matplotlib。

import numpy as np

# ============================================================
# 第 1 部分:多元高斯、马氏距离、白化(只需 numpy)
# ============================================================
mu = np.array([1.0, 2.0])
Sigma = np.array([[4.0, 2.0],
                  [2.0, 3.0]])
p = np.array([3.0, 4.0])

# ---- 1. 特征分解(用 eigh,专用于对称矩阵)----
w, Q = np.linalg.eigh(Sigma)          # 升序
idx = np.argsort(w)[::-1]
w, Q = w[idx], Q[:, idx]
print("特征值(降序):", w)
print("特征向量(列):\n", Q)
print("Q^T Q =\n", np.round(Q.T @ Q, 12))
print("特征值之和 =", w.sum(), " 迹 =", np.trace(Sigma))
print("特征值之积 =", w.prod(), " 行列式 =", np.linalg.det(Sigma))
# 特征向量只确定到整体变号:q 与 -q 都是同一个主轴方向。
# 下面直接采用 eigh 的自然符号(对本例即 q1 = (-0.7882, -0.6154)),
# 与例题 1(3) 中的手算保持一致。
print("特征向量(列,eigh 自然符号):\n", np.round(Q, 4))
# 注意:换符号不影响任何结论(Q^T Q = I、Lambda 不变、||z|| 不变)

# ---- 2. 欧氏距离 vs 马氏距离 ----
d = p - mu
euclid2 = d @ d
# 解 Sigma v = d,避免显式求逆
v = np.linalg.solve(Sigma, d)
maha2 = d @ v
print("\n偏差向量 d =", d)
print("欧氏距离平方 =", euclid2, " 欧氏距离 =", np.sqrt(euclid2))
print("马氏距离平方 =", maha2, " 马氏距离 =", np.sqrt(maha2))

# 用显式逆交叉验证
maha2_inv = d @ np.linalg.inv(Sigma) @ d
print("用 np.linalg.inv 交叉验证:", maha2_inv)

# ---- 3. 验证:马氏距离 = 白化后的欧氏距离 ----
W_white = np.diag(1.0 / np.sqrt(w)) @ Q.T      # Lambda^{-1/2} Q^T
z = W_white @ d
print("\n白化后的向量 z =", z)
print("||z||^2 =", z @ z, " (应等于马氏距离平方)")
print("WSW^T 与 I 的最大偏差:",
      np.abs(W_white @ Sigma @ W_white.T - np.eye(2)).max())

# 对称版本 Sigma^{-1/2}
Sig_inv_sqrt = Q @ np.diag(1.0 / np.sqrt(w)) @ Q.T
z2 = Sig_inv_sqrt @ d
print("用对称 Sigma^{-1/2} 的 ||z||^2 =", z2 @ z2)

# ---- 4. 主成分分解形式 d^2 = sum u_i^2 / lambda_i ----
u = Q.T @ d
print("\n主成分坐标 u =", u)
print("sum u_i^2/lambda_i =", np.sum(u**2 / w), " (应等于马氏距离平方)")

# ---- 5. 椭圆形等密度线的半轴长(95% 置信椭圆)----
from math import sqrt
c2_95 = 5.991                        # chi2_2 的 95% 分位数
print("\n95% 椭圆半轴长:", np.sqrt(c2_95 * w))
print("长轴方向:", Q[:, 0], " 倾角(度):",
      np.degrees(np.arctan2(Q[1, 0], Q[0, 0])))

# ---- 6. 用多元高斯抽样并验证经验协方差 ----
rng = np.random.default_rng(seed=20261011)
samples = rng.multivariate_normal(mu, Sigma, size=200000)
print("\n样本均值:", samples.mean(axis=0))
print("样本协方差:\n", np.cov(samples, rowvar=False))

# 经验马氏距离平方应近似 chi2_2(均值 = 2)
ds = samples - samples.mean(axis=0)
S_hat = np.cov(samples, rowvar=False)
d2_all = np.einsum('ij,jk,ik->i', ds, np.linalg.inv(S_hat), ds)
print("经验马氏距离平方的均值:", d2_all.mean(), " (理论值 = 2)")
print("超过 5.991 的比例:", np.mean(d2_all > 5.991), " (理论值约 0.05)")

# ---- 7. 线性变换下高斯仍是高斯 ----
A = np.array([[2.0, -1.0],
              [1.0,  3.0]])
b = np.array([0.5, -0.5])
y = samples @ A.T + b
print("\nE[y] 经验:", y.mean(axis=0), " 理论:", A @ mu + b)
print("Cov(y) 经验:\n", np.cov(y, rowvar=False))
print("Cov(y) 理论 A Sigma A^T:\n", A @ Sigma @ A.T)

# ============================================================
# 第 2 部分:加权最小二乘 vs 普通最小二乘(只需 numpy)
# ============================================================
b_obs = np.array([10.1, 10.3, 9.8, 12.0, 15.0])
sigma = np.array([0.1, 0.1, 0.1, 1.0, 1.0])
Amat = np.ones((5, 1))               # 只有截距项
Wmat = np.diag(1.0 / sigma**2)

x_wls = np.linalg.solve(Amat.T @ Wmat @ Amat, Amat.T @ Wmat @ b_obs)
x_ols = np.linalg.solve(Amat.T @ Amat, Amat.T @ b_obs)

print("\n权重:", np.diag(Wmat))
print("WLS 估计:", x_wls[0])
print("OLS 估计:", x_ols[0])
print("真值 10 的差距: WLS =", abs(x_wls[0] - 10), " OLS =", abs(x_ols[0] - 10))

cov_wls = np.linalg.inv(Amat.T @ Wmat @ Amat)
var_ols = np.sum(sigma**2) / 5**2
print("Var(WLS) =", cov_wls[0, 0], " 标准差 =", np.sqrt(cov_wls[0, 0]))
print("Var(OLS) =", var_ols, " 标准差 =", np.sqrt(var_ols), " (解析)")
print("方差比值 =", cov_wls[0, 0] / var_ols)

# ---- 蒙特卡洛:重复实验,验证 WLS 的方差更小 ----
rng = np.random.default_rng(seed=42)
trials = 40000
noise = rng.normal(scale=sigma, size=(trials, 5))     # 异方差噪声
B = 10.0 + noise                                       # 真值 10
xw = np.linalg.solve(Amat.T @ Wmat @ Amat, Amat.T @ Wmat @ B.T)[0]
xo = np.linalg.solve(Amat.T @ Amat, Amat.T @ B.T)[0]
print("\n[蒙特卡洛] WLS 均值 =", xw.mean(), " 方差 =", xw.var(ddof=1))
print("[蒙特卡洛] OLS 均值 =", xo.mean(), " 方差 =", xo.var(ddof=1))
print("[理论值]   WLS 方差 =", cov_wls[0, 0], " OLS 方差 =", var_ols)

# ---- 忽略异方差、强行用 OLS 的后果:标准误被低估/高估 ----
# 用 OLS 公式算标准误(错误地假设同方差)
resid = b_obs - Amat @ x_ols
s2 = resid @ resid / (5 - 1)                  # OLS 残差方差估计
se_ols_wrong = np.sqrt(s2 * np.linalg.inv(Amat.T @ Amat)[0, 0])
print("\nOLS 公式给出的标准误(错误地假设同方差):", se_ols_wrong)
print("OLS 真实标准误:", np.sqrt(var_ols))
print("WLS 标准误:", np.sqrt(cov_wls[0, 0]))
print("\n>>> 以上第 1、2 部分只用 numpy,到此已可完整运行 <<<")

绘图部分(单独运行,需要 matplotlib)

本示例需要 matplotlib:pip install matplotlib。这段代码独立成块,没装 matplotlib 不影响上面第 1、2 部分的运行。

import numpy as np
import matplotlib
matplotlib.use("Agg")          # 无显示环境(如服务器)也能保存图片
import matplotlib.pyplot as plt

mu = np.array([1.0, 2.0])
Sigma = np.array([[4.0, 2.0], [2.0, 3.0]])
p = np.array([3.0, 4.0])

w, Q = np.linalg.eigh(Sigma)
idx = np.argsort(w)[::-1]
w, Q = w[idx], Q[:, idx]

# 重新抽样(与上面用同一个种子,保证点云一致)
rng = np.random.default_rng(seed=20261011)
samples = rng.multivariate_normal(mu, Sigma, size=200000)

# ============================================================
# 第 3 部分:绘制 95% 置信椭圆
# ============================================================
theta = np.linspace(0, 2 * np.pi, 400)
circle = np.vstack([np.cos(theta), np.sin(theta)])          # 单位圆
transform = Q @ np.diag(np.sqrt(w * 5.991))                 # 旋转 + 按半轴缩放
ellipse = mu[:, None] + transform @ circle

fig, ax = plt.subplots(figsize=(6, 6))
ax.scatter(samples[:3000, 0], samples[:3000, 1], s=2, alpha=0.15, label="samples")
ax.plot(ellipse[0], ellipse[1], "r-", lw=2, label="95% ellipse")
ax.plot(*mu, "k+", ms=12, label="mean")
ax.plot(*p, "go", ms=8, label="point p")
ax.set_aspect("equal")
ax.grid(alpha=0.3)
ax.legend()
fig.savefig("mvg_ellipse.png", dpi=120)
print("\n已保存 mvg_ellipse.png")

运行结果要点:

  1. 第 1 段特征值为 与 ,和手算一致。
  2. 第 2 段马氏距离平方为 ,欧氏距离平方为 ,与例题 1 完全吻合。
  3. 第 3 段白化后 ,验证「马氏距离 = 白化后欧氏距离」。
  4. 第 6 段经验马氏距离平方的均值接近 ,超过 的比例接近 ,验证 。
  5. 第 7 段经验协方差与 一致,验证定理 1。
  6. 加权最小二乘部分:WLS 给出约 ,OLS 给出约 ;蒙特卡洛显示两者均值都接近 (都无偏),但 WLS 的方差只有 OLS 的约 。
  7. 最后一段演示:若忽视异方差、硬套同方差公式估标准误,得到的标准误完全失真——这正是「忽略观测精度差异」的实际危害。

八、易错点

六个高频错误

1. 奇异时还去写密度。 是密度存在的前提: 使归一化因子为零, 不存在使二次型无定义。此时分布退化为「集中在某个低维子空间上的奇异高斯」,只能在支撑集的低维空间里定义伪密度(用伪行列式与伪逆,对应 scipy.stats.multivariate_normal(..., allow_singular=True))。实践含义: 时(12-2-协方差矩阵 定理 7)样本协方差矩阵必然奇异,直接套高斯密度会得到 inf、nan 或报错。

2. 把马氏距离当欧氏距离用。马氏距离按各方向方差加权。在方差大的方向上「距离 3 个单位」可能只是 个标准差,完全正常;在方差小的方向上同样的欧氏距离可能是 个标准差,极度异常。判断异常时必须用马氏距离,否则会把沿着主轴方向的正常极端值全部误判为异常。

3. 权重取错:应是方差的倒数而非标准差的倒数。,不是 。取 虽然方向对(精度高的权重大),但不是最优,会损失效率。推导见定理 5 之后的讨论: 在 下最小化给出 。

4. 忽略观测之间的相关性而误用 OLS。OLS 的 Gauss–Markov 最优性要求误差不相关且同方差。若误差有相关性(如时间序列的相邻观测、同一被试的多次测量),OLS 仍无偏但不再有效,而且 会低估真实标准误,导致把不显著的参数当成显著。此时要用 GLS:。

5. 权重矩阵依赖数据本身。若 是用同一批数据估出来的(例如先用 OLS 残差估计 再回代),则 变成随机的, 的分布不再严格是高斯, 也只是协方差的近似。实践中这叫「可行的广义最小二乘(FGLS)」,小样本下需要修正。

6. 以为加权的目的是「去掉离群点」。加权最小二乘是用已知的精度信息做最优组合(无偏 + 最小方差),不是鲁棒回归。真正的离群点(不属于同一模型的数据)应该用稳健回归(Huber、RANSAC 等),简单加大权重反而会让估计被离群点带偏。

九、练习题

练习 1(基础):设 ,。求点 的欧氏距离与马氏距离,并指出哪个更大以及为什么。

练习 2(基础):设 , 为 常数矩阵。用定理 1 说明:若 奇异,则 的分布是什么(是否存在密度)?举一个具体例子。

练习 3(进阶):设 ,。求 与 的分布,并验证它们独立。(提示:先算协方差,再用定理 2。)

练习 4(进阶):用定理 3 的推导方法证明:若把目标函数改成 (绝对值而非平方),梯度法不再适用,驻点条件变成 。说明为什么加权最小二乘()比加权最小绝对偏差()更容易求解,以及两者对离群点的敏感度差异。

练习 5(进阶):设模型 ,,误差独立且 (方差随 增大)。写出 的具体形式,并说明如何把这个问题化为普通最小二乘(提示:除以 做变量代换)。

练习 6(思考):为什么「不相关 ⟹ 独立」只在多元高斯下成立?从密度函数的形式(只依赖 与 )给出解释。再构造一个非高斯的二维分布,其协方差为单位阵(不相关、同方差),但两个分量明显不独立。

练习 7(思考):在定理 5 中,若把 替换为 ( 为常数,即把所有误差方差整体放大 倍), 与 分别如何变化?这说明了为什么实践中只需要权重之间的相对大小。

十、常见问题 FAQ

Q1:为什么多元高斯的密度里会出现 ?

A:它是变量代换的体积伸缩率。做代换 把椭球拉成球,代换的 Jacobi 行列式绝对值是 。为了让变换后的密度在整个 上积分为 ,必须把这个体积因子除回来(见 1.3 节的积分验证)。几何上:椭球的体积正比于 , 越大密度峰值越低——分布铺得越开,峰就越矮。

Q2:马氏距离和「标准化后算欧氏距离」(z-score)有什么区别?

A:z-score 只除以标准差,不处理相关性。若 是对角阵,两者完全相同:。但 有非对角元时,马氏距离还会旋转到主轴(用 )再缩放,而 z-score 只在原坐标轴上缩放。所以马氏距离 = 完整白化 + 欧氏距离;z-score = 只做 那一步。当变量之间相关时,用 z-score 会得到错误结论。

Q3:加权最小二乘的权重怎么定?

A:原则是 , 是第 个观测的误差方差。实际做法有三条路:(1) 仪器精度已知——直接查手册取方差;(2) 重复测量——对每个观测条件重复若干次,用样本方差估计 ;(3) 残差建模——先做 OLS,把残差平方对自变量回归(如 ),用拟合值当方差(这就是 FGLS)。注意第三条路里 依赖数据,标准误需要修正。另外, 的整体缩放不影响 ,只需要相对权重。

Q4:加权最小二乘一定能降低方差吗?

A:在权重取 且模型正确时,一定不会变差。由定理 5 后的推导,,等号当且仅当所有 相等(Cauchy–Schwarz 取等)。所以:精度相同时加权无害,精度不均时加权收益巨大(例题 2 中方差降到 )。但如果权重设错(比如把方差的倒数写成了标准差的倒数,或者 估计得离谱),WLS 可能反而不如 OLS。

Q5:为什么广义最小二乘就是「先白化再 OLS」?

A:因为把模型两边左乘 后,新误差的协方差变成 ——白噪声。白噪声下 OLS 就是最优的(Gauss–Markov 定理),所以对变换后的模型做 OLS 即可,代回原变量就得到 GLS 公式 。这与「马氏距离 = 先白化再算欧氏距离」是同一个几何思想: 就是那个把椭球揉成球的变换。

本篇小结

核心结论(十二条)

  1. 多元高斯 = 标准正态的仿射像:()。密度、椭球、条件分布等一切性质都可以从这句话推出来。
  2. 密度的三个部件:常数 、体积因子 、形状因子 。体积因子来自变量代换的 Jacobi 行列式,与 5-3-克莱姆法则与体积 的「行列式 = 体积伸缩率」同源。
  3. 二维显式形式:,其中 是逐坐标标准化。 时指数可分解,密度随之分解为乘积——这是「高斯下不相关即独立」的代数根源。
  4. 马氏距离:,且在 服从高斯时 。
  5. 马氏距离 = 白化后的欧氏距离:。它按各方向的方差加权,因而与量纲无关。
  6. 欧氏距离与马氏距离的唯一差别是分母: 而 ( 是主轴坐标)。沿大方差方向「远」是正常的;沿小方差方向「远」才是异常。
  7. 等概率密度面是椭球:,主轴为 ,半轴长为 ; 时 给出 置信椭圆。
  8. 线性变换下仍是高斯:。这是卡尔曼滤波、误差传播、「PCA 投影后仍是高斯」的共同依据。
  9. 高斯下不相关 独立:对高斯而言 对角等价于各分量独立(对一般分布不成立)。
  10. 加权最小二乘(WLS):,权重取 ;估计量的协方差是 。
  11. 广义最小二乘(GLS):,证明方式是白化归约——左乘 把问题变成普通最小二乘,即 GLS = 先白化再 OLS。 对角时 GLS 退化为 WLS。
  12. 权重是方差的倒数,不是标准差的倒数:由「在 下最小化 」定出 。精度不均时 WLS 收益巨大,精度相同时 WLS 退化为简单平均、没有损失。

易混概念对照表

概念 A概念 B关键区别关系
欧氏距离马氏距离度量矩阵 对 ;前者对量纲敏感 时相同;马氏 = 白化后的欧氏
z-score 标准化白化z-score 只逐坐标除以 (不旋转);白化 = 旋转 + 缩放仅当 对角时两者相同
马氏距离 卡方分布 是统计量; 是它在高斯下的分布高斯时
等密度面 置信椭球数学上同一条方程;后者指取 分位数的那个
WLS( 对角)GLS( 一般)前者假设误差互不相关、只方差不同;后者允许误差相关 对角时 GLS WLS
WLS 的 GLS 的 同一个对象的两种记法
OLS 的公式 真实方差前者只在同方差且不相关时成立一般情形用三明治公式
让目标函数最小估计更接近真值WLS 让 最小;真值处的 可以更大「无偏」是平均性质,不是单次保证
密度比概率比连续情形单点概率为零,只有密度比与区域概率有意义密度比
奇异 病态前者密度理论不存在;后者密度存在但数值不可信都靠降维 / 正则化 / 伪逆处理
奇异高斯普通高斯奇异高斯没有密度,只能用特征函数与伪密度描述支撑集是低维仿射子空间

自学检查清单

读完本篇,你应该能不看笔记回答:

1. 多元高斯密度里 是怎么来的?它与「行列式是体积伸缩率」是什么关系?

2. 为什么马氏距离等于「先白化再算欧氏距离」?把这条等式逐步写出来。

3. 沿大方差主轴与小方差主轴各取一个欧氏距离相同的点,哪个更容易被判为异常?为什么?

4. 推导加权正规方程 ,并说明为什么 正定。

5. 广义最小二乘为什么等于「先白化再 OLS」?白化后的误差协方差是什么?

6. 两组观测方差相差 倍时,OLS 会出什么问题?(至少说出两个:估计被拖偏 + 标准误失真。)

相关笔记

  • 12-2-协方差矩阵: 的对称性、半正定性、特征分解与白化( 与对称版 ),本篇的全部工具来自这里
  • 12-1-均值方差与概率:单变量的期望、方差与协方差;「加权平均 + 逆方差权重」就是 WLS 在设计矩阵只有常数列时的特例
  • 4-3-最小二乘逼近:普通最小二乘的法方程 与投影解释;WLS/GLS 是它在加权内积下的推广( 时完全退回)
  • 4-2-投影与投影矩阵:最小二乘是投影;加权最小二乘是在 定义的内积下的正交投影,投影矩阵 幂等但不对称
  • 6-4-对称矩阵与正定矩阵:密度存在的前提 、 的构造、 正定的判据
  • 6-5-二次型与标准形:等密度椭球就是二次型 的等值线,半轴长公式来自正交化为标准形
  • 6-1-特征值引论:迹、行列式与特征值的关系,手算 特征值时的查错手段
  • 5-3-克莱姆法则与体积: 是椭球的体积伸缩率,与行列式的体积意义是同一件事
  • 7-3-主成分分析PCA: 的特征分解用于降维;高斯数据经 PCA 投影后仍是高斯,协方差为
  • 11-2-范数与条件数: 决定 GLS 解的数值可靠性,置信椭球的形状也由它控制
  • 11-1-数值稳定性与LU:WLS 求解应当用 np.linalg.solve 而不是先求逆; 病态时求逆会失真
  • 2-4-矩阵运算与逆矩阵:推导里反复用到的 与 求逆公式

参考来源

  • MIT 18.06 Linear Algebra, Spring 2010(Gilbert Strang)——课程主页;第 12 章「概率统计中的线性代数」讨论协方差矩阵、正定性与最小二乘:https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/
  • Gilbert Strang, Introduction to Linear Algebra(第 5 版)教材官方主页:https://math.mit.edu/~gs/linearalgebra/
  • SciPy 官方文档 scipy.stats.multivariate_normal:多元高斯密度的定义式、allow_singular 参数(奇异协方差)与伪行列式/伪逆的处理:https://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.multivariate_normal.html
  • NumPy 官方文档 numpy.random.Generator.multivariate_normal:从 抽样、协方差矩阵必须半正定、method 参数(svd/eigh/cholesky)与 的因子分解:https://numpy.org/doc/stable/reference/random/generated/numpy.random.Generator.multivariate_normal.html
  • NumPy 官方文档 numpy.linalg.lstsq:最小二乘解与残差平方和的定义,以及「 秩亏时返回最小范数解」的行为:https://numpy.org/doc/stable/reference/generated/numpy.linalg.lstsq.html
  • 教材(文字列名,非链接):盛骤、谢式千、潘承毅《概率论与数理统计》(第五版),高等教育出版社——第三章「二维随机变量」中的二维正态分布、第四章「 维随机向量的数字特征」