线性代数 第 12 章 · 概率统计中的线性代数(19 题)
本章速览
3 篇 · 19 题:均值方差与概率(12-1,6 题)、协方差矩阵(12-2,6 题)、多元高斯与加权最小二乘(12-3,7 题)。
12-1 均值方差与概率(6 题)
| 题号 | 结论 |
|---|---|
| 练习 1 | ; |
| 练习 2 | ; |
| 练习 3 | 见解析(无偏不需要独立,方差需要) |
| 练习 4 | (无法 ,原题设问有误) |
| 练习 5、6 | 见解析 |
练习 1 (相关系数与线性组合方差)
解
第 1 步:相关系数。
第 2 步:方差。
(系数:,故交叉项为 。)
答案 ;。
易错点 ① 交叉项系数写成 (漏负号);② 忘记 。
练习 2 ( 的完全负相关)
解
第 1 步:协方差。
第 2 步:相关系数。 :
第 3 步:为什么 。 是 的严格递减线性函数,两个随机变量完全落在一条负斜率直线上,相关系数达到理论下界 。
答案 ;。
练习 3 (样本均值的均值与方差)
解
第 1 步:无偏性。
这一步只用期望的线性性,不需要独立性。
第 2 步:方差。
第 3 步:用独立性。 独立 ⇒ 交叉项全为零 ⇒
答案 如上。无偏性不需要独立性,方差公式必需独立性(或至少两两不相关)。
练习 4 (不相关时 )
解
第 1 步:直接计算。 不相关即 :
第 2 步:结论(原题设问有误)。
「使 」不可能
在 且不相关的假设下, 是恒等式,既不能更大也不能更小。若要 ,必须让 ,那就不是「不相关」了。
第 3 步:可对照的正确例子。 取 、 标准正态、: ✓ 但此时相关。
答案 ;无法构造 的不相关例子。
练习 5 (最优权重 )
解
第 1 步:无偏性。 记 ,则 且
故任何权重归一化后都无偏——包括 。
第 2 步:最小方差。 约束 下最小化 。拉格朗日:
第 3 步: 的情形。 它仍无偏,但不是最小方差(除所有 相等)。最小方差为
答案 给最小方差; 仍无偏但非最优。
练习 6 (独立性的几何对应)
解
第 1 步:内积只看到二阶矩。 把随机变量看成 中的向量时,「正交」即 (中心化后的内积),这只描述二阶信息。
第 2 步:独立性更强。 独立要求对一切有界可测函数 有 ,而向量空间的内积只覆盖 取线性的情形。
第 3 步:为什么不能是向量空间等式。 独立性是关于联合分布的整体性质;内积只依赖 (二阶矩),而不同的联合分布可以有相同的 (高斯与非高斯、甚至同一 下独立与不独立都可能,见 12-3 练习 6)。故独立性无法用「某个内积为零」这类二阶条件表达。
12-2 协方差矩阵(6 题)
| 题号 | 结论 |
|---|---|
| 练习 1 | ;; |
| 练习 2 | 中心 ;半轴 与 ,沿坐标轴 |
| 练习 3 | ;正定 |
| 练习 4 | 白化矩阵 |
| 练习 5、6 | 见解析 |
练习 1 (和的方差、差的方差、相关)
解
第 1 步:和的方差。
第 2 步:差的方差。
第 3 步:相关。
答案 ;;。
练习 2 (协方差椭球)
解
第 1 步:写出方程。 以 为中心:
即
第 2 步:半轴。 标准形 :
- 中心 ;
- 沿 方向()半轴长 ;
- 沿 方向()半轴长 。
第 3 步:与原点版本的关系。 令 ,则 是中心在原点的同形状椭球;原椭球只是它平移 。
答案 如上。
练习 3 ( 的谱)
解
第 1 步:(1) 特征值。 ,而 的特征值为 ,故
第 2 步:特征向量。 对应 ; 的特征空间是正交补:
第 3 步:(2) 正定性。 三个特征值全正 ⇒ 正定,不存在非零 使 。
(若某特征值为 ,则对应方向上的方差为零 ⇒ 该线性组合几乎必然为常数,这才是「退化」的概率含义。)
答案 ;正定。
练习 4 (白化)
解
第 1 步:协方差变换。 由 :
✓
第 2 步:为什么「自然」。 满足 的 有无穷多:任取正交 , 都行。其中
- 一般是「正交 × 对称」;
- 只有 时 是对称的,且与 共享特征方向(不旋转主成分)。
第 3 步:另一常见选择。 (PCA 白化)先旋转到主成分方向再缩放,同样满足条件,但输出坐标是「主成分得分」而非原方向。
练习 5 ( 时 )
解
第 1 步:秩。 ,其中 是 的中心化数据矩阵。中心化使 的列都在 ( 维)内,故
⇒ 奇异 ⇒ 。
第 2 步:高斯密度无定义。 密度需要 (以及 ):
奇异 ⇒ 逆与行列式都不存在 ⇒ 密度不定义(分布退化在低维子空间上)。
第 3 步:两种补救。
- 正则化 (ridge):简单、可逆,但引入偏置、 需选;
- 降维 / 伪逆:只在前 个主成分上用伪逆定义(退化高斯),保留真实结构但丢弃部分方向。
(第三种:用 Ledoit–Wolf 等收缩估计,折中两者。)
练习 6 ()
解
第 1 步:写出 协方差矩阵。
第 2 步:特征值之积 = 行列式。
第 3 步: 时。 ⇒ 某个 ⇒ 奇异(秩降为 )。概率含义:两个变量完全线性相关,分布退化成一条直线,二维密度不存在。
答案 得证。
12-3 多元高斯与加权最小二乘(7 题)
| 题号 | 结论 |
|---|---|
| 练习 1 | 欧氏 ;马氏 |
| 练习 2 | 退化、无密度;例 |
| 练习 3 | 、,独立 |
| 练习 4 | 不可微 ⇒ 需 LP/IRLS;更抗离群 |
| 练习 5 | ;除以 |
| 练习 6、7 | 见解析 |
练习 1 (两种距离)
解
第 1 步:欧氏距离。
第 2 步:马氏距离。
第 3 步:为什么欧氏更大。 马氏距离按各方向的标准差归一化: 方向标准差 ()、 方向标准差 (),两个方向都只偏离 个标准差——而欧氏距离没有考虑「该方向本来散布多宽」。
答案 ;。
练习 2 (退化高斯)
解
第 1 步:分布。 。若 奇异,则 的支撑集落在 的一个真子空间内 ⇒ 分布退化,相对于 的 Lebesgue 测度没有密度。
第 2 步:具体例子。 、: 恒落在直线 上,协方差 奇异 ⇒ 无二维密度(只有该直线上的「一维密度」)。
答案 退化分布,无密度;例如上。
练习 3 (和与差的独立性)
解
第 1 步:分布。 、:
第 2 步:协方差。
第 3 步:独立性。 联合高斯的两个线性组合协方差为零 ⇒ 独立 ✓
答案 如上。
练习 4 ( vs )
解
第 1 步: 的驻点条件。 目标 。在 处可微:
第 2 步:为什么难解。 处不可微,梯度法失效;且解通常不唯一(解集是凸多面体的一块)。需用线性规划或 IRLS(迭代重加权最小二乘)求解。
第 3 步:对离群点的敏感度。 对大残差惩罚 ,一个离群点就能把拟合拉偏; 只惩罚 ,更稳健(对应拉普拉斯噪声假设,而非高斯噪声)。
练习 5 (异方差加权)
解
第 1 步:权重矩阵。 ,故
(常数因子 不影响 ,见练习 7。)
第 2 步:化为普通最小二乘。 把每行方程除以 :
此时误差方差 同方差,故对新方程作 OLS 即得原问题的加权最小二乘解。
第 3 步:等价说法。 令 、,则 最小化等价于对 的 OLS。
练习 6 (不相关 vs 独立)
解
第 1 步:高斯情形。 多元高斯密度只依赖 与 :
对角 ⇒ 密度分解为各分量之积 ⇒ 不相关即独立。
第 2 步:非高斯反例。 取 等概率地取
则 ⇒ 、方差都为 (同方差)。但已知 时必有 ,故不独立。
第 3 步:结论。 「不相关 ⇒ 独立」只在联合高斯(更一般地,联合分布于指数族)下成立;一般分布中,零协方差只排除线性关系。
练习 7 ( 的影响)
解
第 1 步:估计量不变。 。当 :
不变 ✓
第 2 步:协方差按比例放大。
即线性放大 倍。
第 3 步:实践含义。 点估计只依赖权重的相对大小( 的比例因子被约掉);但误差估计(置信区间)需要知道绝对尺度。故实践中通常只标定相对权重,而 另行估计。