---
title: 线性代数 第 12 章 · 概率统计中的线性代数 习题答案
aliases:
  - 概率统计中的线性代数 习题答案
tags:
  - 类型/习题答案
  - 线性代数/概率统计
chapter: "12"
created: 2026-10-17
updated: 2026-10-17
---

# 线性代数 第 12 章 · 概率统计中的线性代数（19 题）

> [!abstract] 本章速览
> 3 篇 · 19 题：均值方差与概率（12-1，6 题）、协方差矩阵（12-2，6 题）、多元高斯与加权最小二乘（12-3，7 题）。

## 12-1 均值方差与概率（6 题）

| 题号 | 结论 |
|---|---|
| 练习 1 | $\rho=-\frac34$；$\operatorname{Var}(2X-Y)=43$ |
| 练习 2 | $\operatorname{Cov}=-\frac1{12}$；$\rho=-1$ |
| 练习 3 | 见解析（无偏不需要独立，方差需要） |
| 练习 4 | $\operatorname{Var}(X+Y)=2$（**无法** $>2$，原题设问有误） |
| 练习 5、6 | 见解析 |

### 练习 1　（相关系数与线性组合方差）

**解**

**第 1 步：相关系数。**

$$
\rho_{XY}=\frac{\operatorname{Cov}(X,Y)}{\sigma_X\sigma_Y}=\frac{-4.5}{2\times3}=-0.75
$$

**第 2 步：方差。**

$$
\operatorname{Var}(2X-Y)=4\operatorname{Var}X+\operatorname{Var}Y-4\operatorname{Cov}(X,Y)
$$

（系数：$\operatorname{Cov}(2X,-Y)=-2\operatorname{Cov}(X,Y)$，故交叉项为 $2\times(-2)(-4.5)=18$。）

$$
=16+9+18=43
$$

**答案**　$-0.75$；$43$。

**易错点**　① 交叉项系数写成 $2\cdot2\cdot(-4.5)$（漏负号）；② 忘记 $\operatorname{Var}(2X)=4\operatorname{Var}X$。

### 练习 2　（$Y=1-X$ 的完全负相关）

**解**

**第 1 步：协方差。**

$$
\operatorname{Cov}(X,Y)=\operatorname{Cov}(X,1-X)=-\operatorname{Var}X=-\frac1{12}
$$

**第 2 步：相关系数。** $\operatorname{Var}Y=\operatorname{Var}X=\frac1{12}$：

$$
\rho_{XY}=\frac{-\frac1{12}}{\sqrt{\frac1{12}}\sqrt{\frac1{12}}}=-1
$$

**第 3 步：为什么 $\lvert\rho\rvert=1$。** $Y=1-X$ 是 $X$ 的**严格递减线性函数**，两个随机变量完全落在一条负斜率直线上，相关系数达到理论下界 $-1$。

**答案**　$-\frac1{12}$；$-1$。

### 练习 3　（样本均值的均值与方差）

**解**

**第 1 步：无偏性。**

$$
\mathbb E\left[\bar x\right]=\frac1n\sum_i\mathbb E\left[X_i\right]=\frac1n\cdot n\mu=\mu
$$

这一步只用**期望的线性性**，**不需要独立性**。

**第 2 步：方差。**

$$
\operatorname{Var}\left(\bar x\right)=\frac{1}{n^2}\sum_i\operatorname{Var}\left(X_i\right)+\frac{1}{n^2}\sum_{i\ne j}\operatorname{Cov}\left(X_i,X_j\right)
$$

**第 3 步：用独立性。** 独立 ⇒ 交叉项全为零 ⇒

$$
\operatorname{Var}\left(\bar x\right)=\frac{1}{n^2}\cdot n\sigma^2=\frac{\sigma^2}{n}
$$

**答案**　如上。无偏性不需要独立性，方差公式**必需**独立性（或至少两两不相关）。

### 练习 4　（不相关时 $\operatorname{Var}(X+Y)$）

**解**

**第 1 步：直接计算。** 不相关即 $\operatorname{Cov}(X,Y)=0$：

$$
\operatorname{Var}(X+Y)=\operatorname{Var}X+\operatorname{Var}Y=1+1=2
$$

**第 2 步：结论（原题设问有误）。**

> [!warning] 「使 $\operatorname{Var}(X+Y)>2$」不可能
> 在 $\operatorname{Var}X=\operatorname{Var}Y=1$ 且**不相关**的假设下，$\operatorname{Var}(X+Y)\equiv2$ 是恒等式，既不能更大也不能更小。若要 $\operatorname{Var}(X+Y)>2$，必须让 $\operatorname{Cov}(X,Y)>0$，那就不是「不相关」了。

**第 3 步：可对照的正确例子。** 取 $X$、$Y$ 标准正态、$\rho=0.5$：$\operatorname{Var}(X+Y)=1+1+2(0.5)=3>2$ ✓ 但此时**相关**。

**答案**　$\operatorname{Var}(X+Y)=2$；无法构造 $>2$ 的不相关例子。

### 练习 5　（最优权重 $1/\sigma_i^2$）

**解**

**第 1 步：无偏性。** 记 $a_i=w_i/\sum_j w_j$，则 $\sum a_i=1$ 且

$$
\mathbb E\left[\bar x_w\right]=\sum a_i\mu=\mu
$$

故**任何**权重归一化后都无偏——包括 $w_i=1/\sigma_i$。

**第 2 步：最小方差。** 约束 $\sum a_i=1$ 下最小化 $\operatorname{Var}=\sum a_i^2\sigma_i^2$。拉格朗日：

$$
2a_i\sigma_i^2=\lambda\ \Longrightarrow\ a_i\propto\frac{1}{\sigma_i^2}
$$

**第 3 步：$w_i=1/\sigma_i$ 的情形。** 它仍**无偏**，但不是最小方差（除所有 $\sigma_i$ 相等）。最小方差为

$$
\operatorname{Var}_{\min}=\frac{1}{\sum_i 1/\sigma_i^2}
$$

**答案**　$w_i=1/\sigma_i^2$ 给最小方差；$w_i=1/\sigma_i$ 仍无偏但非最优。

### 练习 6　（独立性的几何对应）

**解**

**第 1 步：内积只看到二阶矩。** 把随机变量看成 $L^2$ 中的向量时，「正交」即 $\operatorname{Cov}=0$（中心化后的内积），这只描述**二阶**信息。

**第 2 步：独立性更强。** 独立要求对**一切**有界可测函数 $f,g$ 有 $\mathbb E[f(X)g(Y)]=\mathbb E f(X)\mathbb E g(Y)$，而向量空间的内积只覆盖 $f,g$ 取线性的情形。

**第 3 步：为什么不能是向量空间等式。** 独立性是关于**联合分布**的整体性质；内积只依赖 $\Sigma$（二阶矩），而不同的联合分布可以有相同的 $\Sigma$（高斯与非高斯、甚至同一 $\Sigma$ 下独立与不独立都可能，见 12-3 练习 6）。故独立性无法用「某个内积为零」这类二阶条件表达。$\blacksquare$

## 12-2 协方差矩阵（6 题）

| 题号 | 结论 |
|---|---|
| 练习 1 | $17$；$9$；$\rho=\frac13$ |
| 练习 2 | 中心 $(1,-1)$；半轴 $3$ 与 $6$，沿坐标轴 |
| 练习 3 | $\lambda=4,1,1$；正定 |
| 练习 4 | 白化矩阵 |
| 练习 5、6 | 见解析 |

### 练习 1　（和的方差、差的方差、相关）

**解**

**第 1 步：和的方差。**

$$
\operatorname{Var}(x_1+x_2)=\Sigma_{11}+\Sigma_{22}+2\Sigma_{12}=4+9+4=17
$$

**第 2 步：差的方差。**

$$
\operatorname{Var}(x_1-x_2)=4+9-4=9
$$

**第 3 步：相关。**

$$
\rho_{12}=\frac{2}{\sqrt4\sqrt9}=\frac{2}{6}=\frac13
$$

**答案**　$17$；$9$；$\frac13$。

### 练习 2　（协方差椭球）

**解**

**第 1 步：写出方程。** 以 $\boldsymbol\mu=(1,-1)$ 为中心：

$$
\left(\mathbf x-\boldsymbol\mu\right)^{\mathsf T}\Sigma^{-1}\left(\mathbf x-\boldsymbol\mu\right)=9
$$

即

$$
\frac{(x_1-1)^2}{1}+\frac{(x_2+1)^2}{4}=9
$$

**第 2 步：半轴。** 标准形 $\dfrac{u^2}{9}+\dfrac{v^2}{36}=1$：

- 中心 $(1,-1)$；
- 沿 $x_1$ 方向（$\mathbf e_1$）半轴长 $3$；
- 沿 $x_2$ 方向（$\mathbf e_2$）半轴长 $6$。

**第 3 步：与原点版本的关系。** 令 $\mathbf z=\mathbf x-\boldsymbol\mu$，则 $\mathbf z^{\mathsf T}\Sigma^{-1}\mathbf z=9$ 是中心在原点的同形状椭球；原椭球只是它平移 $\boldsymbol\mu$。

**答案**　如上。

### 练习 3　（$\Sigma=I+J$ 的谱）

**解**

**第 1 步：(1) 特征值。** $\Sigma=I+\mathbf e\mathbf e^{\mathsf T}$，而 $J=\mathbf e\mathbf e^{\mathsf T}$ 的特征值为 $3,0,0$，故

$$
\lambda=4,\ 1,\ 1
$$

**第 2 步：特征向量。** $\lambda=4$ 对应 $\mathbf e/\sqrt3=(1,1,1)^{\mathsf T}/\sqrt3$；$\lambda=1$ 的特征空间是正交补：

$$
\frac{1}{\sqrt2}(1,-1,0)^{\mathsf T},\qquad \frac{1}{\sqrt6}(1,1,-2)^{\mathsf T}
$$

**第 3 步：(2) 正定性。** 三个特征值全正 ⇒ $\Sigma$ **正定**，不存在非零 $\mathbf a$ 使 $\mathbf a^{\mathsf T}\Sigma\mathbf a=0$。

（若某特征值为 $0$，则对应方向上的方差为零 ⇒ 该线性组合几乎必然为常数，这才是「退化」的概率含义。）

**答案**　$\lambda=4,1,1$；正定。

### 练习 4　（白化）

**解**

**第 1 步：协方差变换。** 由 $\operatorname{Cov}(A\mathbf x)=A\Sigma A^{\mathsf T}$：

$$
\operatorname{Cov}\left(\Sigma^{-1/2}\mathbf x\right)=\Sigma^{-1/2}\Sigma\Sigma^{-1/2}=I
$$

✓

**第 2 步：为什么「自然」。** 满足 $W\Sigma W^{\mathsf T}=I$ 的 $W$ 有无穷多：任取正交 $Q$，$W=Q\Sigma^{-1/2}$ 都行。其中

- $W=Q\Sigma^{-1/2}$ 一般是「正交 × 对称」；
- 只有 $Q=I$ 时 $W=\Sigma^{-1/2}$ 是**对称**的，且与 $\Sigma$ 共享特征方向（不旋转主成分）。

**第 3 步：另一常见选择。** $W=\Lambda^{-1/2}Q^{\mathsf T}$（PCA 白化）先旋转到主成分方向再缩放，同样满足条件，但输出坐标是「主成分得分」而非原方向。$\blacksquare$

### 练习 5　（$n\le p$ 时 $\det S=0$）

**解**

**第 1 步：秩。** $S=\frac{1}{n-1}X^{\mathsf T}X$，其中 $X$ 是 $n\times p$ 的**中心化**数据矩阵。中心化使 $X$ 的列都在 $\mathbf 1^{\perp}$（$n-1$ 维）内，故

$$
\operatorname{rank}S=\operatorname{rank}X\le\min(n-1,\ p)=n-1<p
$$

⇒ $S$ 奇异 ⇒ $\det S=0$。

**第 2 步：高斯密度无定义。** 密度需要 $\Sigma^{-1}$（以及 $\det\Sigma$）：

$$
p(\mathbf x)\propto(\det\Sigma)^{-1/2}\exp\left(-\tfrac12(\mathbf x-\boldsymbol\mu)^{\mathsf T}\Sigma^{-1}(\mathbf x-\boldsymbol\mu)\right)
$$

$S$ 奇异 ⇒ 逆与行列式都不存在 ⇒ 密度不定义（分布退化在低维子空间上）。

**第 3 步：两种补救。**

1. **正则化** $S+\lambda I$（ridge）：简单、可逆，但引入偏置、$\lambda$ 需选；
2. **降维 / 伪逆**：只在前 $k<n$ 个主成分上用伪逆定义（退化高斯），保留真实结构但丢弃部分方向。
（第三种：用 Ledoit–Wolf 等收缩估计，折中两者。）$\blacksquare$

### 练习 6　（$\lambda_1\lambda_2=\sigma_1^2\sigma_2^2(1-\rho^2)$）

**解**

**第 1 步：写出 $2\times2$ 协方差矩阵。**

$$
\Sigma=\begin{bmatrix}\sigma_1^2&\rho\sigma_1\sigma_2\\\rho\sigma_1\sigma_2&\sigma_2^2\end{bmatrix}
$$

**第 2 步：特征值之积 = 行列式。**

$$
\lambda_1\lambda_2=\det\Sigma=\sigma_1^2\sigma_2^2-\rho^2\sigma_1^2\sigma_2^2=\sigma_1^2\sigma_2^2\left(1-\rho^2\right)
$$

**第 3 步：$\lvert\rho\rvert=1$ 时。** $1-\rho^2=0$ ⇒ 某个 $\lambda_i=0$ ⇒ $\Sigma$ 奇异（秩降为 $1$）。概率含义：两个变量**完全线性相关**，分布退化成一条直线，二维密度不存在。

**答案**　得证。$\blacksquare$

## 12-3 多元高斯与加权最小二乘（7 题）

| 题号 | 结论 |
|---|---|
| 练习 1 | 欧氏 $\sqrt{40}\approx6.32$；马氏 $\sqrt8\approx2.83$ |
| 练习 2 | 退化、无密度；例 $(x_1,x_1)$ |
| 练习 3 | $N(0,6)$、$N(0,2)$，独立 |
| 练习 4 | $L_1$ 不可微 ⇒ 需 LP/IRLS；更抗离群 |
| 练习 5 | $W=\operatorname{diag}(1/t_i^2)$；除以 $t_i$ |
| 练习 6、7 | 见解析 |

### 练习 1　（两种距离）

**解**

**第 1 步：欧氏距离。**

$$
\lVert\mathbf p\rVert_2=\sqrt{36+4}=\sqrt{40}\approx6.32
$$

**第 2 步：马氏距离。**

$$
\lVert\mathbf p\rVert_{\Sigma}=\sqrt{\mathbf p^{\mathsf T}\Sigma^{-1}\mathbf p}=\sqrt{\frac{36}{9}+\frac{4}{1}}=\sqrt{4+4}=\sqrt8\approx2.83
$$

**第 3 步：为什么欧氏更大。** 马氏距离按各方向的**标准差**归一化：$x_1$ 方向标准差 $3$（$6/3=2$）、$x_2$ 方向标准差 $1$（$2/1=2$），两个方向都只偏离 $2$ 个标准差——而欧氏距离没有考虑「该方向本来散布多宽」。

**答案**　$6.32$；$2.83$。

### 练习 2　（退化高斯）

**解**

**第 1 步：分布。** $A\mathbf x\sim N\left(A\boldsymbol\mu,\ A\Sigma A^{\mathsf T}\right)$。若 $A\Sigma A^{\mathsf T}$ 奇异，则 $A\mathbf x$ 的支撑集落在 $\mathbb R^m$ 的一个真子空间内 ⇒ 分布**退化**，相对于 $\mathbb R^m$ 的 Lebesgue 测度**没有密度**。

**第 2 步：具体例子。** $\mathbf x\sim N(\mathbf 0,I_2)$、$A=\begin{bmatrix}1&0\\1&0\end{bmatrix}$：$A\mathbf x=(x_1,x_1)^{\mathsf T}$ 恒落在直线 $y=x$ 上，协方差 $A\Sigma A^{\mathsf T}=\begin{bmatrix}1&1\\1&1\end{bmatrix}$ 奇异 ⇒ 无二维密度（只有该直线上的「一维密度」）。

**答案**　退化分布，无密度；例如上。

### 练习 3　（和与差的独立性）

**解**

**第 1 步：分布。** $\operatorname{Var}(x_1+x_2)=2+2+2=6$、$\operatorname{Var}(x_1-x_2)=2+2-2=2$：

$$
x_1+x_2\sim N(0,6),\qquad x_1-x_2\sim N(0,2)
$$

**第 2 步：协方差。**

$$
\operatorname{Cov}(x_1+x_2,\ x_1-x_2)=\operatorname{Var}x_1-\operatorname{Var}x_2+\operatorname{Cov}(x_2,x_1)-\operatorname{Cov}(x_1,x_2)=2-2+1-1=0
$$

**第 3 步：独立性。** 联合高斯的两个线性组合协方差为零 ⇒ **独立** ✓

**答案**　如上。

### 练习 4　（$L_1$ vs $L_2$）

**解**

**第 1 步：$L_1$ 的驻点条件。** 目标 $F(\mathbf x)=\sum_i w_i\left\lvert b_i-\mathbf a_i^{\mathsf T}\mathbf x\right\rvert$。在 $r_i\ne0$ 处可微：

$$
\nabla F=-\sum_i w_i\operatorname{sgn}\left(r_i\right)\mathbf a_i=\mathbf 0\iff\sum_i w_i\operatorname{sgn}\left(r_i\right)\mathbf a_i=\mathbf 0
$$

**第 2 步：为什么难解。** $r_i=0$ 处不可微，梯度法失效；且解通常**不唯一**（解集是凸多面体的一块）。需用线性规划或 IRLS（迭代重加权最小二乘）求解。

**第 3 步：对离群点的敏感度。** $L_2$ 对大残差惩罚 $r^2$，一个离群点就能把拟合拉偏；$L_1$ 只惩罚 $\lvert r\rvert$，**更稳健**（对应拉普拉斯噪声假设，而非高斯噪声）。$\blacksquare$

### 练习 5　（异方差加权）

**解**

**第 1 步：权重矩阵。** $\Sigma=\sigma^2\operatorname{diag}\left(t_1^2,\dots,t_m^2\right)$，故

$$
W=\Sigma^{-1}=\frac{1}{\sigma^2}\operatorname{diag}\left(\frac{1}{t_1^2},\dots,\frac{1}{t_m^2}\right)
$$

（常数因子 $1/\sigma^2$ 不影响 $\hat{\mathbf x}$，见练习 7。）

**第 2 步：化为普通最小二乘。** 把每行方程除以 $t_i$：

$$
\frac{b_i}{t_i}=x_1\cdot\frac{1}{t_i}+x_2+\frac{\varepsilon_i}{t_i}
$$

此时误差方差 $\operatorname{Var}\left(\varepsilon_i/t_i\right)=\sigma^2$ **同方差**，故对新方程作 OLS 即得原问题的加权最小二乘解。

**第 3 步：等价说法。** 令 $A'=\operatorname{diag}(1/t_i)A$、$\mathbf b'=\operatorname{diag}(1/t_i)\mathbf b$，则 $W$ 最小化等价于对 $(A',\mathbf b')$ 的 OLS。$\blacksquare$

### 练习 6　（不相关 vs 独立）

**解**

**第 1 步：高斯情形。** 多元高斯密度只依赖 $\boldsymbol\mu$ 与 $\Sigma$：

$$
p(\mathbf x)\propto\exp\left(-\tfrac12\sum_i\frac{(x_i-\mu_i)^2}{\sigma_i^2}\right)\quad(\Sigma\ \text{对角})
$$

对角 $\Sigma$ ⇒ 密度分解为各分量之积 ⇒ 不相关即独立。

**第 2 步：非高斯反例。** 取 $(X,Y)$ 等概率地取

$$
(1,0),\quad(-1,0),\quad(0,1),\quad(0,-1)
$$

则 $\mathbb E X=\mathbb E Y=\mathbb E(XY)=0$ ⇒ $\operatorname{Cov}=0$、方差都为 $\frac12$（同方差）。但已知 $X=0$ 时必有 $\lvert Y\rvert=1$，故**不独立**。

**第 3 步：结论。** 「不相关 ⇒ 独立」只在联合高斯（更一般地，联合分布于指数族）下成立；一般分布中，零协方差只排除**线性**关系。$\blacksquare$

### 练习 7　（$c\Sigma$ 的影响）

**解**

**第 1 步：估计量不变。** $\hat{\mathbf x}=\left(A^{\mathsf T}\Sigma^{-1}A\right)^{-1}A^{\mathsf T}\Sigma^{-1}\mathbf b$。当 $\Sigma\to c\Sigma$：

$$
\Sigma^{-1}\to\frac1c\Sigma^{-1}\ \Longrightarrow\ \hat{\mathbf x}\to\frac{\frac1c}{\frac1c}\hat{\mathbf x}=\hat{\mathbf x}
$$

不变 ✓

**第 2 步：协方差按比例放大。**

$$
\operatorname{Cov}\left(\hat{\mathbf x}\right)=\left(A^{\mathsf T}\Sigma^{-1}A\right)^{-1}\to c\left(A^{\mathsf T}\Sigma^{-1}A\right)^{-1}
$$

即线性放大 $c$ 倍。

**第 3 步：实践含义。** 点估计只依赖权重的**相对**大小（$\Sigma$ 的比例因子被约掉）；但误差估计（置信区间）需要知道绝对尺度。故实践中通常只标定相对权重，而 $\sigma^2$ 另行估计。$\blacksquare$
