---
title: 线性代数 第 7 章 · 奇异值分解 SVD 习题答案
aliases:
  - 奇异值分解 习题答案
  - SVD 习题答案
tags:
  - 类型/习题答案
  - 线性代数/SVD
chapter: "7"
created: 2026-10-17
updated: 2026-10-17
---

# 线性代数 第 7 章 · 奇异值分解 SVD（20 题）

> [!abstract] 本章速览
> 3 篇 · 20 题：SVD 的构造与几何意义（7-1，6 题）、图像压缩与低秩逼近（7-2，7 题）、主成分分析（7-3，7 题）。

## 7-1 SVD 的构造与几何意义（6 题）

| 题号 | 结论 |
|---|---|
| 练习 1 | $\sigma=3,2$；$U=\operatorname{diag}(1,-1)$，$V=I$ |
| 练习 2 | $r=2$；$\lVert A\rVert_2=6$；$\lVert A\rVert_F=3\sqrt5$；$\dim\mathbf N=1$、$\dim\mathbf N(A^{\mathsf T})=2$ |
| 练习 3 | $\sigma=4,3$；$U=\begin{bmatrix}0&1\\1&0\end{bmatrix}$；映成椭圆 $\frac{x^2}{9}+\frac{y^2}{16}=1$ |
| 练习 4 | 从定义出发证明 |
| 练习 5 | 实对称时 $\lvert\lambda_i\rvert\le\sigma_1$；**不存在** $\lvert\lambda_1\rvert>\sigma_1$ 的例子 |
| 练习 6 | $A^{+}A$ 是到 $\mathbf C(A^{\mathsf T})$ 的投影，$\operatorname{tr}=r$ |

### 练习 1　（对角矩阵的 SVD）

**解**

**第 1 步：$A^{\mathsf T}A$。** $A=\operatorname{diag}(3,-2)$，

$$
A^{\mathsf T}A=\operatorname{diag}(9,4)\ \Longrightarrow\ \sigma_1=3,\ \sigma_2=2,\ V=I_2
$$

**第 2 步：左奇异向量。** $\mathbf u_i=A\mathbf v_i/\sigma_i$：

$$
\mathbf u_1=\frac{(3,0)^{\mathsf T}}{3}=(1,0)^{\mathsf T},\qquad \mathbf u_2=\frac{(0,-2)^{\mathsf T}}{2}=(0,-1)^{\mathsf T}
$$

**第 3 步：分解。**

$$
A=U\Sigma V^{\mathsf T},\quad U=\begin{bmatrix}1&0\\0&-1\end{bmatrix},\quad\Sigma=\begin{bmatrix}3&0\\0&2\end{bmatrix},\quad V=I
$$

**第 4 步：验证行列式。** $\lvert\det A\rvert=6=\sigma_1\sigma_2$ ✓

**答案**　如上。

**易错点**　① 忘记 $\mathbf u_i$ 的符号由 $A\mathbf v_i/\sigma_i$ 决定；② $\sigma$ 顺序未降序；③ 把 $\sigma$ 当成 $A$ 的特征值（$\pm3$ 的绝对值是 $3$ 与 $2$）。

### 练习 2　（由奇异值读数）

**解**

**第 1 步：秩。** 非零奇异值个数 $=2$ ⇒ $r=2$。

**第 2 步：两个范数。**

$$
\lVert A\rVert_2=\sigma_1=6,\qquad \lVert A\rVert_F=\sqrt{36+9+0}=3\sqrt5
$$

**第 3 步：零空间维数。** $n=3$：

$$
\dim\mathbf N(A)=n-r=1
$$

**第 4 步：左零空间。** $m=4$：

$$
\dim\mathbf N(A^{\mathsf T})=m-r=2
$$

**答案**　$r=2$；$6$；$3\sqrt5$；$1$；$2$。

**易错点**　① 用 $n-r$ 算左零空间；② $\lVert A\rVert_F$ 漏掉 $\sigma_3=0$ 无所谓，但根号内要加完；③ 把 4×3 的 $m$、$n$ 弄反。

### 练习 3　（完整 SVD 与秩一展开）

**解**

**第 1 步：右奇异向量。**

$$
A^{\mathsf T}A=\begin{bmatrix}0&4\\3&0\end{bmatrix}\begin{bmatrix}0&3\\4&0\end{bmatrix}=\begin{bmatrix}16&0\\0&9\end{bmatrix}
$$

故 $\sigma_1=4$（$\mathbf v_1=\mathbf e_1$）、$\sigma_2=3$（$\mathbf v_2=\mathbf e_2$）。

**第 2 步：左奇异向量。**

$$
\mathbf u_1=\frac{A\mathbf v_1}{4}=\frac{(0,4)^{\mathsf T}}{4}=(0,1)^{\mathsf T},\qquad \mathbf u_2=\frac{A\mathbf v_2}{3}=\frac{(3,0)^{\mathsf T}}{3}=(1,0)^{\mathsf T}
$$

**第 3 步：$U,\Sigma,V$。**

$$
U=\begin{bmatrix}0&1\\1&0\end{bmatrix},\qquad \Sigma=\begin{bmatrix}4&0\\0&3\end{bmatrix},\qquad V=I_2
$$

**第 4 步：秩一展开。**

$$
A=4\mathbf u_1\mathbf v_1^{\mathsf T}+3\mathbf u_2\mathbf v_2^{\mathsf T}=4\begin{bmatrix}0\\1\end{bmatrix}\begin{bmatrix}1&0\end{bmatrix}+3\begin{bmatrix}1\\0\end{bmatrix}\begin{bmatrix}0&1\end{bmatrix}=\begin{bmatrix}0&3\\4&0\end{bmatrix}
$$

✓

**第 5 步：几何。** 单位圆上的 $\mathbf x$ 映为 $A\mathbf x$，$\lVert A\mathbf v_1\rVert=4$ 沿 $y$ 轴、$\lVert A\mathbf v_2\rVert=3$ 沿 $x$ 轴，故像为椭圆

$$
\frac{x^2}{9}+\frac{y^2}{16}=1
$$

**答案**　如上。

**易错点**　① $\sigma$ 排序（4 在 3 前）；② $\mathbf u_i$ 的方向（用 $A\mathbf v_i$ 归一化，不要凭感觉）；③ 椭圆的半轴与方向的对应（$\sigma_1=4$ 对应 $y$ 方向）。

### 练习 4　（从定义证左零空间）

**解**

**第 1 步：正交性。** $A=U\Sigma V^{\mathsf T}$，$A^{\mathsf T}=V\Sigma^{\mathsf T}U^{\mathsf T}$。对 $j>r$：

$$
A^{\mathsf T}\mathbf u_j=V\Sigma^{\mathsf T}U^{\mathsf T}\mathbf u_j=V\Sigma^{\mathsf T}\mathbf e_j=\mathbf 0
$$

因为 $\Sigma^{\mathsf T}$ 的第 $j$ 列全为零（$j>r$ 时没有非零奇异值）。故 $\mathbf u_j\in\mathbf N(A^{\mathsf T})$。

**第 2 步：标准正交。** $U$ 的列标准正交，故 $\mathbf u_{r+1},\dots,\mathbf u_m$ 两两正交且长度为 $1$。

**第 3 步：个数对。** 共 $m-r$ 个，而

$$
\dim\mathbf N(A^{\mathsf T})=m-r
$$

故它们构成 $\mathbf N(A^{\mathsf T})$ 的标准正交基。$\blacksquare$

### 练习 5　（特征值与最大奇异值）

**解**

**第 1 步：实对称情形。** 实对称矩阵的奇异值满足 $\sigma_i=\lvert\lambda_i\rvert$（按降序排列后对应 ），故

$$
\lvert\lambda_i\rvert=\sigma_i\le\sigma_1
$$

等号当 $\lvert\lambda_i\rvert=\sigma_1$（即 $i$ 对应绝对值最大的特征值）时成立。

**第 2 步：一般矩阵也只是 $\le$。** 由谱半径与算子范数的关系

$$
\rho(A)=\max_i\lvert\lambda_i\rvert\le\lVert A\rVert_2=\sigma_1
$$

故对**任何**矩阵都有 $\lvert\lambda_i\rvert\le\sigma_1$。

> [!warning] 原题「举 $|\lambda_1|>\sigma_1$ 的例子」不存在
> 提示里给的 $A=\begin{bmatrix}0&2\\0&0\end{bmatrix}$ 其实满足 $\sigma_1=2$、$\lambda_1=\lambda_2=0$，即 $\lvert\lambda\rvert<\sigma_1$——这正是「谱半径不超过算子范数」的例证。若要体会差距，应看**两者可以差多少**：$A=\begin{bmatrix}0&t\\0&0\end{bmatrix}$ 有 $\sigma_1=t$ 而 $\lambda\equiv0$，差距任意大，但方向始终是 $\lvert\lambda\rvert\le\sigma_1$。

**答案**　不等式成立；反例不存在（命题应为 $\lvert\lambda_i\rvert\le\sigma_1$）。

### 练习 6　（$A^{+}A$ 是投影）

**解**

**第 1 步：写出。** 由 $A=U\Sigma V^{\mathsf T}$ 得 $A^{+}=V\Sigma^{+}U^{\mathsf T}$，故

$$
A^{+}A=V\Sigma^{+}\Sigma V^{\mathsf T}
$$

**第 2 步：对角结构。** $\Sigma^{+}\Sigma$ 是 $n\times n$ 对角矩阵，前 $r$ 个对角元为 $1$、其余为 $0$。记 $\Lambda_r=\operatorname{diag}(1,\dots,1,0,\dots,0)$：

$$
A^{+}A=V\Lambda_rV^{\mathsf T}
$$

**第 3 步：投影性质。** $V$ 正交 ⇒ $\left(V\Lambda_rV^{\mathsf T}\right)^2=V\Lambda_rV^{\mathsf T}$ 且对称，是正交投影矩阵；其列空间为

$$
\mathbf C\left(V\Lambda_r\right)=\operatorname{span}\left\{\mathbf v_1,\dots,\mathbf v_r\right\}=\mathbf C(A^{\mathsf T})
$$

**第 4 步：迹。** $\operatorname{tr}\left(V\Lambda_rV^{\mathsf T}\right)=\operatorname{tr}\Lambda_r=r$。$\blacksquare$

## 7-2 图像压缩与低秩逼近（7 题）

| 题号 | 结论 |
|---|---|
| 练习 1 | 压缩比 $\approx8$；能量占比 $\approx0.999998$；$k=11$ 时压缩比 $\approx21.8$ |
| 练习 2 | 秩 $1,2,3$；$\lVert A-A_1\rVert_2=6$、$\lVert A-A_2\rVert_F\approx2.06$、$\lVert A-A_3\rVert_F=0.5$ |
| 练习 3 | $\sigma=5,2$；$\lVert A-A_1\rVert_2=\lVert A-A_1\rVert_F=2$ |
| 练习 4 | 见解析 |
| 练习 5 | Frobenius 的正交分解给出恒等式 |
| 练习 6、7 | 见解析 |

### 练习 1　（压缩比与能量）

**解**

**第 1 步：参数个数。** $600\times400$ 原图需 $240000$ 个数；秩 $k$ 逼近需

$$
k(600+400+1)=1001k
$$

个数。

**第 2 步：(a) $k=30$。** $1001\times30=30030$，压缩比

$$
\frac{240000}{30030}\approx7.99\approx8
$$

**第 3 步：(b) 能量占比。** 记 $q=0.8^2=0.64$，

$$
\frac{\sum_{i\le30}\sigma_i^2}{\sum_i\sigma_i^2}=\frac{1-q^{30}}{1-q}\cdot(1-q)=1-q^{30}
$$

$q^{30}=0.64^{30}=\mathrm{e}^{30\ln0.64}\approx\mathrm{e}^{-13.38}\approx1.55\times10^{-6}$，故

$$
\text{能量占比}\approx0.9999984,\qquad\text{相对误差}=\sqrt{1.55\times10^{-6}}\approx1.2\times10^{-3}
$$

**第 4 步：(c) 达到 $99\%$。** 需 $1-0.64^k\ge0.99$，即 $0.64^k\le0.01$：

$$
k\ge\frac{\ln0.01}{\ln0.64}=\frac{-4.605}{-0.4463}\approx10.3\ \Longrightarrow\ k=11
$$

此时压缩比 $240000/(11\times1001)\approx21.8$。

**答案**　约 $8$；能量占比 $0.999998$；$k=11$、压缩比约 $21.8$。

### 练习 2　（五个数值）

**解**

**第 1 步：秩。** $A_1,A_2,A_3$ 的秩分别为 $1,2,3$（$\sigma=10,6,2,0.5$ 都不为零）。

**第 2 步：谱范数误差。** $\lVert A-A_1\rVert_2=\sigma_2=6$。

**第 3 步：Frobenius 误差。**

$$
\lVert A-A_2\rVert_F=\sqrt{\sigma_3^2+\sigma_4^2}=\sqrt{4+0.25}=\sqrt{4.25}\approx2.06
$$

$$
\lVert A-A_3\rVert_F=\sigma_4=0.5
$$

**答案**　$1,2,3$；$6$；$2.06$；$0.5$。

### 练习 3　（$3\times2$ 矩阵的 SVD）

**解**

**第 1 步：$A^{\mathsf T}A$。**

$$
A^{\mathsf T}A=\begin{bmatrix}9+16&0\\0&4\end{bmatrix}=\begin{bmatrix}25&0\\0&4\end{bmatrix}\ \Longrightarrow\ \sigma_1=5,\ \sigma_2=2
$$

**第 2 步：向量。**

$$
\mathbf v_1=\mathbf e_1,\quad \mathbf u_1=\frac{(3,0,4)^{\mathsf T}}{5};\qquad \mathbf v_2=\mathbf e_2,\quad \mathbf u_2=(0,1,0)^{\mathsf T}
$$

**第 3 步：$A_1$。**

$$
A_1=\sigma_1\mathbf u_1\mathbf v_1^{\mathsf T}=5\cdot\frac{1}{5}\begin{bmatrix}3\\0\\4\end{bmatrix}\begin{bmatrix}1&0\end{bmatrix}=\begin{bmatrix}3&0\\0&0\\4&0\end{bmatrix}
$$

**第 4 步：误差。**

$$
A-A_1=\begin{bmatrix}0&0\\0&2\\0&0\end{bmatrix}
$$

其谱范数与 Frobenius 范数都是 $2=\sigma_2$ ✓

**答案**　如上。

### 练习 4　（秩一与秩 $k$）

**解**

**第 1 步：秩 $1$ 情形。** $\operatorname{rank}(A)=1$ ⇒ 只有一个非零奇异值 $\sigma_1$，故

$$
A_1=\sigma_1\mathbf u_1\mathbf v_1^{\mathsf T}=A
$$

于是对一切 $k\ge1$，$\lVert A-A_k\rVert_F=0$（因 $A_k=A$）。

**第 2 步：秩 $k$ 的条件。** $A_k=\sum_{i\le k}\sigma_i\mathbf u_i\mathbf v_i^{\mathsf T}$。若 $\sigma_k>0$，这 $k$ 项线性无关（$\mathbf u_i\mathbf v_i^{\mathsf T}$ 两两正交且都非零）⇒ 秩恰为 $k$。若 $\sigma_k=0$，则实际只保留了 $k'<k$ 个非零项 ⇒ 秩 $<k$。故

$$
\operatorname{rank}(A_k)=k\iff\sigma_k>0
$$

$\blacksquare$

### 练习 5　（能量与误差）

**解**

**第 1 步：分解误差。** $A-A_k=\sum_{i>k}\sigma_i\mathbf u_i\mathbf v_i^{\mathsf T}$，这些项两两正交（$\operatorname{tr}\left(\mathbf u_i\mathbf v_i^{\mathsf T}\mathbf v_j\mathbf u_j^{\mathsf T}\right)=\delta_{ij}$），故

$$
\lVert A-A_k\rVert_F^2=\sum_{i>k}\sigma_i^2
$$

**第 2 步：总能量。**

$$
\lVert A\rVert_F^2=\sum_i\sigma_i^2
$$

**第 3 步：相除。**

$$
\frac{\lVert A-A_k\rVert_F^2}{\lVert A\rVert_F^2}=1-\frac{\sum_{i\le k}\sigma_i^2}{\sum_i\sigma_i^2}
$$

**第 4 步：为何不依赖 Eckart–Young。** 上式只用到「$A$ 的秩一展开正交」这一代数事实与 Frobenius 范数的勾股性质，与「$A_k$ 是否最优」无关。Eckart–Young 说明的是**另一个**事实：在所有秩 $\le k$ 的矩阵中 $A_k$ 使误差最小。$\blacksquare$

### 练习 6　（「每次降一秩」的谬误）

**解**

**第 1 步：错误所在。** 「降 $1$ 秩误差很小」只在**奇异值快速衰减**时成立；误差恰为被丢弃的那个奇异值 $\sigma_{k+1}$。若奇异值衰减很慢，降秩代价可以很大。

**第 2 步：反例。** 取 $\sigma_1=\cdots=\sigma_r=1$（如 $A=I_r$）。若把秩从 $r$ 降到 $r-1$，误差

$$
\lVert A-A_{r-1}\rVert_2=\sigma_r=1
$$

而 $\lVert A\rVert_2=1$——**相对误差 $100\%$**，根本没有「极小误差」。

**第 3 步：反复降秩的累积。** 即便每次只丢一个 $\sigma$，降到低秩 $k\ll r$ 时总误差为 $\sqrt{\sum_{i>k}\sigma_i^2}$，在平谱情形下约为 $\sqrt{(r-k)/r}$，可以接近 $1$。$\blacksquare$

### 练习 7　（为何不能用「与含噪图的误差」选 $k$）

**解**

**第 1 步：误差单调下降的原因。** $A_k$ 是含噪图 $A$ 本身的秩 $k$ 最佳逼近，故 $k$ 越大 $\lVert A-A_k\rVert_F$ 越小，直到 $k=r$ 时为零。这条曲线**必然**单调下降，因此不含任何「该停在哪」的信息。

**第 2 步：过拟合。** 当 $k$ 超过「真图的有效秩」后，$A_k$ 开始拟合**噪声**：与真图的误差反而上升，虽然与含噪图的误差继续下降。这与训练误差/测试误差的分离是同一现象。

**第 3 步：与 Eckart–Young 不矛盾。** E–Y 断言的是「对**给定矩阵** $A$ 的最优性」，而 $A$ 本身含噪；它不保证对「真图」最优。选 $k$ 需要独立信息（如噪声水平、交叉验证、与真图比较），不能只看对含噪图的重构误差。$\blacksquare$

## 7-3 主成分分析 PCA（7 题）

| 题号 | 结论 |
|---|---|
| 练习 1 | $S=\operatorname{diag}\left(\frac23,\frac23\right)$；贡献率各 $50\%$ |
| 练习 2 | 特征值 $5,1.8$；$\sigma=5,3$；$73.5\%,26.5\%$；误差 $\approx0.514$ |
| 练习 3 | 三条都成立 |
| 练习 4 | 恒等式成立；两问题等价 |
| 练习 5 | $15$；$\le3$；$\le2$ |
| 练习 6、7 | 见解析 |

### 练习 1　（对角情形）

**解**

**第 1 步：(a) 协方差。**

$$
X^{\mathsf T}X=\begin{bmatrix}1+1&0\\0&1+1\end{bmatrix}=\begin{bmatrix}2&0\\0&2\end{bmatrix},\qquad S=\frac{1}{4-1}X^{\mathsf T}X=\begin{bmatrix}\frac23&0\\0&\frac23\end{bmatrix}
$$

**第 2 步：(b) 特征结构。** 特征值 $\frac23,\frac23$；单位特征向量 $\mathbf e_1,\mathbf e_2$。

**第 3 步：(c) 得分。** $XV=X$（因 $V=I$），得分矩阵为 $X$ 的两列；其样本协方差为 $\frac13X^{\mathsf T}X=\operatorname{diag}\left(\frac23,\frac23\right)$，对角 ⇒ 两个得分互不相关（协方差 $0$）✓

**第 4 步：(d) 贡献率。** 各占 $\frac{2/3}{4/3}=50\%$，累计 $100\%$（降到 $2$ 维）。

**答案**　如上。

### 练习 2　（由 $X^{\mathsf T}X$ 读数）

**解**

**第 1 步：(a) 协方差特征值。**

$$
S=\frac{1}{6-1}\begin{bmatrix}25&0\\0&9\end{bmatrix}=\begin{bmatrix}5&0\\0&1.8\end{bmatrix}
$$

特征值 $5$、$1.8$。

**第 2 步：(b) 奇异值。** $\sigma_i=\sqrt{5(m-1)}$：

$$
\sigma_1=\sqrt{25}=5,\qquad \sigma_2=\sqrt9=3
$$

**第 3 步：(c) 贡献率。**

$$
\frac{25}{34}\approx73.5\%,\qquad \frac{9}{34}\approx26.5\%
$$

**第 4 步：(d) 降到 $1$ 维的误差。** 平方意义下

$$
\frac{\lVert X-X_1\rVert_F^2}{\lVert X\rVert_F^2}=\frac{\sigma_2^2}{\sigma_1^2+\sigma_2^2}=\frac9{34}
$$

故相对误差 $=\sqrt{9/34}\approx0.514$。

**答案**　$5,1.8$；$5,3$；$73.5\%,26.5\%$；约 $51.4\%$。

### 练习 3　（SVD 视角下的三条性质）

**解**

**第 1 步：(a) 协方差对角。**

$$
(XV)^{\mathsf T}(XV)=V^{\mathsf T}X^{\mathsf T}XV=V^{\mathsf T}\left(V\Sigma^2V^{\mathsf T}\right)V=\Sigma^2
$$

对角 ✓（除以 $m-1$ 仍对角）

**第 2 步：(b) 总方差。**

$$
\operatorname{tr}S=\frac{1}{m-1}\operatorname{tr}\left(X^{\mathsf T}X\right)=\frac{\lVert X\rVert_F^2}{m-1}
$$

**第 3 步：(c) 比例。** 前 $k$ 个主成分的方差和为 $\frac1{m-1}\sum_{i\le k}\sigma_i^2$，总方差为 $\frac1{m-1}\sum_i\sigma_i^2$，相除即得。$\blacksquare$

### 练习 4　（重构误差恒等式）

**解**

**第 1 步：展开 Frobenius 范数。**

$$
\lVert X-XW_kW_k^{\mathsf T}\rVert_F^2=\operatorname{tr}\left[\left(X-XW_kW_k^{\mathsf T}\right)^{\mathsf T}\left(X-XW_kW_k^{\mathsf T}\right)\right]
$$

**第 2 步：逐项。** 记 $P=W_kW_k^{\mathsf T}$（$P^2=P$、$P^{\mathsf T}=P$）：

$$
=\operatorname{tr}\left(X^{\mathsf T}X\right)-2\operatorname{tr}\left(X^{\mathsf T}PX\right)+\operatorname{tr}\left(PX^{\mathsf T}XP\right)
$$

**第 3 步：化简后两项。** $\operatorname{tr}\left(X^{\mathsf T}PX\right)=\operatorname{tr}\left(X^{\mathsf T}XW_kW_k^{\mathsf T}\right)=\operatorname{tr}\left(W_k^{\mathsf T}X^{\mathsf T}XW_k\right)=\lVert XW_k\rVert_F^2$；同理最后一项也等于 $\lVert XW_k\rVert_F^2$（用 $W_k^{\mathsf T}W_k=I$）。故

$$
\lVert X-XP\rVert_F^2=\lVert X\rVert_F^2-\lVert XW_k\rVert_F^2
$$

**第 4 步：为什么等价。** 上式右端第一项固定，故

$$
\text{最大化}\ \lVert XW_k\rVert_F^2\iff\text{最小化}\ \lVert X-XP\rVert_F^2
$$

即「保留方差最大」与「重构误差最小」是同一个优化问题。$\blacksquare$

### 练习 5　（秩的上界）

**解**

**第 1 步：(a) 自由参数。** $X$ 是 $5\times3$，共 $15$ 个元素。

**第 2 步：(b) 中心化后的秩。** 中心化使每列之和为零，故 $X$ 的列都落在超平面 $\mathbf 1^{\perp}$ 中（$m-1=4$ 维）。因此

$$
\operatorname{rank}(X)\le\min(m-1,\ n)=\min(4,3)=3
$$

**第 3 步：(c) $m=3$、$n=5$。** 同理

$$
\operatorname{rank}(X)\le\min(3-1,\ 5)=2
$$

故 $S=\frac{1}{m-1}X^{\mathsf T}X$（$5\times5$）的秩不超过 $2$，**最多 $2$ 个非零特征值**——即使有 $5$ 个特征，中心化后最多只能提取 $2$ 个主成分。

**答案**　$15$；$\le3$；$\le2$。

### 练习 6　（PCA 选错方向的构造）

**解**

**第 1 步：构造数据。**

$$
\text{类 }1:\ (0,1),\ (1,1),\ (-1,1);\qquad \text{类 }2:\ (0,3),\ (1,3),\ (-1,3)
$$

**第 2 步：检查要求。** $x$ 方向：两类的 $x$ 均值都是 $0$（均值相同），但数据在 $x$ 上散布（方差约 $\frac23$）；$y$ 方向：类内方差为 $0$，但两类的 $y$ 均值 $1$ 与 $3$ 明显不同。

**第 3 步：PCA 第一主方向。** 总方差在 $x$ 方向（约 $\frac23$）远大于 $y$ 方向（约 $1$，但注意均值差异会使总 $y$ 方差为 $\frac{1}{6}\sum(y_i-\bar y)^2$，其中类间差异贡献 $1$）——若把数据按「总方差」算，$y$ 方向的方差可能更大。

> [!note] 修改版（确保 PCA 选 $x$）
> 取 $\text{类 }1:(-1,1),(0,1),(1,1)$、$\text{类 }2:(-1,1.2),(0,1.2),(1,1.2)$：$x$ 的方差为 $\frac23$、$y$ 的方差仅 $0.01$（均值差 $0.2$）。此时 PCA 第一主方向是 $x$ 轴，投影后两类完全重叠 ⇒ **分类失败**；而真正有判别力的方向是 $y$ 轴。

**第 4 步：结论。** PCA 只找**方差最大**的方向，与「类别可分」无关；判别信息可能藏在小方差方向里。

**答案**　如上（推荐用修改版数据）。

### 练习 7　（「95% 方差就够」的漏洞）

**解**

**第 1 步：漏洞一：方差大 ≠ 有信息。** 方差最大的方向可能是**噪声**或与标签无关的变化（见练习 6）。保留 $95\%$ 方差可能保留的正是噪声。

**第 2 步：漏洞二：判别信息可以在小方差里。** 若两类样本在某个小方差方向上均值差异明显（如练习 6），丢掉它会把两类混在一起，「方差贡献率」却看不出这一点。

**第 3 步：漏洞三：与任务无关。** 95% 是对**无监督重构**的指标；对分类、聚类、回归等任务，$5\%$ 的方差可能包含关键结构。

**第 4 步：正确做法。** 用交叉验证或下游任务指标选 $k$；把 PCA 当作预处理而非「信息保全」的保证；必要时改用有监督降维（LDA、PLS）。$\blacksquare$
