w wyl123ly 的博客
MD

20-线代-07-奇异值分解SVD

19 KB 2026.10.17 原文件

线性代数 第 7 章 · 奇异值分解 SVD(20 题)

本章速览

3 篇 · 20 题:SVD 的构造与几何意义(7-1,6 题)、图像压缩与低秩逼近(7-2,7 题)、主成分分析(7-3,7 题)。

7-1 SVD 的构造与几何意义(6 题)

题号结论
练习 1;,
练习 2;;;、
练习 3;;映成椭圆
练习 4从定义出发证明
练习 5实对称时 ;不存在 的例子
练习 6 是到 的投影,

练习 1 (对角矩阵的 SVD)

解

第 1 步:。 ,

第 2 步:左奇异向量。 :

第 3 步:分解。

第 4 步:验证行列式。 ✓

答案 如上。

易错点 ① 忘记 的符号由 决定;② 顺序未降序;③ 把 当成 的特征值( 的绝对值是 与 )。

练习 2 (由奇异值读数)

解

第 1 步:秩。 非零奇异值个数 ⇒ 。

第 2 步:两个范数。

第 3 步:零空间维数。 :

第 4 步:左零空间。 :

答案 ;;;;。

易错点 ① 用 算左零空间;② 漏掉 无所谓,但根号内要加完;③ 把 4×3 的 、 弄反。

练习 3 (完整 SVD 与秩一展开)

解

第 1 步:右奇异向量。

故 ()、()。

第 2 步:左奇异向量。

第 3 步:。

第 4 步:秩一展开。

✓

第 5 步:几何。 单位圆上的 映为 , 沿 轴、 沿 轴,故像为椭圆

答案 如上。

易错点 ① 排序(4 在 3 前);② 的方向(用 归一化,不要凭感觉);③ 椭圆的半轴与方向的对应( 对应 方向)。

练习 4 (从定义证左零空间)

解

第 1 步:正交性。 ,。对 :

因为 的第 列全为零( 时没有非零奇异值)。故 。

第 2 步:标准正交。 的列标准正交,故 两两正交且长度为 。

第 3 步:个数对。 共 个,而

故它们构成 的标准正交基。

练习 5 (特征值与最大奇异值)

解

第 1 步:实对称情形。 实对称矩阵的奇异值满足 (按降序排列后对应 ),故

等号当 (即 对应绝对值最大的特征值)时成立。

第 2 步:一般矩阵也只是 。 由谱半径与算子范数的关系

故对任何矩阵都有 。

原题「举 的例子」不存在

提示里给的 其实满足 、,即 ——这正是「谱半径不超过算子范数」的例证。若要体会差距,应看两者可以差多少: 有 而 ,差距任意大,但方向始终是 。

答案 不等式成立;反例不存在(命题应为 )。

练习 6 ( 是投影)

解

第 1 步:写出。 由 得 ,故

第 2 步:对角结构。 是 对角矩阵,前 个对角元为 、其余为 。记 :

第 3 步:投影性质。 正交 ⇒ 且对称,是正交投影矩阵;其列空间为

第 4 步:迹。 。

7-2 图像压缩与低秩逼近(7 题)

题号结论
练习 1压缩比 ;能量占比 ; 时压缩比
练习 2秩 ;、、
练习 3;
练习 4见解析
练习 5Frobenius 的正交分解给出恒等式
练习 6、7见解析

练习 1 (压缩比与能量)

解

第 1 步:参数个数。 原图需 个数;秩 逼近需

个数。

第 2 步:(a) 。 ,压缩比

第 3 步:(b) 能量占比。 记 ,

,故

第 4 步:(c) 达到 。 需 ,即 :

此时压缩比 。

答案 约 ;能量占比 ;、压缩比约 。

练习 2 (五个数值)

解

第 1 步:秩。 的秩分别为 ( 都不为零)。

第 2 步:谱范数误差。 。

第 3 步:Frobenius 误差。

答案 ;;;。

练习 3 ( 矩阵的 SVD)

解

第 1 步:。

第 2 步:向量。

第 3 步:。

第 4 步:误差。

其谱范数与 Frobenius 范数都是 ✓

答案 如上。

练习 4 (秩一与秩 )

解

第 1 步:秩 情形。 ⇒ 只有一个非零奇异值 ,故

于是对一切 ,(因 )。

第 2 步:秩 的条件。 。若 ,这 项线性无关( 两两正交且都非零)⇒ 秩恰为 。若 ,则实际只保留了 个非零项 ⇒ 秩 。故

练习 5 (能量与误差)

解

第 1 步:分解误差。 ,这些项两两正交(),故

第 2 步:总能量。

第 3 步:相除。

第 4 步:为何不依赖 Eckart–Young。 上式只用到「 的秩一展开正交」这一代数事实与 Frobenius 范数的勾股性质,与「 是否最优」无关。Eckart–Young 说明的是另一个事实:在所有秩 的矩阵中 使误差最小。

练习 6 (「每次降一秩」的谬误)

解

第 1 步:错误所在。 「降 秩误差很小」只在奇异值快速衰减时成立;误差恰为被丢弃的那个奇异值 。若奇异值衰减很慢,降秩代价可以很大。

第 2 步:反例。 取 (如 )。若把秩从 降到 ,误差

而 ——相对误差 ,根本没有「极小误差」。

第 3 步:反复降秩的累积。 即便每次只丢一个 ,降到低秩 时总误差为 ,在平谱情形下约为 ,可以接近 。

练习 7 (为何不能用「与含噪图的误差」选 )

解

第 1 步:误差单调下降的原因。 是含噪图 本身的秩 最佳逼近,故 越大 越小,直到 时为零。这条曲线必然单调下降,因此不含任何「该停在哪」的信息。

第 2 步:过拟合。 当 超过「真图的有效秩」后, 开始拟合噪声:与真图的误差反而上升,虽然与含噪图的误差继续下降。这与训练误差/测试误差的分离是同一现象。

第 3 步:与 Eckart–Young 不矛盾。 E–Y 断言的是「对给定矩阵 的最优性」,而 本身含噪;它不保证对「真图」最优。选 需要独立信息(如噪声水平、交叉验证、与真图比较),不能只看对含噪图的重构误差。

7-3 主成分分析 PCA(7 题)

题号结论
练习 1;贡献率各
练习 2特征值 ;;;误差
练习 3三条都成立
练习 4恒等式成立;两问题等价
练习 5;;
练习 6、7见解析

练习 1 (对角情形)

解

第 1 步:(a) 协方差。

第 2 步:(b) 特征结构。 特征值 ;单位特征向量 。

第 3 步:(c) 得分。 (因 ),得分矩阵为 的两列;其样本协方差为 ,对角 ⇒ 两个得分互不相关(协方差 )✓

第 4 步:(d) 贡献率。 各占 ,累计 (降到 维)。

答案 如上。

练习 2 (由 读数)

解

第 1 步:(a) 协方差特征值。

特征值 、。

第 2 步:(b) 奇异值。 :

第 3 步:(c) 贡献率。

第 4 步:(d) 降到 维的误差。 平方意义下

故相对误差 。

答案 ;;;约 。

练习 3 (SVD 视角下的三条性质)

解

第 1 步:(a) 协方差对角。

对角 ✓(除以 仍对角)

第 2 步:(b) 总方差。

第 3 步:(c) 比例。 前 个主成分的方差和为 ,总方差为 ,相除即得。

练习 4 (重构误差恒等式)

解

第 1 步:展开 Frobenius 范数。

第 2 步:逐项。 记 (、):

第 3 步:化简后两项。 ;同理最后一项也等于 (用 )。故

第 4 步:为什么等价。 上式右端第一项固定,故

即「保留方差最大」与「重构误差最小」是同一个优化问题。

练习 5 (秩的上界)

解

第 1 步:(a) 自由参数。 是 ,共 个元素。

第 2 步:(b) 中心化后的秩。 中心化使每列之和为零,故 的列都落在超平面 中( 维)。因此

第 3 步:(c) 、。 同理

故 ()的秩不超过 ,最多 个非零特征值——即使有 个特征,中心化后最多只能提取 个主成分。

答案 ;;。

练习 6 (PCA 选错方向的构造)

解

第 1 步:构造数据。

第 2 步:检查要求。 方向:两类的 均值都是 (均值相同),但数据在 上散布(方差约 ); 方向:类内方差为 ,但两类的 均值 与 明显不同。

第 3 步:PCA 第一主方向。 总方差在 方向(约 )远大于 方向(约 ,但注意均值差异会使总 方差为 ,其中类间差异贡献 )——若把数据按「总方差」算, 方向的方差可能更大。

修改版(确保 PCA 选 )

取 、: 的方差为 、 的方差仅 (均值差 )。此时 PCA 第一主方向是 轴,投影后两类完全重叠 ⇒ 分类失败;而真正有判别力的方向是 轴。

第 4 步:结论。 PCA 只找方差最大的方向,与「类别可分」无关;判别信息可能藏在小方差方向里。

答案 如上(推荐用修改版数据)。

练习 7 (「95% 方差就够」的漏洞)

解

第 1 步:漏洞一:方差大 ≠ 有信息。 方差最大的方向可能是噪声或与标签无关的变化(见练习 6)。保留 方差可能保留的正是噪声。

第 2 步:漏洞二:判别信息可以在小方差里。 若两类样本在某个小方差方向上均值差异明显(如练习 6),丢掉它会把两类混在一起,「方差贡献率」却看不出这一点。

第 3 步:漏洞三:与任务无关。 95% 是对无监督重构的指标;对分类、聚类、回归等任务, 的方差可能包含关键结构。

第 4 步:正确做法。 用交叉验证或下游任务指标选 ;把 PCA 当作预处理而非「信息保全」的保证;必要时改用有监督降维(LDA、PLS)。