线性代数 第 7 章 · 奇异值分解 SVD(20 题)
本章速览
3 篇 · 20 题:SVD 的构造与几何意义(7-1,6 题)、图像压缩与低秩逼近(7-2,7 题)、主成分分析(7-3,7 题)。
7-1 SVD 的构造与几何意义(6 题)
| 题号 | 结论 |
|---|---|
| 练习 1 | ;, |
| 练习 2 | ;;;、 |
| 练习 3 | ;;映成椭圆 |
| 练习 4 | 从定义出发证明 |
| 练习 5 | 实对称时 ;不存在 的例子 |
| 练习 6 | 是到 的投影, |
练习 1 (对角矩阵的 SVD)
解
第 1 步:。 ,
第 2 步:左奇异向量。 :
第 3 步:分解。
第 4 步:验证行列式。 ✓
答案 如上。
易错点 ① 忘记 的符号由 决定;② 顺序未降序;③ 把 当成 的特征值( 的绝对值是 与 )。
练习 2 (由奇异值读数)
解
第 1 步:秩。 非零奇异值个数 ⇒ 。
第 2 步:两个范数。
第 3 步:零空间维数。 :
第 4 步:左零空间。 :
答案 ;;;;。
易错点 ① 用 算左零空间;② 漏掉 无所谓,但根号内要加完;③ 把 4×3 的 、 弄反。
练习 3 (完整 SVD 与秩一展开)
解
第 1 步:右奇异向量。
故 ()、()。
第 2 步:左奇异向量。
第 3 步:。
第 4 步:秩一展开。
✓
第 5 步:几何。 单位圆上的 映为 , 沿 轴、 沿 轴,故像为椭圆
答案 如上。
易错点 ① 排序(4 在 3 前);② 的方向(用 归一化,不要凭感觉);③ 椭圆的半轴与方向的对应( 对应 方向)。
练习 4 (从定义证左零空间)
解
第 1 步:正交性。 ,。对 :
因为 的第 列全为零( 时没有非零奇异值)。故 。
第 2 步:标准正交。 的列标准正交,故 两两正交且长度为 。
第 3 步:个数对。 共 个,而
故它们构成 的标准正交基。
练习 5 (特征值与最大奇异值)
解
第 1 步:实对称情形。 实对称矩阵的奇异值满足 (按降序排列后对应 ),故
等号当 (即 对应绝对值最大的特征值)时成立。
第 2 步:一般矩阵也只是 。 由谱半径与算子范数的关系
故对任何矩阵都有 。
原题「举 的例子」不存在
提示里给的 其实满足 、,即 ——这正是「谱半径不超过算子范数」的例证。若要体会差距,应看两者可以差多少: 有 而 ,差距任意大,但方向始终是 。
答案 不等式成立;反例不存在(命题应为 )。
练习 6 ( 是投影)
解
第 1 步:写出。 由 得 ,故
第 2 步:对角结构。 是 对角矩阵,前 个对角元为 、其余为 。记 :
第 3 步:投影性质。 正交 ⇒ 且对称,是正交投影矩阵;其列空间为
第 4 步:迹。 。
7-2 图像压缩与低秩逼近(7 题)
| 题号 | 结论 |
|---|---|
| 练习 1 | 压缩比 ;能量占比 ; 时压缩比 |
| 练习 2 | 秩 ;、、 |
| 练习 3 | ; |
| 练习 4 | 见解析 |
| 练习 5 | Frobenius 的正交分解给出恒等式 |
| 练习 6、7 | 见解析 |
练习 1 (压缩比与能量)
解
第 1 步:参数个数。 原图需 个数;秩 逼近需
个数。
第 2 步:(a) 。 ,压缩比
第 3 步:(b) 能量占比。 记 ,
,故
第 4 步:(c) 达到 。 需 ,即 :
此时压缩比 。
答案 约 ;能量占比 ;、压缩比约 。
练习 2 (五个数值)
解
第 1 步:秩。 的秩分别为 ( 都不为零)。
第 2 步:谱范数误差。 。
第 3 步:Frobenius 误差。
答案 ;;;。
练习 3 ( 矩阵的 SVD)
解
第 1 步:。
第 2 步:向量。
第 3 步:。
第 4 步:误差。
其谱范数与 Frobenius 范数都是 ✓
答案 如上。
练习 4 (秩一与秩 )
解
第 1 步:秩 情形。 ⇒ 只有一个非零奇异值 ,故
于是对一切 ,(因 )。
第 2 步:秩 的条件。 。若 ,这 项线性无关( 两两正交且都非零)⇒ 秩恰为 。若 ,则实际只保留了 个非零项 ⇒ 秩 。故
练习 5 (能量与误差)
解
第 1 步:分解误差。 ,这些项两两正交(),故
第 2 步:总能量。
第 3 步:相除。
第 4 步:为何不依赖 Eckart–Young。 上式只用到「 的秩一展开正交」这一代数事实与 Frobenius 范数的勾股性质,与「 是否最优」无关。Eckart–Young 说明的是另一个事实:在所有秩 的矩阵中 使误差最小。
练习 6 (「每次降一秩」的谬误)
解
第 1 步:错误所在。 「降 秩误差很小」只在奇异值快速衰减时成立;误差恰为被丢弃的那个奇异值 。若奇异值衰减很慢,降秩代价可以很大。
第 2 步:反例。 取 (如 )。若把秩从 降到 ,误差
而 ——相对误差 ,根本没有「极小误差」。
第 3 步:反复降秩的累积。 即便每次只丢一个 ,降到低秩 时总误差为 ,在平谱情形下约为 ,可以接近 。
练习 7 (为何不能用「与含噪图的误差」选 )
解
第 1 步:误差单调下降的原因。 是含噪图 本身的秩 最佳逼近,故 越大 越小,直到 时为零。这条曲线必然单调下降,因此不含任何「该停在哪」的信息。
第 2 步:过拟合。 当 超过「真图的有效秩」后, 开始拟合噪声:与真图的误差反而上升,虽然与含噪图的误差继续下降。这与训练误差/测试误差的分离是同一现象。
第 3 步:与 Eckart–Young 不矛盾。 E–Y 断言的是「对给定矩阵 的最优性」,而 本身含噪;它不保证对「真图」最优。选 需要独立信息(如噪声水平、交叉验证、与真图比较),不能只看对含噪图的重构误差。
7-3 主成分分析 PCA(7 题)
| 题号 | 结论 |
|---|---|
| 练习 1 | ;贡献率各 |
| 练习 2 | 特征值 ;;;误差 |
| 练习 3 | 三条都成立 |
| 练习 4 | 恒等式成立;两问题等价 |
| 练习 5 | ;; |
| 练习 6、7 | 见解析 |
练习 1 (对角情形)
解
第 1 步:(a) 协方差。
第 2 步:(b) 特征结构。 特征值 ;单位特征向量 。
第 3 步:(c) 得分。 (因 ),得分矩阵为 的两列;其样本协方差为 ,对角 ⇒ 两个得分互不相关(协方差 )✓
第 4 步:(d) 贡献率。 各占 ,累计 (降到 维)。
答案 如上。
练习 2 (由 读数)
解
第 1 步:(a) 协方差特征值。
特征值 、。
第 2 步:(b) 奇异值。 :
第 3 步:(c) 贡献率。
第 4 步:(d) 降到 维的误差。 平方意义下
故相对误差 。
答案 ;;;约 。
练习 3 (SVD 视角下的三条性质)
解
第 1 步:(a) 协方差对角。
对角 ✓(除以 仍对角)
第 2 步:(b) 总方差。
第 3 步:(c) 比例。 前 个主成分的方差和为 ,总方差为 ,相除即得。
练习 4 (重构误差恒等式)
解
第 1 步:展开 Frobenius 范数。
第 2 步:逐项。 记 (、):
第 3 步:化简后两项。 ;同理最后一项也等于 (用 )。故
第 4 步:为什么等价。 上式右端第一项固定,故
即「保留方差最大」与「重构误差最小」是同一个优化问题。
练习 5 (秩的上界)
解
第 1 步:(a) 自由参数。 是 ,共 个元素。
第 2 步:(b) 中心化后的秩。 中心化使每列之和为零,故 的列都落在超平面 中( 维)。因此
第 3 步:(c) 、。 同理
故 ()的秩不超过 ,最多 个非零特征值——即使有 个特征,中心化后最多只能提取 个主成分。
答案 ;;。
练习 6 (PCA 选错方向的构造)
解
第 1 步:构造数据。
第 2 步:检查要求。 方向:两类的 均值都是 (均值相同),但数据在 上散布(方差约 ); 方向:类内方差为 ,但两类的 均值 与 明显不同。
第 3 步:PCA 第一主方向。 总方差在 方向(约 )远大于 方向(约 ,但注意均值差异会使总 方差为 ,其中类间差异贡献 )——若把数据按「总方差」算, 方向的方差可能更大。
修改版(确保 PCA 选 )
取 、: 的方差为 、 的方差仅 (均值差 )。此时 PCA 第一主方向是 轴,投影后两类完全重叠 ⇒ 分类失败;而真正有判别力的方向是 轴。
第 4 步:结论。 PCA 只找方差最大的方向,与「类别可分」无关;判别信息可能藏在小方差方向里。
答案 如上(推荐用修改版数据)。
练习 7 (「95% 方差就够」的漏洞)
解
第 1 步:漏洞一:方差大 ≠ 有信息。 方差最大的方向可能是噪声或与标签无关的变化(见练习 6)。保留 方差可能保留的正是噪声。
第 2 步:漏洞二:判别信息可以在小方差里。 若两类样本在某个小方差方向上均值差异明显(如练习 6),丢掉它会把两类混在一起,「方差贡献率」却看不出这一点。
第 3 步:漏洞三:与任务无关。 95% 是对无监督重构的指标;对分类、聚类、回归等任务, 的方差可能包含关键结构。
第 4 步:正确做法。 用交叉验证或下游任务指标选 ;把 PCA 当作预处理而非「信息保全」的保证;必要时改用有监督降维(LDA、PLS)。