矩阵分解-SVD与特征分解
定义
矩阵分解是把一个矩阵表示为若干结构受限矩阵的乘积;本篇讨论两种:可对角化方阵的特征分解 ,以及任意实矩阵的奇异值分解 。
定义中出现的符号与术语:
- :待分解矩阵; 为行数, 为列数, 为秩。
- :由特征向量组成的方阵;:特征值对角阵。
- 、:正交矩阵,满足 、。
- :对角矩阵,对角元 ,称为奇异值,其余元素为零。
- 、:分别为 、 的第 列,称为左、右奇异向量。
- :Frobenius 范数,;:谱范数,。
- :Moore–Penrose 伪逆;:条件数。
为什么重要
- 低秩近似是压缩与去噪的基本手段。任意矩阵的前 个奇异三元组给出秩不超过 的最优平方误差近似,该结论由 Eckart–Young 定理保证;没有它,「保留多少主成分」「压缩率与误差如何取舍」只能凭实验试错。
- 最小二乘与线性系统的可解性依赖 SVD。当 奇异或病态时,正规方程无法稳定求解,而伪逆通过丢弃零奇异值给出最小范数最小二乘解。
- 条件数决定数值稳定性与优化收敛速度。 同时出现在线性系统误差放大界与梯度下降在二次型上的迭代次数界中,是连接数值线性代数与 优化算法-梯度下降与Adam 的量。
- 它是 PCA与降维 的主要计算路径:对中心化数据矩阵做 SVD,右奇异向量即主成分方向,奇异值平方正比于各主成分方差。
- 它是 LoRA与QLoRA 的参数化依据:低秩适配把权重增量写成两个瘦矩阵之积,参数量从 降为 ,其表达能力上界由秩 决定。
- 在全书中的位置:前置为 线性代数 中的正交基、特征值与秩;后续为 PCA、推荐系统中的矩阵分解、LoRA 与数值稳定性分析。
原理与推导
1. 特征分解回顾与可对角化条件
对方阵 ,若存在非零向量 与标量 使
则称 为特征值, 为对应的特征向量。把 个特征向量按列排成 ,特征值排成对角阵 ,则 。若 可逆,
可对角化的充要条件是 有 个线性无关的特征向量,等价于每个特征值的代数重数等于几何重数 。特征值互异是充分条件而非必要条件。反例: 只有一个线性无关的特征向量,不可对角化;旋转矩阵 的特征值为 ,在实数域内不可对角化。
2. 对称矩阵的正交对角化
若 ,则存在正交矩阵 使
且所有特征值为实数。证明思路:对实矩阵使用 Schur 分解 ,其中 为上三角;由 对称得 也对称,上三角且对称的矩阵只能是对角阵,故 。对称性还保证不同特征值的特征向量正交:若 、,则
当 时必有 ;重特征值对应的子空间内部再用 Gram–Schmidt 正交化即可。
对称矩阵的另一性质是半正定性可用特征值判定:,故 当且仅当全部 。这一条在后面构造 SVD 时直接使用。
3. 奇异值分解的构造
设 。矩阵 对称且半正定,因为对任意 ,
由谱定理,存在正交矩阵 与 使
定义 ,按降序排列,故 。设秩为 ,则 ,。
对 定义
先验证这些向量单位正交。对 ,
最后一步用了 与 :当 时比值为 ,当 时分子为零。对 ,由 得 。
将 扩充为 的标准正交基,得到正交矩阵 ;令 满足 (),其余为零。由构造,对每个 都有
当 时这是 的定义式,当 时两边均为零向量。写成矩阵形式 ,右乘 并利用 ,得
同时 ,说明左奇异向量是 的特征向量,非零特征值同为 。 时 多出的零特征值不产生新的奇异值,结论不变。
由构造可直接读出:,非零奇异值个数等于秩; 的零空间由 张成;列空间由 张成。
4. 几何解释
设 且 ,写 。正交变换保持范数,故 ,且
因此单位球在 下的像是椭球,第 个半轴长度为 ,方向为 ; 的方向被压扁到原点。分解 的作用顺序为: 在输入空间做正交变换, 沿坐标轴做非负缩放并把 维坐标映射到 维, 在输出空间做正交变换。
5. 紧奇异值分解与截断奇异值分解
若只保留非零奇异值,写 ,令 、、,则
这称为紧奇异值分解,存储量为 而非 。若进一步只保留前 项,
称为秩 截断奇异值分解。 的秩不超过 ,存储量为 。
6. Eckart–Young 定理
Eckart–Young 定理:设 的奇异值降序为 ,,则对任意满足 的 ,有
即截断 SVD 在 Frobenius 范数与谱范数下都是最优秩 近似。证明分两步。
上界由构造给出:
因为 与 各自正交,交叉项 。谱范数情形由 得到,因为最大奇异值就是系数最大值。
下界(Frobenius)利用 von Neumann 迹不等式:对同尺寸矩阵,,奇异值降序排列并补零。于是
因为 ,当 时 ,故右端不小于 。下界(谱范数)用零空间维数:,与 的交集维数至少为 ;取其中单位向量 ,则 ,且
故 。
7. 伪逆与最小二乘解
对 ,定义
满足四条 Moore–Penrose 条件 、、、,可由 SVD 逐项验证。
考虑最小二乘问题 。目标函数展开为
对 求梯度并令其为零,得正规方程
当 列满秩时 正定,唯一解为 ;用紧 SVD ( 取前 列, 为 )可写为 。当 秩亏时,正规方程有无穷多解,通解为某个特解加上 中的任意向量;伪逆给出其中欧氏范数最小者:
验证: 是 在列空间上的正交投影,残差与列空间正交,故残差平方和最小;而 只含 方向的分量,与零空间正交,故在所有最小二乘解中范数最小。
8. 条件数与数值稳定性
对可逆方阵,2-范数条件数定义为
设 ,右端扰动 引起解扰动 。由 与 得
该界是最坏情形估计: 越大,相对误差可能被放大越多。 对应正交矩阵,此时不放大误差; 时 ,矩阵奇异。
用正规方程求解会平方条件数:
因此在浮点运算中显式构造 会损失约一半有效位数。例如 Hilbert 矩阵的条件数约为 ,其 Gram 矩阵条件数约为 。稳定做法是直接对 做 QR 或 SVD,而不形成正规方程。
9. PCA 与 SVD 的关系
设中心化数据矩阵 ,每行是一个样本,列均值为零。样本协方差矩阵为
对 做紧 SVD:。代入得
即 的列是 的特征向量,特征值为 。主成分得分矩阵为 ,第 个主成分的样本方差为 ,前 个主成分解释的方差比例为
由 Eckart–Young 定理,保留前 个主成分是对中心化数据的最优秩 平方误差逼近,重构误差为 。因此 PCA 不需要显式构造 的协方差矩阵再做特征分解;当 时对 做 SVD 的计算代价更低。详见 PCA与降维。
10. LoRA 的低秩分解思想
全量微调把权重从 更新为 。LoRA 假设 可由低秩矩阵表示:
其中 冻结, 为输出维数、 为输入维数,、 可训练, 为缩放系数。可训练参数量为 ,全量为 ,比值约为 。初始时取 为随机高斯、,使 ,训练从原始模型行为开始。
SVD 给出这一参数化的两条依据。第一,,故 LoRA 只能表达秩不超过 的增量;若真实 的奇异值快速衰减,则大部分能量集中在前 个方向。第二,由 Eckart–Young 定理,给定任意目标增量 ,其最优秩 近似就是截断 SVD,残差为 ;因此低秩参数化覆盖了该秩约束下的最优解, 与 的列空间、行空间可以分别初始化为对应的奇异向量。量化版本将该低秩分支与 4-bit 基座权重结合,见 LoRA与QLoRA。
关键直觉
机制性直觉
任意矩阵乘法可分解为三步:先在输入空间用 换到一组正交坐标,再在每组坐标上乘以非负系数 并映射到输出空间,最后用 旋转到输出坐标。 是单位球像椭球的半轴长度,截断 SVD 就是丢弃最短的若干半轴;由 Eckart–Young 定理,这样丢弃在平方误差意义下最优。上述表述与第 3、4、6 节的公式对应。
例子与代码
手算: 矩阵的完整 SVD
取 。先算
特征多项式为 ,解得 、,故
对应单位特征向量为 、,二者正交。计算
,单位性由 验证。于是
秩 1 近似为 ,因为 。其 Frobenius 误差为 ,与定理一致。
代码:SVD 的数值核对
以下代码在 NumPy 2.x 下运行,numpy.linalg.svd 返回 (U, s, Vt),其中 s 按降序排列,Vt 已转置。
import numpy as np
A = np.array([[3.0, 0.0], [4.0, 5.0]])
U, s, Vt = np.linalg.svd(A, full_matrices=False)
print("U=\n", np.round(U, 4))
print("s=", np.round(s, 4), " sqrt eigenvalues:", np.round(np.sqrt(np.linalg.eigvalsh(A.T @ A)), 4))
print("Vt=\n", np.round(Vt, 4))
print("recon err:", np.linalg.norm(A - (U * s) @ Vt))
A1 = (U[:, :1] * s[:1]) @ Vt[:1]
print("rank-1 err:", np.linalg.norm(A - A1), " sigma_2:", s[1])
输出:
U=
[[-0.3162 -0.9487]
[-0.9487 0.3162]]
s= [6.7082 2.2361] sqrt eigenvalues: [2.2361 6.7082]
Vt=
[[-0.7071 -0.7071]
[-0.7071 0.7071]]
recon err: 1.888225156919294e-15
rank-1 err: 2.23606797749979 sigma_2: 2.2360679774997894
注意 的两列与手算结果都相差一个负号, 的两行也相差负号:把 同时替换为 不改变 ,故 SVD 在符号与重奇异值子空间的正交基选择上不唯一。np.sqrt(np.linalg.eigvalsh(A.T @ A)) 的返回顺序是升序(eigvalsh 的约定),因此与 s 的顺序相反;np.linalg.svd 保证降序。
代码:图像低秩压缩与误差随秩的变化
import numpy as np
n = 256
yy, xx = np.mgrid[0:n, 0:n] / (n - 1)
rng = np.random.default_rng(7)
# 结构项:低频渐变、矩形、圆、细线
img = 60 + 90 * xx + 25 * np.sin(3 * np.pi * yy)
img[40:90, 30:200] = 220
img[120:220, 150:230] = 25
img[(xx - 0.35) ** 2 + (yy - 0.72) ** 2 < 0.02] = 210
img[:, 100:102] = 250
img[180:200, 20:120] = 180
# 高频纹理与噪声:让奇异值衰减变慢,误差曲线才有区分度
img = img + 18 * np.sin(40 * np.pi * xx) * np.cos(36 * np.pi * yy)
img = img + rng.normal(0, 6, size=img.shape)
img = np.clip(img, 0, 255)
# 若使用真实图像,可改为:
# from PIL import Image
# img = np.asarray(Image.open("photo.png").convert("L"), dtype=float)
U, s, Vt = np.linalg.svd(img, full_matrices=False)
energy = np.cumsum(s ** 2) / np.sum(s ** 2)
print("shape:", img.shape, " top sigma:", np.round(s[:5], 1))
print(" k relerr energy PSNR")
for k in [1, 2, 5, 10, 20, 40, 80, 128, 192]:
Ak = (U[:, :k] * s[:k]) @ Vt[:k] # 截断重构:只保留前 k 个奇异三元组
rmse = np.sqrt(np.mean((img - Ak) ** 2))
rel = np.linalg.norm(img - Ak) / np.linalg.norm(img)
print(f"{k:4d} {rel:.4f} {energy[k - 1]:.5f} {20 * np.log10(255.0 / rmse):6.2f}")
A_full = (U * s) @ Vt
print("full-rank error:", np.abs(img - A_full).max())
print("params kept at k=20:", 20 * (256 + 256 + 1), "of", 256 * 256)
输出:
shape: (256, 256) top sigma: [32908.1 8266.5 4643.1 2480.3 2305. ]
k relerr energy PSNR
1 0.3036 0.90782 15.88
2 0.1868 0.96510 20.10
5 0.0849 0.99278 26.95
10 0.0522 0.99727 31.17
20 0.0433 0.99812 32.80
40 0.0362 0.99869 34.36
80 0.0256 0.99934 37.35
128 0.0154 0.99976 41.76
192 0.0053 0.99997 50.97
full-rank error: 6.423306331271306e-12
params kept at k=20: 10260 of 65536
各部分的作用与删除后的后果:
- 图像由低频结构、边缘与高频纹理叠加而成。若只保留低频渐变与矩形,奇异值衰减极快, 时误差已接近零,无法观察误差随秩的连续变化;加入噪声后,噪声的奇异值近似形成平坦的尾部,使高秩区仍有残差。
np.linalg.svd(img, full_matrices=False)返回紧 SVD:U为 ,s为长度 ,Vt为 。若取full_matrices=True,方阵情形结果相同,但对 会返回更大的矩阵,存储与计算都增加。- 截断重构
(U[:, :k] * s[:k]) @ Vt[:k]先按列缩放再乘,等价于 ,但只做两次矩阵乘法,复杂度 ,避免逐项累加。 relerr是 Frobenius 相对误差,等于 ;energy是前 个奇异值平方和占总平方和的比例,等于 。 时能量比例为 ,看起来接近 ,但相对误差仍为 ,因为误差是残差能量的平方根。这一区别是常见误读来源。PSNR用于把均方误差换算为分贝:。 时为 dB, 时为 dB,增加 的收益逐步减小。- 满秩重构误差 来自浮点舍入,说明分解与重构在数值上互逆;参数计数 约为 的 。
代码:伪逆、秩亏与条件数
import numpy as np
H = np.array([[1.0 / (i + j + 1) for j in range(4)] for i in range(4)])
print("cond(H)=", f"{np.linalg.cond(H):.3e}", " cond(H^T H)=", f"{np.linalg.cond(H.T @ H):.3e}")
x_true = np.ones(4)
b = H @ x_true
x_solve = np.linalg.solve(H, b)
x_pert = np.linalg.solve(H, b + np.array([1e-8, 0.0, 0.0, 0.0]))
print("err clean:", f"{np.linalg.norm(x_solve - x_true):.2e}",
" err perturbed:", f"{np.linalg.norm(x_pert - x_true):.2e}")
C = np.array([[1.0, 2.0], [2.0, 4.0]])
d = np.array([3.0, 6.0])
print("rank:", np.linalg.matrix_rank(C), " pinv:", np.linalg.pinv(C) @ d,
" lstsq:", np.linalg.lstsq(C, d, rcond=None)[0])
try:
np.linalg.solve(C, d)
except np.linalg.LinAlgError as e:
print("solve error:", e)
输出:
cond(H)= 1.551e+04 cond(H^T H)= 2.407e+08
err clean: 6.73e-14 err perturbed: 3.03e-06
rank: 1 pinv: [0.6 1.2] lstsq: [0.6 1.2]
solve error: Singular matrix
- 与 一致,验证第 8 节的平方关系。
- 右端仅改动 ,解的误差从 增至 ,放大倍数远大于 ,与 界的方向一致;该界是最坏情形,实际放大倍数取决于扰动方向。
- 的秩为 ,
solve抛出奇异矩阵异常;pinv与lstsq都返回 ,即满足 的最小范数解,验证第 7 节的结论。
易错点
常见错误
- 混用 与 的特征向量:前者的特征向量构成 ,后者构成 ,二者维数分别为 与 ,不能互换。
- 把奇异值写成 而非 ,或忘记取非负。 的特征值非负,但浮点计算可能给出 量级的负值,取平方根前应截断为零。
- 认为 SVD 唯一。 同时变号不改变 ;重奇异值对应的子空间内可任意正交旋转。数值库返回的符号与手算常相反,比较时应比较 、 或重构结果。
- 认为所有方阵都可对角化。缺陷矩阵与实旋转矩阵是反例;对称矩阵才保证正交对角化,一般矩阵需要用 SVD 或 Jordan 标准形。
- 把截断误差写成 。Frobenius 范数下误差为 , 只是谱范数下的误差;当奇异值衰减缓慢时,前者可显著大于后者。
- 做 PCA 前不中心化。未中心化时第一主成分指向样本均值方向,方差解释比例与后续重构都失去意义。
关联笔记
- 前置:线性代数 —— 正交基、秩、特征值与二次型是本篇全部推导的工具。
- 后续:PCA与降维 —— 协方差矩阵的 SVD 给出主成分与方差解释比例。
- 后续:LoRA与QLoRA —— 低秩增量 的秩约束与参数量推导。
- 对照:优化算法-梯度下降与Adam —— 条件数同时决定线性系统误差放大与二次型上的收敛速度。
- 对照:概率与统计 —— 协方差矩阵的半正定性、白化与主成分的统计解释。
达标检测
- [ ] 能写出可对角化的充要条件,并给出一个不可对角化的 反例。
- [ ] 能独立完成从 的特征分解构造 的全过程,包括 正交性的证明。
- [ ] 能陈述 Eckart–Young 定理的 Frobenius 与谱范数两个版本,并说明下界证明中秩约束与零空间维数如何配合。
- [ ] 能手算 矩阵的奇异值、左右奇异向量与秩 1 近似误差,并与
numpy.linalg.svd的结果对照符号差异。 - [ ] 能解释为什么 ,说明这对正规方程求解的数值后果,并指出把 当作 Frobenius 截断误差为何错误。
- [ ] 能运行图像压缩代码,把 改为 与 ,说明相对误差、能量比例与 PSNR 的变化关系。
参考来源
- Goodfellow et al., Deep Learning, 2016, 第 2 章 —— 对应本篇特征分解、SVD、伪逆、条件数与范数的定义与性质。
- Hastie et al., The Elements of Statistical Learning, 第 14 章 —— 对应无监督学习中的主成分分析、SVD 与低秩近似。
- d2l.ai《动手学深度学习》,线性代数与主成分分析相关章节 —— 对应 SVD 的数值实现、范数与降维例子。
- LoRA 论文, LoRA: Low-Rank Adaptation of Large Language Models, arXiv:2106.09685 —— 对应低秩增量假设、参数量与初始化策略。
- NumPy 官方文档,
numpy.linalg.svd、numpy.linalg.pinv、numpy.linalg.cond—— 对应本篇代码的返回值约定与数值行为。