11-2-范数与条件数
一句话概括
范数(norm)是给向量空间量身定做的一把"尺子",不同的尺子量出不同的长度,也定义出形状不同的单位球:1-范数是菱形、2-范数是圆、-范数是正方形。把尺子装到矩阵上,得到诱导范数 ,几何意义是"矩阵能把向量拉长多少倍"。
条件数(condition number) 是把这把尺子用来衡量"解 有多难"的结果,它给出相对误差放大倍数的最优上界 ,在 2-范数下等于 ——单位圆被 压扁成多扁的椭圆。
本篇还会回答一个几乎所有人都会答错的问题:为什么条件数比行列式更能反映奇异性?
一、定义
1.1 向量范数的三条公理
定义 11.2.1(向量范数 vector norm) 设 是实数域上的向量空间。函数 称为 上的范数,若对任意 与任意标量 满足:
三条公理的含义:
- (N1) 非负性保证"长度"这个概念有意义,且只有零向量的长度为零。
- (N2) 齐次性(absolute homogeneity)保证"长度的缩放"符合直觉:向量拉长 倍,长度也变成 倍。注意右边是 ,所以反向也变长——这是"长度"与"方向"分离的体现。
- (N3) 三角不等式保证"两点之间直线最短",也是所有收敛性论证的基础。
由三公理立即推出的结论(等腰三角形引理):
证明:,移项得 ;交换 即得绝对值形式。
这条引理是"范数是连续函数"的来源,也是后面讨论"矩阵范数最大值能取到"的依据。
1.2 常用向量范数
定义 11.2.2(-范数) 对 ,
定义 11.2.3(-范数 / 最大范数)
-范数是 -范数当 的极限,这也解释了它的名字。
| 范数 | 公式 | 单位球形状 | 对 的值 | 计算代价 |
|---|---|---|---|---|
| 1-范数 | 菱形(对角正方形) | |||
| 2-范数 | 圆(欧氏球) | |||
| -范数 | 正方形(轴对齐) | |||
| -范数 | 介于菱形与正方形之间的超椭圆 | 时 | ||
| -"范数" | 坐标轴并集(不是范数) |
关于
常被写成 0-范数("稀疏度",非零元素个数),但它不满足齐次性:。numpy 也对
ord=0返回"非零个数"而不称其为范数,官方文档明确说明" 的结果严格来说不是数学意义上的范数"。压缩感知里的 最小化正是因为它不是范数才成为 NP 难问题。
三种范数的关系(对 ):
这些不等式说明三种范数在"收敛性"意义下等价:一种范数下的收敛序列在另一种范数下也收敛。但数值大小可以差 甚至 倍——这就是"条件数依赖范数选取"的根源(见 §4.2)。
1.3 矩阵范数与诱导范数
定义 11.2.4(矩阵范数 matrix norm) 函数 称为矩阵范数,若对任意矩阵 与标量 满足公理 (N1)(N2)(N3)(把向量换成矩阵),外加次乘性(submultiplicativity)
定义 11.2.5(诱导范数 / 从属范数 induced norm, operator norm) 给定 上的向量范数 ,定义
两个表达式相等是因为齐次性 (N2) 允许把任意 归一化到单位球上。诱导范数自动满足 (N4),因为
诱导范数还自动满足
说"矩阵范数"时必须说明是哪一个
单独写 是不完整的——诱导范数完全依赖于底层的向量范数。本库约定:下标省略时指 2-范数(这也是
np.linalg.norm(A)与np.linalg.cond(A)的默认行为)。
1.4 三个常见矩阵范数的计算公式
定理(1-范数 = 最大列和)
定理(-范数 = 最大行和)
定理(2-范数 = 最大奇异值)
证明见 §3.2–§3.4。记忆口诀:"1 竖着加(列), 横着加(行),2 取奇异值"。
三个范数的对比:
| 对比项 | |||
|---|---|---|---|
| 公式 | 最大列和(绝对值) | 最大行和(绝对值) | 最大奇异值 |
| 计算代价 | (需 SVD) | ||
| 几何含义 | 单位"菱形"的最大伸缩 | 单位"正方形"的最大伸缩 | 单位圆(球)的最大伸缩 |
| 是否易估计 | 极易(精确) | 极易(精确) | 贵,常用幂迭代估计 |
| 典型用途 | 稀疏矩阵、图论 | 逐行误差界 | 几何、谱分析、统计 |
| numpy 写法 | norm(A, 1) | norm(A, np.inf) | norm(A, 2) 或 norm(A) |
1.5 Frobenius 范数
定义 11.2.6(Frobenius 范数)
其中 , 是奇异值(7-1-SVD的构造与几何意义)。
关键区别:Frobenius 范数不是诱导范数。 判据很简单:若它是某个诱导范数,则必有 ;但
Frobenius 范数满足次乘性 (N4),所以它是一个合法的矩阵范数,只是不从属于任何向量范数。它最大的好处是计算只需 (一次遍历),而 2-范数要 SVD。
| 对比项 | ||
|---|---|---|
| 与奇异值的关系 | 只取最大奇异值 | 取全部奇异值的平方和开根 |
| 是否诱导范数 | 是(从属于向量 2-范数) | 否 |
| 对单位矩阵的值 | ||
| 计算代价 | ||
| 正交不变性 ( 正交) | 是 | 是 |
| 相等的情形 | —— | |
| 与 2-范数的夹逼 | —— | |
| 几何含义 | 最大伸缩倍数 | 所有奇异方向的"总能量" |
1.6 条件数
定义 11.2.7(条件数 condition number) 设 非奇异,
定义 11.2.8(2-范数下的条件数)
证明:(定理 §3.4)。又 的奇异值是 的奇异值的倒数(因为 蕴涵 是 的 SVD),故 。
若把矩阵换成"问题的解",条件数的意义是:
条件数 = 输入相对误差到输出相对误差的最大放大倍数。
二、几何直观
2.1 范数 = 给空间量身定做的一把尺子
"单位球"(unit ball) 的形状把范数的性格暴露无遗。在 里:
- 1-范数:,四个顶点为 与 ,是旋转 的正方形(菱形)。它只关心"沿坐标轴走多远",是曼哈顿出租车的计价方式。
- 2-范数:,是圆。它承认一切方向平等。
- -范数:,是轴对齐的正方形。它只看"最突出的那个分量"。
- -范数:介于菱形与正方形之间的超椭圆(superellipse)。 从 增到 时,图形从"尖"变"方"; 时图形变成凹的(非凸),此时三角不等式失效,所以 不是范数。
统一图像:-范数的单位球是"在 度量下的圆"。三条公理中,(N1) 保证图形包含原点且不退化,(N2) 保证图形关于原点中心对称,(N3) 保证图形是凸的。反过来,任何一个"关于原点中心对称的凸的有界闭集"都可以作为某个范数的单位球——范数与对称凸体是一一对应的。
2.2 诱导范数 = 最大伸缩倍数
这是本篇最重要的几何图像。设 是欧氏范数, 把单位圆(球)映射成一个椭圆(椭球):
由 SVD : 把单位圆旋转/翻转到自身, 沿坐标轴分别拉伸 倍(其中 ), 再旋转一次。结果是一个半轴长为 的椭圆,方向由 的列(左奇异向量)给出。
于是
条件数就是"A 把单位圆压扁成了多扁的椭圆"的度量。 由此立得:
- 圆()⟹ ,最良态。 是正交矩阵的标量倍时取到。
- 椭圆越扁, 越大。
- 退化成一条线段()⟹ ,此时 奇异, 不存在。
2.3 条件数如何放大误差:右端项的方向比大小更重要
把 写成左奇异向量的组合 ,则
扰动 在最短奇异方向 上的分量会被放大 倍;在最长方向 上的分量几乎不放大。 这就是" 大不一定算不准"的几何原因:
- 若 恰好在 方向(椭圆的"胖"方向), 沿 的分量小,误差放大有限。
- 若 恰好在 方向("瘦"方向),一点点扰动就会让解在 方向跑很远。
例子(,可完全手算):,单位圆被拉成半轴为 与 的椭圆,。取 ,则 。
- 扰动 (沿着"胖"方向 ):,相对误差只有 。
- 扰动 (沿着"瘦"方向 ):,相对误差高达 。
两次的 都是 量级,但放大了 1000 倍之后差别巨大。误差放大是有方向性的,条件数给的是"最坏方向"的界。
2.4 行图像:两条直线的夹角
的行图像是两条直线(或超平面)的交点。两条直线越接近平行,交点对扰动越敏感。定量地, 情形有
其中 是两条直线的夹角。几何直觉:几乎平行的两条直线,微小的平移就会让交点沿直线方向跑到很远——这正是病态。
11-1-数值稳定性与LU 里的小主元例子恰好不是这种情况:那两条直线夹角约 ,条件数只有 ,是算法(不选主元)出了问题。把"条件数大"与"算法差"分开,是数值线性代数的第一课。
三、性质与定理
3.1 范数的等价性
定理 11.2.1(有限维空间上范数等价) 设 与 是 上任意两个范数。则存在常数 (只依赖 ),使得对一切 ,
证明思路:先证 关于 连续(用定理 1.1 的等腰三角形引理),再在紧集 上取最小值和最大值——紧集上连续函数必有正的最小值与有限的最大值。
适用条件:这一结论只在有限维成立。无穷维空间(例如连续函数空间)上不同范数可以不等价,这不是本书的讨论范围。
数值意义:收敛性(序列是否收敛)与范数选取无关;但误差的具体数值、条件数的具体倍数与范数选取强相关。、、 可以相差 倍。
3.2 1-范数的计算公式
定理 11.2.2
证明:记 为 的第 列。
上界:
取到等号:设 是使列和最大的列。取 (第 个标准基向量),则 且
正好等于上界。
适用条件: 可以是长方形。该公式只对诱导 1-范数成立;换成 是常见错误(那是"逐元素 1-范数",且不是诱导范数)。
3.3 -范数的计算公式
定理 11.2.3
证明:
上界:对每个分量 ,
取到等号:设 是使行和最大的行。取 的第 个分量为
即 。则 ,且 达到了行和。
适用条件:同样只对诱导 -范数成立。注意 np.linalg.norm(A, np.inf) 与 np.linalg.norm(A, -np.inf) 不同:后者是最小行和,它甚至不满足非负性以外的一些性质,不是范数。
3.4 2-范数 = 最大奇异值
定理 11.2.4 设 ,奇异值为 。则
证明:设 ,。
对称半正定,可正交对角化 ,,,且 (7-1-SVD的构造与几何意义)。令 ,则 ,于是
这正是 Rayleigh 商(6-5-二次型与标准形)的估计。取 ( 对应 的单位特征向量,即 的第一右奇异向量),则 ,等号取到。
适用条件:结论依赖向量用 2-范数。若向量取 1-范数,诱导矩阵范数就是最大列和,与奇异值无关。
推论:由上面的证明还可得到
3.5 Frobenius 范数与 2-范数的夹逼
定理 11.2.5 设 。则
且两个等号可以分别取到。
证明:设奇异值 。则
开根号即得。左等号当 (秩 1 矩阵)时成立;右等号当所有奇异值相等(例如 ,或 是正交矩阵的标量倍)时成立。
适用条件: 是与 无关的秩,不是行数或列数。满秩方阵 时上下界可以差 倍,所以不能用 Frobenius 范数冒充 2-范数,否则条件数的估计会差 倍。
定理 11.2.6(Frobenius 范数不是诱导范数) 不存在 上的向量范数使其诱导范数等于 。
证明:若 是诱导范数,则 。但 ,当 时 。矛盾(注:对任意诱导范数, 的范数恒为 ,见 §4.5)。
3.6 误差放大定理(条件数的核心)
定理 11.2.7(右端项扰动) 设 非奇异,(),并设 精确满足 。则
完整推导:
- 两式相减:。
- 左乘 :,取范数并用诱导范数的性质 :
- 由 得 ,即
- 第 2 步的 乘以第 3 步得到的 的上界:
证毕。
适用条件与最优性:这个界是最优的(不能再改进),因为可以取 正比于 的最小奇异方向对应的左奇异向量 ,并把 取在 方向,使等号逼近。它不要求 对称,也不要求任何正定性。
定理 11.2.8(系数矩阵扰动) 设 精确满足 。则
证明:由 与 相减得
取范数:;两边除以 并乘以 即得。
定理 11.2.9(两者合并,一阶形式) 若 精确满足 ,则忽略二阶小量 后
证明思路:把前两个定理的右端相加。严格写法要用 并额外假设 (保证 仍非奇异);一阶形式在工程上足够用。
这张"误差账本"的读法
这是 11-1-数值稳定性与LU 里 Wilkinson 视角的定量版本。算法(向后误差)与问题(条件数)在这条式子里彻底分家。
3.7 条件数的性质
定理 11.2.10 设 非奇异, 为标量。则
(P1) 。
证明:。
(P2) 尺度不变性:。
证明:(齐次性),,,相乘得 。
(P3) 正交(酉)矩阵:。
证明:, 也是正交矩阵,。
数值意义(非常重要):正交变换不放大误差。 这是 QR 分解比 LU 更稳定的根本原因(4-4-标准正交基与Gram-Schmidt),也是 SVD 被称为"数值上最可靠的分解"的原因——它只用正交变换。
(P4) 对称正定矩阵:。
证明: 对称正定 ⟹ 特征值全为正且等于奇异值(6-4-对称矩阵与正定矩阵),代入 。
(P5) 次乘性:。
证明:,且 给出 ,相乘。
(P6) 正规方程的平方:。
证明: 对称半正定,奇异值为 ,故 。
| 性质 | 公式 | 证明关键 | 数值含义 |
|---|---|---|---|
| 下界 | 是最理想情形 | ||
| 尺度不变 | 齐次性 | 换单位不改变病态程度 | |
| 正交矩阵 | 奇异值全为 1 | 正交变换不放大误差 | |
| 对称正定 | 奇异值 = 特征值 | 可只用特征值判断 | |
| 乘法 | 次乘性 | 分解成多步会累积病态 | |
| 转置不变 | 奇异值相同 | 行/列视角等价 | |
| 正规方程 | 奇异值平方 | 最小二乘别用正规方程 | |
| 逆矩阵 | 互换 | 求逆不改变病态 |
(P6) 的实践后果:若 ,则 —— 双精度 16 位数字全部用光,正规方程彻底失效。所以做最小二乘时应该用 QR( 不变)或 SVD,而不是解 (4-3-最小二乘逼近)。
3.8 为什么条件数比行列式更能反映奇异性
这是本篇要专门纠正的一个误区。先看两个反例。
反例 1( 极小但完全良态) 取 。
小到"看起来矩阵必然奇异",但 是完美良态的:它的单位球被映成同一个球(只是缩放了 倍),。
反例 2( 但极度病态)
的行列式等于 (甚至与 相同),但单位球被压成半轴比 的椭圆,双精度下的解一位有效数字都不剩。
反例 3(Hilbert 矩阵,经典病态) 定义
即 。它对称正定,但 随 指数增长:
| (numpy 双精度实测) | 双精度下损失的有效位数 | 结论 | ||
|---|---|---|---|---|
| 2 | 1 | 良态 | ||
| 3 | 3 | 尚可 | ||
| 4 | 4 | 尚可 | ||
| 5 | 6 | 需要注意 | ||
| 6 | 7 | 需要注意 | ||
| 8 | 10 | 危险 | ||
| 10 | 13 | 很危险 | ||
| 12 | 16 | 双精度下基本失效 | ||
| 13 | 18 | 完全失效 | ||
| 计算本身崩溃(见下) | —— | —— | 连 都算不出来 |
时连条件数都算不出来
用
np.linalg.cond(H)实测, 返回约 、 返回约 ——比 的 还小。这不是矩阵变好了,而是最小奇异值 本身已淹没在 量级的舍入噪声里,SVD 求出的"最小奇异值"是噪声而不是信号。条件数的可信上限约是 。
为什么行列式天生不适合做病态判据?三条理由:
- 没有尺度不变性。 ,乘一个 会把行列式改变 倍。而病态是几何属性(椭圆有多扁),不该受整体缩放影响。相比之下 正好具备这个不变性。
- 依赖 的爆炸。 即便每个方向的伸缩都"温和"(比如每个奇异值都是 或 ), 时 也会变成 量级。 的大小主要由 决定,而不是由奇异性决定。
- 它衡量的是"体积"而不是"扁度"。 是椭圆(椭球)的体积; 才是扁度。一个体积正常但极其扁的椭球(反例 2)恰恰是最危险的。"奇异"的几何含义是"某个方向的伸缩率是 0",而不是"体积是 0"。
正确的判据顺序:
| 判据 | 是否尺度不变 | 是否反映扁度 | 是否需要选阈值 | 推荐度 |
|---|---|---|---|---|
| ? | 否 | 否 | 阈值无意义 | 不推荐 |
数值秩 (matrix_rank) | 是 | 部分 | 需要(基于 ) | 可用 |
| 最小奇异值 | 否 | 否 | 需要 | 需配合尺度 |
条件数 (cond) | 是 | 是 | 否(有无量纲的解读) | 首选 |
| 残差 | —— | —— | 否 | 只反映向后误差 |
3.9 条件数的经验解读
经验法则:双精度有约 位十进制有效数字。若 ,则解 大约损失 位有效数字,剩 位。
| 损失位数 | 双精度下剩余位数 | 解读 | |
|---|---|---|---|
| 正交矩阵,完美 | |||
| 完全没问题 | |||
| 完全没问题 | |||
| 良好 | |||
| 可用,需注意 | |||
| 危险 | |||
| 双精度极限,结果基本无意义 | |||
| —— | —— | 需要更高精度(float128 / 任意精度)或正则化 |
这条经验法则是启发式的,不是定理。严格的保证形如
把 与 一起折算,才得到"损失 位"的说法。
3.10 预条件:把病态问题改造成良态问题
既然误差总是跟着 走,一个自然的想法是:不解 ,而解一个条件数更小的等价问题。
定义 11.2.9(预条件子 preconditioner) 若 满足
- (够接近,使得 ),
- 容易求解( 有简单结构,例如对角、三角、稀疏),
则称 是 的预条件子。把原方程改为
目标是使 。
最朴素的预条件:对角预条件(Jacobi 预条件),取 。它把矩阵"归一化"到对角元为 ,能消除量纲失衡带来的病态,代价几乎为零。对称正定情形还可取 中的不完全 Cholesky 因子等。
几何图像:单位圆被 压成很扁的椭圆;预条件就是先做一个"反向拉伸",把椭圆揉回接近圆,再去解方程。椭圆越接近圆,迭代法收敛越快、直接法的误差越小。
预条件的完整构造(对角、不完全 Cholesky、多重网格)与实际效果见 11-3-迭代方法与预条件。
四、计算方法与步骤
4.1 计算向量范数
np.linalg.norm(x)或np.linalg.norm(x, 2):2-范数。np.linalg.norm(x, 1):1-范数;np.linalg.norm(x, np.inf):-范数。np.linalg.norm(x, 3):任意 -范数。- 不要用
np.linalg.norm(x, 0)求"非零个数"以外的含义——ord=0在 numpy 中是特例。
4.2 计算矩阵范数与条件数
- 先想清楚用哪个范数。
np.linalg.cond(A)与np.linalg.norm(A)默认都是 2-范数(要 SVD,最贵但最有几何意义)。 - 便宜的选择:
np.linalg.cond(A, 1):基于最大/最小列和,。np.linalg.cond(A, np.inf):基于最大/最小行和,。np.linalg.cond(A, 'fro'):Frobenius,不是诱导范数,只作参考。
- 用
cond(A)与cond(A.T)验证 (转置不变);用cond(A.T @ A)验证 (P6) 的平方关系。 - 注意 的可信上限: 时,
cond本身的返回值已经不可信(见 §3.8 的 )。
4.3 直接用 SVD 做更细的诊断
cond 只给一个数。要看清"病在哪",用奇异值谱:
s = np.linalg.svd(A, compute_uv=False)(只要奇异值,不要向量,省一半时间)。s.max()/s.min()就是 。- 画
np.log10(s)的"碎石图":若呈平滑指数衰减(Hilbert 型),说明是"渐进病态";若有一个断崖(gap),说明矩阵数值上低秩,此时求逆毫无意义,应该做截断 SVD 或正则化。 - 用
np.linalg.matrix_rank(A)得到数值秩(阈值 )。
4.4 降低条件数的四类手段
- 行/列平衡(scaling):把每行除以该行的最大绝对值,使所有行量级一致。对量纲混杂的工程矩阵效果显著。
- 换算法:用 QR 代替正规方程( 的坑,见 (P6));用 SVD 做截断(把 的项直接丢弃)。
- 正则化:Tikhonov 正则化解 ,把条件数从 降到 。
- 预条件:构造 ,解 ;或在迭代法中把 用作预条件算子(11-3-迭代方法与预条件)。
4.5 三个"一秒自查"的恒等式(用来验算你的代码对不对)
- (任何诱导范数)。若你的"矩阵范数"对 给出 ,它一定是 Frobenius。
- (任何正交矩阵 )。用
np.linalg.qr生成随机正交矩阵验证。 - (任何 )。若你的实现里乘一个常数后 变了,说明实现有 bug。
五、例题
例题 1:手算三种向量范数、三种矩阵范数与三种条件数
设
第 1 步:向量范数
验证不等式链 : ✓。
第 2 步:矩阵范数
1-范数(最大列和):
-范数(最大行和):
Frobenius 范数:
2-范数:先算
特征值:,即 ,。所以
交叉验证 Frobenius 与 2-范数:
且夹逼不等式 给出 ✓。
第 3 步:条件数
因为 。
(用 比值,最快):
:,所以
:,所以
结果汇总(并用 Python 验证):
| 量 | 手算值 | numpy 验证 |
|---|---|---|
norm(A,1) = 7.0 | ||
norm(A,inf) = 9.0 | ||
norm(A,'fro') = 7.0710678 | ||
norm(A,2) = 6.7082039 | ||
cond(A) = 3.000000000000001 | ||
cond(A,1) = 4.2 | ||
cond(A,inf) = 4.2 |
结论:同一个矩阵, 而 ,相差 40%。这直接印证了易错点"条件数依赖范数选取"。
例题 2:验证误差放大关系与"方向依赖"
设 ,。
第 1 步:基本量
第 2 步:沿"胖"方向扰动
定理给出的界:
实际相对误差 ,远小于界 (只用到界的 )。
第 3 步:沿"瘦"方向扰动
相对 的扰动仍是 ,界仍是 ,而实际误差达到 ——用掉了界的 71%。
第 4 步:结论
| 扰动方向 | 实际 | 定理的界 | 界的利用率 | |
|---|---|---|---|---|
| (胖方向) | ||||
| (瘦方向) |
同样的条件数,同样的扰动大小,误差可以差 1000 倍。 条件数给的是最坏方向的上界;实际误差取决于右端项与扰动的方向。" 大就一定算不准"是错的," 大在某些方向上一定算不准"才是对的。
五之补一、知识点补强:范数的公理、形状与条件数的严格含义
为什么要单独补这一节
§一~§四 给了定义、公式与证明,但有三件事必须再往前推一步,否则你只记住了结论却不知道边界:
1. 公理与形状的对应:为什么"三角不等式"就是"单位球是凸的"?为什么 1/2/ 三种范数取最大值的位置完全不同(顶点 vs 圆上)?
2. Frobenius 与 2-范数差在哪:为什么一个能定义条件数,另一个不能?
3. Hilbert 矩阵为什么必然病态,以及" 度量离奇异有多远"这句 FAQ 里的断言到底成不成立(下面给出严格定理与证明)。
补 2.1 三条公理的几何对偶:范数 中心对称凸体
(1)(N3) 三角不等式 单位球凸。 记单位球 。
若 凸,则三角不等式成立:取任意 ,则 与 都在 内。由凸性,它们的凸组合也在 内:
于是 ,用齐次性即得 。
反过来,若范数满足 (N1)(N2)(N3),则 是凸的(对 内任意两点与任意 ,)。
(2)三公理各管一件事,拼起来就是"范数与中心对称凸体一一对应":
| 公理 | 对单位球 的几何要求 |
|---|---|
| (N1) 非负性 + 正定 | 含原点、有界、不退化(不含整条射线) |
| (N2) 齐次性() | 关于原点中心对称(注意是 ,所以 与 同长度) |
| (N3) 三角不等式 | 是凸的 |
反过来:任给一个"含原点、有界、中心对称的凸闭集",定义
它就是范数(这叫 Minkowski 泛函)。"设计一个范数"与"画一个中心对称的凸体"是同一件事——这也解释了为什么 的""不是范数:它的"单位球"是凹的(例如 时星形区域向内凹陷),凸性失效。
(3)三种范数的单位球对照()。
| 范数 | 单位球 | 顶点/边界特征 | 面积 | 沿对角方向 的半径(用 2-范数度量) |
|---|---|---|---|---|
| 菱形(旋转 的正方形) | 4 个顶点 | (最小) | ||
| 圆 | 无顶点,处处光滑 | |||
| 轴对齐正方形 | 4 个顶点 | (最大) |
三种单位球互相嵌套:
嵌套关系的"缝"正好由 与 之类的不等式填上,这就是 §1.2 那串不等式链的几何来源。沿着坐标轴三种范数给出的长度都是 (因为三个球都过 );沿着对角方向它们相差最大()。
这张表解释了一个高频疑问
"为什么同一个向量有三个长度?"——它们量的是不同几何体的刻度。1-范数的球"尖"在坐标轴上(只关心坐标轴方向走了多远,是曼哈顿的距离),-范数的球"尖"在对角方向(只关心最大的那个分量,是"最坏分量"的度量)。选范数 = 选“哪种误差最要紧”。
补 2.2 诱导范数三个公式的"来源":极值在哪个点上取到
为什么 是列和、 是行和、而 必须是奇异值?答案在单位球的顶点上。
诱导范数的定义是"在单位球上求最大值":。
- 1-范数:单位球是菱形,顶点在 。函数 是凸函数,凸函数在多面体上的最大值必在顶点取到,所以只需检查 个标准基向量:
- -范数:单位球是轴对齐正方体,顶点是 (共 个)。同理最大值在顶点取到,而且最优的符号是"跟着第 行的符号走":取 就得到
- 2-范数:单位球是光滑的圆(球面),一个顶点都没有,所以"检查有限个候选点"的办法失效,必须用谱信息(Rayleigh 商 / SVD):
一个漂亮的对称性:把 转置,最大列和与最大行和互换,
(而行/列视角的互换正是 3-5-四大子空间的维数 里"行空间与列空间同维"的数值版本。)2-范数则完全对称:。
| 范数 | 取到最大值的 | 为什么 | 计算代价 |
|---|---|---|---|
| 某个标准基向量 (最大列) | 菱形球的顶点 | ||
| 符号向量 (最大行) | 正方体球的顶点 | ||
| 第一右奇异向量 | 球面上无顶点,只能求谱 |
补 2.3 Frobenius 与 2-范数:一个量"最长半轴",一个量"总能量"
设 的奇异值为 , 把单位球映成半轴为 的椭球。
几何上的关键区别: 只看椭球"最长的那个方向", 看的是全部方向的"总能量"。 于是:
| 情形 | 二者的关系 | 例子 |
|---|---|---|
| 秩 1(椭球退化成线段) | ||
| 所有奇异值相等(椭球是球) | ,差距最大 | , 时差 倍 |
| 一般情形 | —— |
还有一个完全不同的解释:把 按行(或按列)拉直成一个 维向量,它就是这个向量的欧氏长度:
这正是 1-3-矩阵入门 里"矩阵可以看成一堆数排成的表"这条直觉的价值所在——Frobenius 范数把矩阵当成一个长向量来量,所以它 就能算;2-范数把矩阵当成一个线性算子来量,所以它需要 SVD。
为什么不要用 当条件数
有三个毛病:
1. 它不是诱导范数(定理 11.2.6),所以 而不是 ," 且 取到"这条最重要的直觉被破坏;
2. 它对秩敏感: 含 ,而 与"扁度"无关;
3. 它与"误差放大倍数"没有定理级的对应关系(定理 11.2.7 要求诱导范数)。
报告条件数时必须写清范数;要判"病态程度"请用 (
np.linalg.cond默认)或 ( 更便宜)。
补 2.4 条件数误差界的三种推导视角
视角 A(代数,定理 11.2.7): ⟹ 用 与 两头夹,得 。
视角 B(一阶微分,最容易被工程师接受):设 与 同时被扰动,记 。用 Neumann 级数展开
只要 ,忽略二阶小量就得到
取范数并用 :
这就是定理 11.2.9 的一阶形式,也是工程上"相对误差 = 条件数 × 相对输入误差"这条口诀的确切来源。
视角 C(几何): = 椭球最长半轴 / 最短半轴。扰动在最短半轴方向被放大最多。
一个必须注意的细节:界里两侧都是相对量。如果写成绝对量 ,那它对"把 乘 "完全不敏感,也就无法回答"算得准不准"。条件数之所以必须是相对量的比值,是因为"病态"是形状(扁不扁)的属性,而不是大小(体积)的属性——这与 §3.8 里" 不适合做判据"是同一个道理的两面。
补 2.5 Hilbert 矩阵为什么必然病态(它是单项式基的 Gram 矩阵)
有一个非常本质的身份:它是 上单项式基 的 Gram 矩阵。 因为
(幂函数积分公式,一步就能验证。)于是三件事立刻清楚:
- 对称正定:Gram 矩阵都对称;且单项式 在 上线性无关,所以对 ,
(这给了" 正定"一个不用算顺序主子式的证明。)
- 病态 这组基"几乎线性相关": 对称正定,故奇异值等于特征值,最小特征值有 Rayleigh 商刻画
很小,就意味着存在一个系数不全为零、但在 上 范数极小的高次多项式——用几何语言说,就是" 方向的基向量几乎落在前 个基向量张成的子空间里"。这并不神秘: 总可以被低次多项式在 上相当好地逼近,所以高次单项式与低次单项式高度相关。
- 条件数指数增长的根源:(题目 4 实测)。每加一阶,最小奇异值就掉约 倍——这是"单项式基在固定区间上越来越冗余"的必然结果。一个经典定量结论是 随 按 的规律增长(本库只要求记住"指数增长",具体常数以授课教材为准)。
一个可以直接手算的数量感受:由题目 4,、,所以相对大小只有 的扰动就能把 变成奇异矩阵(这是题目 7 定理的直接推论)。而对 ,这个阈值掉到 。
实践后果(非常常见):用单项式基 做多项式最小二乘拟合,其正规方程矩阵就是 型( 在 上时正是 )。所以生产代码从不用单项式基,而用正交多项式(Legendre、Chebyshev)或 QR/SVD(4-3-最小二乘逼近、7-2-图像压缩与低秩逼近)。"换成正交基"就是把 Gram 矩阵变成对角矩阵(进而变成单位矩阵的标量倍), 一步降到 。
补 2.6 " 度量离奇异有多远"的严格版本
§3.8 的 FAQ 里有一句话:" 奇异,且 连续地度量'离奇异有多远'。" 现在把它变成定理(证明见题目 8):
读法:一个相对大小为 的扰动就足以把 变成奇异矩阵。 于是" 大"有了一个不依赖任何算法的、纯粹的矩阵含义——它是到奇异矩阵集合的相对距离的倒数。
| (到奇异的相对距离) | 读法 | ||
|---|---|---|---|
| 要改变 才能变奇异 | |||
| 一个机器精度的扰动就够了 | |||
| 的扰动 | |||
| 亿分之一 | |||
| 比机器精度还小,等于已经奇异 |
这就是"为什么用 而不是 "的最终答案
三条理由(§3.8)加上这条定理,构成完整逻辑链:
1. 是尺度不变的(,由 (P2)), 不是;
2. 是纯几何量(椭球的扁度),与维数 无关, 随 指数爆炸;
3. 有精确的操作含义("多大的扰动能让它奇异"),而 没有任何这样的含义。
顺带一提: 与 的结合 只在所有 都接近时才有意义,而"病态"恰恰意味着 相差极大。
五之补二、新增例题(六道)
题目 3(手算数字题):手算一个 矩阵的四种条件数
设对称三对角矩阵
手算 , 及其三个范数,然后求出 四个条件数,并解释它们的差别有多大、为什么。
第 1 步: 的四个范数(最大列和、最大行和、Frobenius、最大奇异值)
列和(每列绝对值之和):
行和与列和相同( 对称),所以
Frobenius:
2-范数需要 的最大特征值。因为 对称,,而 的特征值是 的特征值的平方。先求 的特征值(三对角 Toeplitz 矩阵的标准结果):
(验证: ✓, ✓。)
因为 对称正定(三个特征值全正),奇异值 特征值:
顺带发现了一个漂亮的巧合:这个矩阵上 三者相等,但 不同。巧合不代表等价——它们量的是完全不同的几何量(表格见下),换一个矩阵立刻分开。
第 2 步:(用伴随矩阵手算)
,
(伴随矩阵是代数余子式矩阵的转置,此处 对称,转置后形态不变,可用 的第一行验证: ✓, ✓, ✓。)
的行和(绝对值):
(最后一步用了 。)
第 3 步:四个条件数
第 4 步:结果汇总与解释
| 量 | 手算值(精确) | 数值 | numpy 验证 |
|---|---|---|---|
norm(A,1) = 4.0 | |||
norm(A,inf) = 4.0 | |||
norm(A,'fro') = 4.0 | |||
norm(A,2) = 3.4142136 | |||
cond(A,1) = 8.0 | |||
cond(A,inf) = 8.0 | |||
cond(A) = 5.8284271 | |||
cond(A,'fro') = 7.2111 | |||
det(A) = 4.0 |
三个读数:
- 而 ,相差 ; 又是第三个值。 同一个矩阵、同一个"病态程度",四个范数给出四个数——报告条件数必须写清范数。
- 差距的上界是 倍(§3.1):这里 ✓。
- 虽然在数值上"看起来正常",但它不是诱导范数(),不要用它做判据。
题目 4(手算数字题):Hilbert 矩阵 的条件数(精确有理数)与 的列表
(1) 用精确分数手算 的 、、 与 。
(2) 给出 时 的数值表,并分析增长规律。
(3) 回答:" 的 只有 ,而 的 有 ,是不是说明 比 病态 3000 倍?"
第 1 步: 的原矩阵与 -范数(精确分数)
行和的绝对值(元素全正,直接相加):
第 2 步:(整数矩阵!)
的逆矩阵元素全是整数,这一事实本身就很值得注意(一般矩阵的逆不会有这么"干净"的结构):
验证(用第一行乘 的三列):
(用同样的方法验证第 2、3 行:可得 与 。)
第 3 步:(精确值)
的行和:
这是一个完全用分数手算出来的条件数,精确值 ——没有舍入误差,可以当作"标准答案"来检查任何程序。
第 4 步: 与
行列式也有漂亮的精确值:
(可以用 验证:。)
需要特征值。 的特征多项式(用 、全体二阶主子式之和、 三个不变量)是
其中 ,三个二阶主子式之和为
这个三次方程的根是无理数(不能用简单分数写出来),数值解为
(验证:和 ✓,积 ✓。)
对称正定,奇异值即特征值,于是
注意 与 相差 ,而 ✓。
第 5 步: 的完整列表(numpy 实测,双精度)
| (到奇异的相对距离) | ||||||
|---|---|---|---|---|---|---|
| 3 | ||||||
| 4 | ||||||
| 5 | ||||||
| 6 | ||||||
| 7 | ||||||
| 8 |
两条规律:
- 每增加一阶大约乘 倍(),呈指数增长:。这是 Hilbert 矩阵"经典病态"的定量含义。
- (对称导致),且都比 大 倍——再次印证"条件数依赖范数"。
第 6 步: 与 的 对比说明了什么
的 是 , 的是 ,比值是
但 的比值只有
差了 倍!原因是 有 个因子( 比 多 3 个因子),每个因子都可能很小, 的下降主要来自"因子个数",而不是"扁度";而 只关心两个极端。" 小 倍 病态 倍"是错的;正确的读法是 根本不该用来量病态。 想做定量比较,用 那一列( 是 , 是 )。
题目 5(手算数字题):误差界的"紧性"——什么时候 的上界刚好被取满
设 。
(1) 手算 、奇异向量、单位球的像。
(2) 取 (沿最大奇异方向),(沿最小奇异方向),手算两侧相对误差并验证界的利用率是 。
(3) 取 (沿最小奇异方向),(沿最大奇异方向),重算利用率,并解释结果。
(4) 由 (2)(3) 总结:什么时候" 大"才真的意味着"算不准"。
第 1 步:基本量
对称,奇异向量就是标准基:(对应 ,椭球的长轴)、(对应 ,短轴)。单位圆被映成半轴 与 的椭圆,非常扁(扁度 )。。
第 2 步: 用满界的扰动("最坏情形")
取 ,则
取扰动 (沿最短奇异方向):
定理的界:
界的利用率 ——等号取到,界是紧的。
为什么能取满? 因为把上面两式相除:
两个因子同时取到极值 界的利用率 。
第 3 步:两个方向互换("最好情形")
取 (沿最短奇异方向),则
取 (沿最长奇异方向):
界: ,而实际相对误差只有 ——利用率 (十万分之一)。
同一个矩阵、同样量级的扰动,误差相差 倍。
第 4 步:结论表
| 情形 | 的方向 | 的方向 | 输入相对误差 | 输出相对误差 | 界的利用率 |
|---|---|---|---|---|---|
| (2) 最坏 | 最长奇异方向 | 最短奇异方向 | |||
| (3) 最好 | 最短奇异方向 | 最长奇异方向 |
正确的说法
" 大 = 这个问题的某个方向上会被放大 倍",不是" 大 = 一定算不准"。
判断实际误差还需要知道 与 在奇异向量基下的分解:
只有当 的能量集中在 (分母小)、 的能量集中在 (分子大)时,比值才逼近 。这条观察在 12-2-协方差矩阵 与 7-3-主成分分析PCA 里直接决定"主成分方向稳不稳"。
题目 6(证明题): 当且仅当 是正交矩阵的标量倍
(1) 证明 (, 正交)。
(2) 证明 的正交不变性:对任意正交 ,。
(3) 证明 与 。
(4) 说明去掉"2-范数"这个条件会怎样(换成 Frobenius 范数)。
第 1 步:(1) 的证明
设 的 SVD 为 ,,( 非奇异)。
充分性:若 ( 正交),则 ,特征值全为 ,故所有奇异值都等于 ,于是
(顺带得到:任意正交矩阵 。)
必要性:设 ,即 ,也就是 。由奇异值的排列 立刻得到所有奇异值都相等:。于是 ,代入 SVD:
正交 正交()。证毕。
第 2 步:(2) 正交不变性
只需注意 的正交不变性:
因为 的奇异值与 的完全相同( 就是一个合法的 SVD, 与 仍正交)。同理
两式相乘即得 。
这条性质的实践意义(非常重要):用正交变换做预处理(QR 分解、Householder、Givens、SVD)不会恶化条件数。 这正是 4-4-标准正交基与Gram-Schmidt 里"QR 比正规方程稳定"与 9-2-Hermitian矩阵与酉矩阵 里"酉变换不改变奇异值"的共同原因。相比之下,用一般的初等变换(消元)会改变条件数——这就是 LU 需要选主元、而 QR 不需要的原因(附录-矩阵分解总览)。
第 3 步:(3) 两条不变性
转置: 是 的 SVD,奇异值集合相同,故
求逆:,奇异值是 ,于是
读法:"求逆不会让问题变得更病态"——但注意这只说明"同样的难度",不说明求逆是安全的(求逆过程本身引入的误差才是 11-1-数值稳定性与LU 里"不要用 inv"的原因)。
第 4 步:换成 Frobenius 范数会怎样(条件为什么不能省)
在 处给出
所以:
| 性质 | ||
|---|---|---|
| (破坏) | ||
| 成立(齐次性) | 成立 | |
| 成立( 正交) | 成立(Frobenius 也正交不变) | |
| 与误差放大定理 11.2.7 对应 | 成立(诱导范数) | 不成立(不是诱导范数) |
| 由奇异值表达 | 的倒数关系(对秩敏感) |
结论: 这条刻画只对诱导范数(确切地说只对 2-范数)成立;Frobenius 条件数在正交矩阵的标量倍上根本取不到 。这就是"说条件数必须说范数"的最硬证据。
题目 7(证明题): 等于"到最近奇异矩阵的相对距离"
设 非奇异。证明
并说明它为什么是" 比 更懂奇异性"的根本原因。
第 1 步:下界(任何能致奇异的扰动都不小于 )
设 奇异,则存在 使
取 2-范数并用诱导范数的基本不等式 :
两边除以 :
于是相对距离
第 2 步:上界(显式构造一个刚好让它奇异的 )
取 SVD ,令 分别是第 个左、右奇异向量(对应最小的 ),构造秩 1 扰动
先验证把它作用在 上会发生什么:
(用了 与 。)因为 , 奇异 ✓。
再算它的范数: 是秩 1 矩阵的标量倍,其唯一非零奇异值为
于是相对距离 ,与第 1 步的下界吻合。
第 3 步:验证(数值)
| (构造值) | 扰动后 | ||
|---|---|---|---|
第三行的 可以手算验证:
扰动后 降到 ——在双精度下就是 ,矩阵真的奇异了。
第 4 步:这条定理的三重意义
- 给"病态"一个不依赖算法的定义: 只由 决定,与你怎么解方程无关。" 大"= "A 离奇异矩阵集合很近",这是一个纯粹的几何陈述。
- 解释为什么 不行: 是体积(),而到奇异的距离只看最小的那个奇异值()与 的比。 的 (体积正常),但 (离奇异只有一个机器精度)。
- 给出数值上的警戒线: 时,双精度下这个矩阵与奇异矩阵无法区分——这就是 §3.8 里 之后 不再可信的根本原因,也是 7-2-图像压缩与低秩逼近 里"数值秩"(截断 SVD)的定义依据: 的方向直接丢掉。
别把这条定理读成" 大就无解"
定理说的是"存在一个相对大小为 的扰动让它奇异",而不是"任何扰动都会"。它给的是最坏情形。实践中的判断顺序仍然是:
1. 算 (
np.linalg.cond);2. 看 与 的方向(题目 5);
3. 看残差与向后误差(11-1-数值稳定性与LU 的诊断流程)。
题目 8(numpy 数值实验):范数、Hilbert 条件数、到奇异的距离与界的紧性
用 numpy 完成六组实验:单位球形状、 的四种范数与条件数、Hilbert 矩阵 的条件数表、 与到奇异的距离、、误差界的紧性与正规方程的条件数平方。要求只用 numpy,输出与下面一致。
第 1 步:代码
import numpy as np
def hilbert(n):
i, j = np.ogrid[1:n + 1, 1:n + 1]
return 1.0 / (i + j - 1)
# ---------- (1) unit balls: radius measured in the 2-norm along the diagonal ----------
print("--- unit ball radius along direction (1,1), measured with the 2-norm ---")
for p in (1, 2, np.inf):
v = np.array([1.0, 1.0]) / np.linalg.norm([1.0, 1.0], ord=p)
print(" p = %-4s point on the unit ball = %s its 2-norm = %.4f"
% (p, np.round(v, 4), np.linalg.norm(v, 2)))
print(" => diamond (0.7071) < circle (1.0) < square (1.4142)")
# ---------- (2) the 3x3 hand example ----------
A = np.array([[2.0, 1.0, 0.0],
[1.0, 2.0, 1.0],
[0.0, 1.0, 2.0]])
Ainv = np.linalg.inv(A)
print("\n--- 3x3 example ---")
print("A =\n", A)
print("A^{-1} =\n", Ainv, " (exact: 1/4 * [[3,-2,1],[-2,4,-2],[1,-2,3]])")
print("allclose to exact inverse:", np.allclose(Ainv, np.array([[3, -2, 1], [-2, 4, -2], [1, -2, 3]]) / 4))
print("row sums of A =", np.abs(A).sum(axis=1), " col sums =", np.abs(A).sum(axis=0))
print("row sums of A^-1 =", np.abs(Ainv).sum(axis=1), " col sums =", np.abs(Ainv).sum(axis=0))
print("||A||_1 = %.4f ||A||_inf = %.4f ||A||_F = %.4f ||A||_2 = %.4f"
% (np.linalg.norm(A, 1), np.linalg.norm(A, np.inf), np.linalg.norm(A, 'fro'), np.linalg.norm(A, 2)))
s = np.linalg.svd(A, compute_uv=False)
print("singular values =", s, " 2+sqrt(2) = %.4f 2-sqrt(2) = %.4f" % (2 + np.sqrt(2), 2 - np.sqrt(2)))
print("det A = %.4f (exact 4)" % np.linalg.det(A))
print("kappa_1 = %.4f kappa_inf = %.4f kappa_2 = %.4f kappa_F = %.4f"
% (np.linalg.cond(A, 1), np.linalg.cond(A, np.inf), np.linalg.cond(A, 2), np.linalg.cond(A, 'fro')))
print("eigenvalues of A:", np.linalg.eigvalsh(A), " (exact 2-sqrt(2), 2, 2+sqrt(2))")
# ---------- (3) Hilbert matrix, n = 3..8 ----------
print("\n--- Hilbert matrix H_n: n = 3..8 ---")
print("%3s %12s %12s %12s %13s %12s %12s" %
("n", "kappa_1", "kappa_2", "kappa_inf", "det", "sigma_min", "1/kappa_2"))
for n in range(3, 9):
H = hilbert(n)
sv = np.linalg.svd(H, compute_uv=False)
print("%3d %12.4e %12.4e %12.4e %13.4e %12.4e %12.4e"
% (n, np.linalg.cond(H, 1), np.linalg.cond(H, 2), np.linalg.cond(H, np.inf),
np.linalg.det(H), sv.min(), 1.0 / np.linalg.cond(H, 2)))
H3 = hilbert(3)
H3inv_exact = np.array([[9., -36., 30.], [-36., 192., -180.], [30., -180., 180.]])
print("\nH_3^{-1} (numpy) =\n", np.linalg.inv(H3))
print("H_3^{-1} equals the exact integer matrix:", np.allclose(np.linalg.inv(H3), H3inv_exact))
print("row sums of H_3^{-1} =", np.abs(H3inv_exact).sum(axis=1))
print("||H_3||_inf = %.6f (exact 11/6 = %.6f) ||H_3^{-1}||_inf = %.4f"
% (np.linalg.norm(H3, np.inf), 11 / 6, np.linalg.norm(H3inv_exact, np.inf)))
print("kappa_inf(H_3) = %.4f (exact 11/6*408 = %.4f) kappa_1(H_3) = %.4f"
% (np.linalg.cond(H3, np.inf), 11 / 6 * 408, np.linalg.cond(H3, 1)))
ev = np.linalg.eigvalsh(H3)
print("eigenvalues of H_3 =", ev, " -> kappa_2 = %.4f" % (ev.max() / ev.min()))
print("det H_3 = %.6e (exact 1/2160 = %.6e)" % (np.linalg.det(H3), 1 / 2160))
# ---------- (4) 1/kappa_2 is the relative distance to the nearest singular matrix ----------
print("\n--- 1/kappa_2 = min ||dA||_2/||A||_2 over singular A+dA ---")
for name, M in (("H_3", hilbert(3)), ("H_6", hilbert(6)), ("3x3 example", A)):
U, S, Vt = np.linalg.svd(M)
dA = -S[-1] * np.outer(U[:, -1], Vt[-1]) # A + dA is singular
print(" %-11s ||dA||_2/||A||_2 = %.6e 1/kappa_2 = %.6e sigma_min(A+dA) = %.3e"
% (name, np.linalg.norm(dA, 2) / np.linalg.norm(M, 2), 1 / np.linalg.cond(M, 2),
np.linalg.svd(M + dA, compute_uv=False).min()))
# ---------- (5) kappa_2(A) = 1 iff A is a scalar multiple of an orthogonal matrix ----------
print("\n--- kappa_2 = 1 <=> A = sigma * Q ---")
rng = np.random.default_rng(7)
Q, _ = np.linalg.qr(rng.standard_normal((5, 5)))
print(" cond(2.5*Q) = %.16f" % np.linalg.cond(2.5 * Q))
P = 2.5 * Q
P[0, 0] += 1e-3
print(" cond(2.5*Q with one entry perturbed by 1e-3) = %.10f" % np.linalg.cond(P))
print(" cond(diag(1,2,3)) = %.4f (all singular values distinct -> kappa > 1)" % np.linalg.cond(np.diag([1., 2., 3.])))
# ---------- (6) the error bound is attained along the worst direction ----------
print("\n--- tightness of ||dx||/||x|| <= kappa * ||db||/||b|| ---")
D = np.diag([1000.0, 1.0])
kappa = np.linalg.cond(D)
b_good = np.array([1000.0, 0.0]) # b along u_max
x_good = np.linalg.solve(D, b_good) # x = (1,0)
db = np.array([0.0, 1e-3]) # perturbation along u_min
dx = np.linalg.solve(D, db)
rel_b = np.linalg.norm(db) / np.linalg.norm(b_good)
rel_x = np.linalg.norm(dx) / np.linalg.norm(x_good)
print(" kappa = %.1f rel_db = %.6e rel_dx = %.6e bound = %.6e usage = %.4f%%"
% (kappa, rel_b, rel_x, kappa * rel_b, 100 * rel_x / (kappa * rel_b)))
# ---------- (7) kappa(A^T A) = kappa(A)^2 ----------
print("\n--- normal equations square the condition number ---")
R = rng.standard_normal((60, 12))
R[:, -1] = R[:, 0] + 1e-6 * rng.standard_normal(60)
print(" cond(A) = %.6e" % np.linalg.cond(R))
print(" cond(A^T A) = %.6e ratio to cond(A)^2 = %.4f"
% (np.linalg.cond(R.T @ R), np.linalg.cond(R.T @ R) / np.linalg.cond(R)**2))
第 2 步:实测输出
--- unit ball radius along direction (1,1), measured with the 2-norm ---
p = 1 point on the unit ball = [0.5 0.5] its 2-norm = 0.7071
p = 2 point on the unit ball = [0.7071 0.7071] its 2-norm = 1.0000
p = inf point on the unit ball = [1. 1.] its 2-norm = 1.4142
=> diamond (0.7071) < circle (1.0) < square (1.4142)
--- 3x3 example ---
A =
[[2. 1. 0.]
[1. 2. 1.]
[0. 1. 2.]]
A^{-1} =
[[ 0.75 -0.5 0.25]
[-0.5 1. -0.5 ]
[ 0.25 -0.5 0.75]] (exact: 1/4 * [[3,-2,1],[-2,4,-2],[1,-2,3]])
allclose to exact inverse: True
row sums of A = [3. 4. 3.] col sums = [3. 4. 3.]
row sums of A^-1 = [1.5 2. 1.5] col sums = [1.5 2. 1.5]
||A||_1 = 4.0000 ||A||_inf = 4.0000 ||A||_F = 4.0000 ||A||_2 = 3.4142
singular values = [3.41421356 2. 0.58578644] 2+sqrt(2) = 3.4142 2-sqrt(2) = 0.5858
det A = 4.0000 (exact 4)
kappa_1 = 8.0000 kappa_inf = 8.0000 kappa_2 = 5.8284 kappa_F = 7.2111
eigenvalues of A: [0.58578644 2. 3.41421356] (exact 2-sqrt(2), 2, 2+sqrt(2))
--- Hilbert matrix H_n: n = 3..8 ---
n kappa_1 kappa_2 kappa_inf det sigma_min 1/kappa_2
3 7.4800e+02 5.2406e+02 7.4800e+02 4.6296e-04 2.6873e-03 1.9082e-03
4 2.8375e+04 1.5514e+04 2.8375e+04 1.6534e-07 9.6702e-05 6.4459e-05
5 9.4366e+05 4.7661e+05 9.4366e+05 3.7493e-12 3.2879e-06 2.0982e-06
6 2.9070e+07 1.4951e+07 2.9070e+07 5.3673e-18 1.0828e-07 6.6885e-08
7 9.8519e+08 4.7537e+08 9.8519e+08 4.8358e-25 3.4939e-09 2.1036e-09
8 3.3873e+10 1.5258e+10 3.3873e+10 2.7371e-33 1.1115e-10 6.5541e-11
H_3^{-1} (numpy) =
[[ 9. -36. 30.]
[ -36. 192. -180.]
[ 30. -180. 180.]]
H_3^{-1} equals the exact integer matrix: True
row sums of H_3^{-1} = [ 75. 408. 390.]
||H_3||_inf = 1.833333 (exact 11/6 = 1.833333) ||H_3^{-1}||_inf = 408.0000
kappa_inf(H_3) = 748.0000 (exact 11/6*408 = 748.0000) kappa_1(H_3) = 748.0000
eigenvalues of H_3 = [0.00268734 0.12232707 1.40831893] -> kappa_2 = 524.0568
det H_3 = 4.629630e-04 (exact 1/2160 = 4.629630e-04)
--- 1/kappa_2 = min ||dA||_2/||A||_2 over singular A+dA ---
H_3 ||dA||_2/||A||_2 = 1.908190e-03 1/kappa_2 = 1.908190e-03 sigma_min(A+dA) = 3.863e-18
H_6 ||dA||_2/||A||_2 = 6.688490e-08 1/kappa_2 = 6.688490e-08 sigma_min(A+dA) = 1.823e-17
3x3 example ||dA||_2/||A||_2 = 1.715729e-01 1/kappa_2 = 1.715729e-01 sigma_min(A+dA) = 9.954e-16
--- kappa_2 = 1 <=> A = sigma * Q ---
cond(2.5*Q) = 1.0000000000000004
cond(2.5*Q with one entry perturbed by 1e-3) = 1.0004000801
cond(diag(1,2,3)) = 3.0000 (all singular values distinct -> kappa > 1)
--- tightness of ||dx||/||x|| <= kappa * ||db||/||b|| ---
kappa = 1000.0 rel_db = 1.000000e-06 rel_dx = 1.000000e-03 bound = 1.000000e-03 usage = 100.0000%
--- normal equations square the condition number ---
cond(A) = 2.209022e+06
cond(A^T A) = 4.879791e+12 ratio to cond(A)^2 = 1.0000
第 3 步:从输出里读出的五条结论
- 单位球的形状可以直接量出来:沿对角方向 走到单位球边界,用 2-范数度量得到的半径分别是 (菱形)、(圆)、(正方形)。三种范数的单位球确实互相嵌套,且在坐标轴方向重合、在对角方向差最大。
- 例子的手算全部被程序确认:、、、、、、特征值 。
- Hilbert 矩阵的指数病态: 从 增到 , 从 涨到 (约 倍/阶),而 从 掉到 (约 /阶)。两列的增长速率完全不同,这正说明 与 量的不是同一件事。 另外 与手算的精确值完全一致()。
- 确实是到奇异的相对距离:构造的扰动 的相对大小与 逐位相符,且扰动后 降到 (双精度下等于 )。
- 误差界的紧性与条件数平方:沿最坏方向,界被用满 ;正规方程把条件数从 变成 ,比值 精确等于 。这就是"最小二乘不要用正规方程"的定量证据。
复现时注意两件事
1.
np.linalg.cond(H)在 之后不可信(§3.8): 已淹没在舍入噪声里, 反而变小。本实验只到 ,是安全的。2. **第 (5) 段的
cond(2.5*Q) = 1.0000000000000004不是 ,这不是错误**:SVD 的舍入误差让比值落在 附近的 处。判断"是否等于 "要用np.isclose(..., rtol=1e-12)之类的容差,不要用==(11-1-数值稳定性与LU 的易错点 1)。
六、应用
- 求解前的"体检":任何用到
np.linalg.solve、lstsq、inv的代码,在关键路径上都应该算一次cond。经验阈值: 放心; 注意; 换方法(正则化/SVD/更高精度)。 - 最小二乘与回归: 意味着"用正规方程做最小二乘"在病态时会灾难性失败。这就是为什么
np.linalg.lstsq用 SVD 而不用正规方程(4-3-最小二乘逼近)。 - PCA 与协方差矩阵:协方差矩阵的条件数决定主成分方向是否稳定。 很大时,"第 2 主成分"可能完全是噪声。实践中常先标准化(把每个变量的方差归一到 1)以改善条件数(7-3-主成分分析PCA、12-2-协方差矩阵)。
- 图像反卷积与逆问题:模糊核的频域响应在高频趋于零,导致 巨大——这是病态逆问题(ill-posed inverse problem)的典型。解法是 Tikhonov 正则化或截断 SVD。
- 有限元与网格质量:刚度矩阵的条件数随网格变细按 增长( 是网格尺寸)。三维问题加密一倍网格, 就涨 4 倍,这直接决定了多重网格等预条件技术的必要性。
- 机器学习的优化:损失函数 Hessian 的条件数决定梯度下降的收敛速率( 越大,峡谷越窄,收敛越慢)。Batch Normalization 与特征标准化本质上都是在降低有效条件数。
- 神经网络中的病态层:某些层的权重矩阵条件数达到 ,会导致梯度爆炸/消失;谱归一化(spectral normalization)通过约束 来改善这一状况——这正是 的直接应用。
七、可运行代码示例
依赖
本节只用 numpy,无需额外安装。
(1) 三种向量范数的对比与不等式链
import numpy as np
x = np.array([3.0, -4.0])
print("1-norm =", np.linalg.norm(x, 1)) # 7.0
print("2-norm =", np.linalg.norm(x, 2)) # 5.0
print("inf-norm =", np.linalg.norm(x, np.inf)) # 4.0
print("p-norm p=3 :", np.linalg.norm(x, 3))
print("nonzeros (ord=0):", np.linalg.norm(x, 0))
# 验证 norm_inf <= norm_2 <= norm_1 <= sqrt(n) * norm_2
print("inf<=2<=1 :", np.linalg.norm(x, np.inf) <= np.linalg.norm(x, 2)
<= np.linalg.norm(x, 1) <= np.sqrt(x.size) * np.linalg.norm(x, 2))
# 体会"单位球"的形状:沿对角方向 (1,1) 走到单位球边界,看它离原点多远
# 菱形(1-范数)最近 -> 圆(2-范数)居中 -> 正方形(inf-范数)最远
print("\n单位球在对角方向上的'半径'(用 2-范数度量):")
for p in (1, 2, 3, 4, 10, np.inf):
v = np.array([1.0, 1.0])
v = v / np.linalg.norm(v, ord=p) # 缩放到 p-范数等于 1
print(" p=%5s -> 对角点 = %s, 其 2-范数 = %.4f"
% (p, np.round(v, 4), np.linalg.norm(v, 2)))
# 1-范数: 0.7071 < 2-范数: 1.0000 < inf-范数: 1.4142 —— 这就是菱形→圆→正方形
(2) 矩阵范数与条件数:三种范数对照
import numpy as np
A = np.array([[3., 0.],
[4., 5.]])
print("norm1 =", np.linalg.norm(A, 1)) # 7.0 最大列和
print("norminf =", np.linalg.norm(A, np.inf)) # 9.0 最大行和
print("normF =", np.linalg.norm(A, 'fro')) # 7.0711
print("norm2 =", np.linalg.norm(A, 2)) # 6.7082 = sigma_max
s = np.linalg.svd(A, compute_uv=False)
print("singular values =", s, " sqrt(eig(A^T A)) =", np.sqrt(np.linalg.eigvalsh(A.T @ A))[::-1])
print("cond2 =", np.linalg.cond(A), " cond1 =", np.linalg.cond(A, 1),
" condinf =", np.linalg.cond(A, np.inf))
# 三条自查恒等式
I = np.eye(4)
print("norm2(I) =", np.linalg.norm(I, 2), " normF(I) =", np.linalg.norm(I, 'fro'), " <- Frobenius 不是诱导范数")
rng = np.random.default_rng(0)
Q, _ = np.linalg.qr(rng.standard_normal((5, 5)))
print("cond(Q) =", np.linalg.cond(Q), " (正交矩阵应为 1)")
print("cond(1e7*A)=", np.linalg.cond(1e7 * A), " <- 尺度不变")
(3) 条件数与误差放大:验证定理 11.2.7 并观察方向依赖
import numpy as np
A = np.diag([1000.0, 1.0])
b = np.array([1000.0, 1.0])
x = np.linalg.solve(A, b)
kappa = np.linalg.cond(A)
print("kappa_2(A) =", kappa, " x =", x)
for db in (np.array([1.0, 0.0]), np.array([0.0, 1.0])):
dx = np.linalg.solve(A, db)
rel_b = np.linalg.norm(db) / np.linalg.norm(b)
rel_x = np.linalg.norm(dx) / np.linalg.norm(x)
print("db=%s rel_db=%.3e rel_dx=%.3e bound=%.3e bound利用率=%.2f%%"
% (db, rel_b, rel_x, kappa * rel_b, 100 * rel_x / (kappa * rel_b)))
(4) 病态程度随规模增长:Hilbert 矩阵 vs 随机矩阵
import numpy as np
def hilbert(n):
i, j = np.ogrid[1:n + 1, 1:n + 1]
return 1.0 / (i + j - 1)
print("%4s %14s %14s %14s" % ("n", "cond(H_n)", "det(H_n)", "损失位数"))
for n in (2, 3, 4, 5, 6, 8, 10, 12, 13, 14):
H = hilbert(n)
c = np.linalg.cond(H)
print("%4d %14.4e %14.4e %14.1f" % (n, c, np.linalg.det(H), np.log10(c)))
print("\n--- 随机矩阵(各元素 iid 标准正态)作为对照 ---")
rng = np.random.default_rng(2026)
for n in (10, 50, 100, 200):
R = rng.standard_normal((n, n))
print("n=%4d cond = %10.3f" % (n, np.linalg.cond(R)))
print("\n--- det 与 cond 无关的两个反例 ---")
A1 = 1e-20 * np.eye(4)
A2 = np.diag([1e8, 1.0, 1e-8])
print("det=%.3e cond=%.3e <- det 极小却完全良态" % (np.linalg.det(A1), np.linalg.cond(A1)))
print("det=%.3e cond=%.3e <- det = 1 却极度病态" % (np.linalg.det(A2), np.linalg.cond(A2)))
(5) 条件数与"解到底准不准"的实验
import numpy as np
rng = np.random.default_rng(11)
n = 60
Q, _ = np.linalg.qr(rng.standard_normal((n, n)))
for k in (2, 6, 10, 14):
sig = np.logspace(0, -k, n)
A = (Q * sig) @ Q.T
A = (A + A.T) / 2
x_true = rng.standard_normal(n)
b = A @ x_true
x_hat = np.linalg.solve(A, b)
fwd = np.linalg.norm(x_hat - x_true) / np.linalg.norm(x_true) # 前向误差
bwd = np.linalg.norm(b - A @ x_hat) / (np.linalg.norm(A) * np.linalg.norm(x_hat)) # 向后误差
print("目标 kappa=1e%-2d 实测 cond=%.3e 前向误差=%.3e 向后误差=%.3e 前向/向后=%.3e"
% (k, np.linalg.cond(A), fwd, bwd, fwd / bwd))
# 观察:向后误差始终 ~1e-16(算法稳定);前向误差 ≈ cond * 向后误差
(6) 条件数与最小二乘:为什么不要用正规方程
import numpy as np
rng = np.random.default_rng(5)
m, n = 200, 20
A = rng.standard_normal((m, n))
# 人为制造病态:让后几列几乎是前几列的线性组合
A[:, -1] = A[:, 0] + 1e-8 * rng.standard_normal(m)
b = rng.standard_normal(m)
print("cond(A) = %.3e" % np.linalg.cond(A))
print("cond(A^T A) = %.3e <- 平方关系" % np.linalg.cond(A.T @ A))
x_normal = np.linalg.solve(A.T @ A, A.T @ b) # 正规方程(条件数平方,危险)
x_lstsq, res, rank, sv = np.linalg.lstsq(A, b, rcond=None) # SVD 实现(nx.linalg 推荐)
x_pinv = np.linalg.pinv(A) @ b # 伪逆
print("正规方程与 lstsq 的解之差 = %.3e" % np.linalg.norm(x_normal - x_lstsq))
print("pinv 与 lstsq 的解之差 = %.3e" % np.linalg.norm(x_pinv - x_lstsq))
print("残差: 正规方程 %.3e lstsq %.3e"
% (np.linalg.norm(A @ x_normal - b), np.linalg.norm(A @ x_lstsq - b)))
print("A 的奇异值谱(对数):", np.round(np.log10(sv), 2))
print("lstsq 报告的数值秩 =", rank, " (设计矩阵列数 n =", n, ")")
八、易错点
四个高频错误
1. 用行列式判断病态。 受尺度影响(),衡量的是椭球的体积而不是扁度。 的 是 但 ; 的 是 但 。判断病态请用
np.linalg.cond。2. 忘记条件数依赖范数选取。 、、、 是四个不同的数,最多可以相差 倍(例题 1 里就差 40%)。而且:
-
np.linalg.cond(A)与np.linalg.norm(A)的默认是 2-范数(要 SVD,最贵);-
cond(A, 'fro')用的是 Frobenius 范数,而它不是诱导范数,所以 不满足""以外的许多性质(例如 而不是 );- 报告结果时必须写清用了哪个范数。
3. 以为 大就一定算不准。 给的是最坏方向的上界。例题 2 里同一矩阵、同样大小的扰动,误差相差 1000 倍。若右端项 几乎完全落在最大奇异方向 上,即使 也可能算得相当准。要结合 在奇异向量基下的分解来判断。
4. 把条件数与残差混为一谈。 残差 小只说明向后误差小("解的是几乎同一个问题"),不说明解接近真解。二者的关系是
看到"残差 1e-16 但结果明显不对",不要怀疑代码,去算
cond。
补充两个实现层面的坑:
np.linalg.cond在 大时自身不可信:Hilbert 矩阵在 时算出的 反而变小(见 §3.8)。原因是 已经淹没在舍入噪声中。可信上限约 。- 表格里的范数不要写
\|A\|:Obsidian 的 Markdown 表格会把|当成列分隔符。在表格单元格内请写\lVert A \rVert(本库表格均采用此写法),在正文行内公式里\|A\|是安全的。
九、练习题
练习 1(基础) 设 ,。
(1) 求 与 。
(2) 求 。
(3) 求 与 ,并说明它们是否相等以及为什么。
练习 2(基础) 判断正误并说明理由:
(1) 若 ,则 。
(2) 。
(3) 。
(4) 若 ,则 。
(5) 若 ,则 是正交矩阵的标量倍。
练习 3(进阶) 设 , 很小。
(1) 求 与 。
(2) 证明 (当 ),并说明为什么 趋于 与 趋于 在这里是"同步"的,而这个同步不具有普遍性(对照 的情形)。
(3) 若 ,双精度下还能得到几位有效数字?
练习 4(进阶) 设 非奇异,。若在计算 时引入了相对误差 (例如来自物理测量),用定理 11.2.7 估计解 的相对误差上界。若改用 的矩阵,同样的测量误差会带来什么后果?这对"用病态模型反演物理参数"意味着什么?
练习 5(思考) 设 是 的正交矩阵, 且 。
(1) 求 、、( 正交方阵)。
(2) 用 说明 Frobenius 条件数为什么不满足" 且 取到 1"这一直觉。
(3) 说明为什么" 是几何量(扁度)而 不是"。
十、常见问题 FAQ
Q1:为什么要有这么多范数?直接用欧氏长度不就够了?
因为不同的应用关心不同的"误差"。举三个真实场景:(a) 逐行检查方程组残差时,-范数直接告诉你"哪一行的误差最大",这是最自然的指标;(b) 稀疏矩阵与图论问题(PageRank、网络流)里,1-范数对应"总流量/总概率",守恒律天然是 1-范数;(c) 几何问题、谱分析、条件数、PCA 必须用 2-范数,因为只有它与内积、正交、奇异值相容。选错范数不是"精度差一点",而是"回答了一个不同的问题"。
Q2:条件数为什么不能只用行列式?我老师说 就是接近奇异。
在纯代数(精确算术)意义下这话没错: 奇异。但数值上要问的是"离奇异有多远",而"多远"必须是尺度不变的度量。 的 是 ,但它在数值上离奇异无穷远();反之 的 精确等于 ,却已经贴着奇异的边界()。正确说法是: 奇异,且 连续地度量"离奇异有多远"。 你老师说的那句话在"考试卷上给你一个具体数字矩阵、让你判断是否可逆"的场景下是够用的,但它不是一个数值判据。
Q3:np.linalg.cond(A) 返回 inf 是什么意思?是溢出吗?
不是溢出,是真正的无穷大:说明 (在双精度的分辨率下)数值奇异——最小奇异值被算成 。此时 np.linalg.inv(A) 要么抛 LinAlgError,要么(更危险地)返回一个巨大的垃圾矩阵。正确做法:用 np.linalg.matrix_rank(A) 看数值秩,或直接用 np.linalg.lstsq / np.linalg.pinv 求最小范数最小二乘解。
Q4:我在做最小二乘,cond(A) 只有 ,为什么还是不对?
很可能是你用了正规方程。,所以 时正规方程的条件数是 ——双精度只剩 6 位,遇到"设计矩阵列近似共线"的实际数据就会明显出错。改用 np.linalg.lstsq(SVD 实现, 不平方)或显式 QR 分解,这是回归分析的行业标准做法(4-3-最小二乘逼近)。
本篇小结
一、核心结论(十二句话)
- 范数的三条公理各有几何含义:(N1) 保证单位球含原点、有界、不退化;(N2) 保证单位球中心对称;(N3) 保证单位球是凸的。反过来,任一"含原点、有界、中心对称的凸闭集"都能定义一个范数(Minkowski 泛函)——范数与对称凸体一一对应。这也解释了 为什么不是范数:它的"单位球"是凹的。
- 1/2/ 三种范数的单位球是菱形、圆、正方形(面积 ),互相嵌套 。它们在坐标轴方向重合(都是 ),在对角方向差最大()。
- 三种范数在"收敛性"意义上等价,但数值可以差 甚至 倍——这是"条件数依赖范数选取"的根源,也是"报告条件数必须写清范数"的原因。
- 诱导范数 = 最大伸缩倍数:。它自动满足次乘性 ,并且任何诱导范数都满足 (这是识别"某范数不是诱导范数"的快捷判据)。
- 三个计算公式的来源是"最大值在哪里取到":1-范数的菱形球有顶点 ⟹ 只需检查标准基向量 ⟹ 最大列和;-范数的正方体球有顶点 ⟹ 检查符号向量 ⟹ 最大行和;2-范数的球是光滑球面无顶点 ⟹ 只能用谱 ⟹ 。对偶关系:。
- Frobenius 范数量的是"总能量":(把矩阵拉直成向量的欧氏长度),计算只要 。 只量"最长半轴",需要 SVD。夹逼 :左等号 秩 ,右等号 非零奇异值全相等。
- Frobenius 不是诱导范数(),所以 破坏" 且 取到 "的直觉,不要用它判病态。
- 条件数的定义与几何:;在 2-范数下 = 单位球被映成椭球后的最长半轴 / 最短半轴。条件数 椭圆是圆 (正交矩阵的标量倍)。
- 误差放大定理:(系数矩阵有扰动时再加上 一项)。这个界是最优的,但只在" 沿最短奇异方向、 沿最长奇异方向"时被取满——误差放大有方向性," 大"不等于"一定算不准"。
- 的六条性质:;尺度不变 ;正交不变 ;;;正规方程平方 (所以最小二乘别用正规方程)。
- 是到最近奇异矩阵的相对距离:。这是" 度量离奇异有多远"的严格版本,也是它比 更适合做判据的根本原因: 是体积(,随 指数爆炸、受尺度影响), 是扁度(只涉及 与 、尺度不变、有操作含义)。
- Hilbert 矩阵是经典病态: 约每阶乘 倍指数增长(: ,: ,: ),根因是"用光滑函数 采样"导致各行几乎线性相关。 的 可以精确手算。注意 后
cond自身的返回值已不可信( 淹没在噪声里),条件数的可信上限约 。
二、易混概念对照表
| 容易混淆的一对 | 区别要点 | 一句话判别 |
|---|---|---|
| (最大列和) vs (最大行和) | 1 竖着加、 横着加 | 记不住就记 |
| vs | 前者是最长半轴 ,后者是各半轴平方和(总能量) | 秩 1 时相等;奇异值全相等时差 倍 |
| 诱导范数 vs 元素级范数 | 只有诱导范数满足 并有误差放大定理 | 对 算出 的一定是 Frobenius |
| 四个不同的数,最多差 倍(: vs ) | 报告 必须写范数;判病态优先 | |
| 条件数 vs 行列式 | 是尺度不变的扁度; 是尺度相关的体积 | 而 |
| 条件数 vs 残差 | 残差只反映向后误差;条件数放大它才得到前向误差 | 残差 + 误差 |
| 病态 vs 奇异 | 奇异是 ();病态是 很小 | 病态 = "离奇异很近",距离 |
| 尺度不变 vs 正交不变 | 两者 都有;但一般的相似变换 会改变 | 只有正交(含置换)变换是"免费的"预处理 |
| vs | 转置不变;但转置乘自己会把条件数平方 | 最小二乘用 QR/SVD,别用正规方程 |
| 精确秩 vs 数值秩 | 精确秩是代数概念(行列式是否为 );数值秩有阈值() | 浮点下"秩"必须靠 的断崖判断 |
np.linalg.cond(A) vs np.linalg.cond(A, 1) | 默认(None/2)用 SVD 算 2-范数,最贵;1/np.inf 只要 | 大矩阵先算 cond(A, np.inf) 探路 |
| vs 真范数 | 不满足齐次性(),不是范数 | 压缩感知里 难解正因为它不是范数 |
三、动手清单(学完这一篇应该能独立完成)
- 给定一个 或 矩阵,手算 与四个条件数。
- 画出(或在纸上描述)1/2/ 三种范数的单位球,并指出"沿哪个方向三种范数差最大"。
- 用"顶点论证"独立复述 与 的公式为什么长那样。
- 给定 与扰动的方向,判断误差放大倍数接近界还是远离界。
- 用 回答"多大的相对扰动能让这个矩阵变奇异",并解释为什么这个问题不能用
det回答。
这一篇与后面几篇的接口
- 范数公理化的完整背景在 3-1-向量空间:那边讲向量空间与子空间的公理体系,本篇把"长度"也公理化,两篇合起来才是" 的完整结构"(线性结构 + 度量结构 + 内积结构)。
- 诱导范数与算子观点在 1-3-矩阵入门 里就有雏形(矩阵是线性映射),本篇把它量化成"最大伸缩倍数";在 8-1-线性变换的思想 里会进一步抽象成"算子范数"。
- 与数值秩在 7-2-图像压缩与低秩逼近 里是"截断 SVD"的判据( 直接丢掉),也是 9-2-Hermitian矩阵与酉矩阵 里"酉不变范数"的直接应用。
- 条件数决定主成分稳定性这一点在 7-3-主成分分析PCA 与 12-2-协方差矩阵 里反复出现:协方差矩阵的 太大时,"第一主成分"以外的方向基本是噪声。
- 无穷维没有范数等价性(定理 11.2.1 的适用条件)在 10-4-傅里叶级数与函数空间 里会具体看到: 范数与 范数在函数空间上不等价,这正是傅里叶级数"逐点收敛"比"均方收敛"难得多的原因。
相关笔记
- 11-1-数值稳定性与LU:本篇的"问题侧"(条件数)与那篇的"算法侧"(向后误差、选主元)合起来才是完整的稳定性理论。
- 11-3-迭代方法与预条件:预条件的目标就是把 压到远小于 ;CG 的收敛速率由 而不是 决定。
- 7-1-SVD的构造与几何意义: 与 的几何来源——单位球被映成椭球。
- 1-2-长度与点积:2-范数的定义、Cauchy–Schwarz 不等式与三角不等式,本篇把它公理化。
- 4-3-最小二乘逼近:正规方程条件数平方的实践后果,以及为什么最小二乘要用 QR/SVD。
- 6-4-对称矩阵与正定矩阵:对称正定时 ,以及 Cholesky 与正定性的关系。
- 6-5-二次型与标准形:Rayleigh 商 的极值就是特征值,这是 证明的核心工具。
- 附录-矩阵分解总览:各分解的稳定性对比(正交变换 vs 初等变换)。
- 3-1-向量空间:向量空间与子空间的公理体系。本篇把"长度"也公理化(三公理 对称凸体),两篇合起来才是 的完整结构:线性结构 + 度量结构(想分清"范数"与"内积"的区别,这两篇要对着读)。
- 1-3-矩阵入门:矩阵作为线性映射的入门视角。诱导范数 就是"这个映射最多能把向量拉长几倍",在 8-1-线性变换的思想 里会进一步抽象为算子范数。
- 7-2-图像压缩与低秩逼近:数值秩与截断 SVD。本篇题目 7 说明" 是到奇异的相对距离",那篇给出它的工程用法:把所有 的方向直接丢掉(Eckart–Young 定理保证了最优性)。
- 9-2-Hermitian矩阵与酉矩阵:酉不变范数与奇异值。本篇题目 6 证明的 是"酉变换不改变任何奇异值"的直接推论,也是 QR/SVD 数值上更可靠的原因。
- 10-4-傅里叶级数与函数空间:函数空间上的范数。定理 11.2.1(有限维范数等价)的条件是"有限维",在函数空间上 与 范数不等价——那篇会看到这个差别的具体后果。
参考来源
- MIT OpenCourseWare 18.335J Introduction to Numerical Methods(Steven G. Johnson):范数、条件数、稳定性与向后误差 —— https://ocw.mit.edu/courses/18-335j-introduction-to-numerical-methods-spring-2019/
- MIT OpenCourseWare 18.06 Linear Algebra(Gilbert Strang):正交性、投影与"条件数 = 最大最小奇异值之比"的课堂直觉 —— https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/
- numpy 官方文档
numpy.linalg.norm(1/2//Frobenius 各范数的定义、ord取值表、" 严格来说不是范数"的说明) —— https://numpy.org/doc/stable/reference/generated/numpy.linalg.norm.html - numpy 官方文档
numpy.linalg.cond(条件数定义、七种范数选项、None表示用 SVD 直接算 2-范数) —— https://numpy.org/doc/stable/reference/generated/numpy.linalg.cond.html - numpy 官方文档
numpy.linalg.inv(病态矩阵不报错、用cond检测、" 损失 位有效数字"的经验法则、 的验证方法) —— https://numpy.org/doc/stable/reference/generated/numpy.linalg.inv.html - 教材(文字来源):Gilbert Strang, Introduction to Linear Algebra, 5th ed., Wellesley–Cambridge Press, 2016, §11.1–11.2(范数与条件数);Gene H. Golub & Charles F. Van Loan, Matrix Computations, 4th ed., Johns Hopkins University Press, 2013, §2.3(向量与矩阵范数)、§2.6(条件数);Nicholas J. Higham, Accuracy and Stability of Numerical Algorithms, 2nd ed., SIAM, 2002, 第 7 章(范数与条件数);Lloyd N. Trefethen & David Bau, Numerical Linear Algebra, SIAM, 1997, Lecture 12(条件数)、Lecture 15