w wyl123ly 的博客
MD

11-2-范数与条件数

120 KB 2026.10.11 原文件

11-2-范数与条件数

一句话概括

范数(norm)是给向量空间量身定做的一把"尺子",不同的尺子量出不同的长度,也定义出形状不同的单位球:1-范数是菱形、2-范数是圆、-范数是正方形。把尺子装到矩阵上,得到诱导范数 ,几何意义是"矩阵能把向量拉长多少倍"。

条件数(condition number) 是把这把尺子用来衡量"解 有多难"的结果,它给出相对误差放大倍数的最优上界 ,在 2-范数下等于 ——单位圆被 压扁成多扁的椭圆。

本篇还会回答一个几乎所有人都会答错的问题:为什么条件数比行列式更能反映奇异性?


一、定义

1.1 向量范数的三条公理

定义 11.2.1(向量范数 vector norm) 设 是实数域上的向量空间。函数 称为 上的范数,若对任意 与任意标量 满足:

三条公理的含义:

  • (N1) 非负性保证"长度"这个概念有意义,且只有零向量的长度为零。
  • (N2) 齐次性(absolute homogeneity)保证"长度的缩放"符合直觉:向量拉长 倍,长度也变成 倍。注意右边是 ,所以反向也变长——这是"长度"与"方向"分离的体现。
  • (N3) 三角不等式保证"两点之间直线最短",也是所有收敛性论证的基础。

由三公理立即推出的结论(等腰三角形引理):

证明:,移项得 ;交换 即得绝对值形式。

这条引理是"范数是连续函数"的来源,也是后面讨论"矩阵范数最大值能取到"的依据。

1.2 常用向量范数

定义 11.2.2(-范数) 对 ,

定义 11.2.3(-范数 / 最大范数)

-范数是 -范数当 的极限,这也解释了它的名字。

范数公式单位球形状对 的值计算代价
1-范数菱形(对角正方形)
2-范数圆(欧氏球)
-范数正方形(轴对齐)
-范数介于菱形与正方形之间的超椭圆 时
-"范数"坐标轴并集(不是范数)

关于

常被写成 0-范数("稀疏度",非零元素个数),但它不满足齐次性:。numpy 也对 ord=0 返回"非零个数"而不称其为范数,官方文档明确说明" 的结果严格来说不是数学意义上的范数"。压缩感知里的 最小化正是因为它不是范数才成为 NP 难问题。

三种范数的关系(对 ):

这些不等式说明三种范数在"收敛性"意义下等价:一种范数下的收敛序列在另一种范数下也收敛。但数值大小可以差 甚至 倍——这就是"条件数依赖范数选取"的根源(见 §4.2)。

1.3 矩阵范数与诱导范数

定义 11.2.4(矩阵范数 matrix norm) 函数 称为矩阵范数,若对任意矩阵 与标量 满足公理 (N1)(N2)(N3)(把向量换成矩阵),外加次乘性(submultiplicativity)

定义 11.2.5(诱导范数 / 从属范数 induced norm, operator norm) 给定 上的向量范数 ,定义

两个表达式相等是因为齐次性 (N2) 允许把任意 归一化到单位球上。诱导范数自动满足 (N4),因为

诱导范数还自动满足

说"矩阵范数"时必须说明是哪一个

单独写 是不完整的——诱导范数完全依赖于底层的向量范数。本库约定:下标省略时指 2-范数(这也是 np.linalg.norm(A) 与 np.linalg.cond(A) 的默认行为)。

1.4 三个常见矩阵范数的计算公式

定理(1-范数 = 最大列和)

定理(-范数 = 最大行和)

定理(2-范数 = 最大奇异值)

证明见 §3.2–§3.4。记忆口诀:"1 竖着加(列), 横着加(行),2 取奇异值"。

三个范数的对比:

对比项
公式最大列和(绝对值)最大行和(绝对值)最大奇异值
计算代价(需 SVD)
几何含义单位"菱形"的最大伸缩单位"正方形"的最大伸缩单位圆(球)的最大伸缩
是否易估计极易(精确)极易(精确)贵,常用幂迭代估计
典型用途稀疏矩阵、图论逐行误差界几何、谱分析、统计
numpy 写法norm(A, 1)norm(A, np.inf)norm(A, 2) 或 norm(A)

1.5 Frobenius 范数

定义 11.2.6(Frobenius 范数)

其中 , 是奇异值(7-1-SVD的构造与几何意义)。

关键区别:Frobenius 范数不是诱导范数。 判据很简单:若它是某个诱导范数,则必有 ;但

Frobenius 范数满足次乘性 (N4),所以它是一个合法的矩阵范数,只是不从属于任何向量范数。它最大的好处是计算只需 (一次遍历),而 2-范数要 SVD。

对比项
与奇异值的关系只取最大奇异值 取全部奇异值的平方和开根
是否诱导范数是(从属于向量 2-范数)否
对单位矩阵的值
计算代价
正交不变性 ( 正交)是是
相等的情形——
与 2-范数的夹逼——
几何含义最大伸缩倍数所有奇异方向的"总能量"

1.6 条件数

定义 11.2.7(条件数 condition number) 设 非奇异,

定义 11.2.8(2-范数下的条件数)

证明:(定理 §3.4)。又 的奇异值是 的奇异值的倒数(因为 蕴涵 是 的 SVD),故 。

若把矩阵换成"问题的解",条件数的意义是:

条件数 = 输入相对误差到输出相对误差的最大放大倍数。


二、几何直观

2.1 范数 = 给空间量身定做的一把尺子

"单位球"(unit ball) 的形状把范数的性格暴露无遗。在 里:

  • 1-范数:,四个顶点为 与 ,是旋转 的正方形(菱形)。它只关心"沿坐标轴走多远",是曼哈顿出租车的计价方式。
  • 2-范数:,是圆。它承认一切方向平等。
  • -范数:,是轴对齐的正方形。它只看"最突出的那个分量"。
  • -范数:介于菱形与正方形之间的超椭圆(superellipse)。 从 增到 时,图形从"尖"变"方"; 时图形变成凹的(非凸),此时三角不等式失效,所以 不是范数。

统一图像:-范数的单位球是"在 度量下的圆"。三条公理中,(N1) 保证图形包含原点且不退化,(N2) 保证图形关于原点中心对称,(N3) 保证图形是凸的。反过来,任何一个"关于原点中心对称的凸的有界闭集"都可以作为某个范数的单位球——范数与对称凸体是一一对应的。

2.2 诱导范数 = 最大伸缩倍数

这是本篇最重要的几何图像。设 是欧氏范数, 把单位圆(球)映射成一个椭圆(椭球):

由 SVD : 把单位圆旋转/翻转到自身, 沿坐标轴分别拉伸 倍(其中 ), 再旋转一次。结果是一个半轴长为 的椭圆,方向由 的列(左奇异向量)给出。

于是

条件数就是"A 把单位圆压扁成了多扁的椭圆"的度量。 由此立得:

  • 圆()⟹ ,最良态。 是正交矩阵的标量倍时取到。
  • 椭圆越扁, 越大。
  • 退化成一条线段()⟹ ,此时 奇异, 不存在。

2.3 条件数如何放大误差:右端项的方向比大小更重要

把 写成左奇异向量的组合 ,则

扰动 在最短奇异方向 上的分量会被放大 倍;在最长方向 上的分量几乎不放大。 这就是" 大不一定算不准"的几何原因:

  • 若 恰好在 方向(椭圆的"胖"方向), 沿 的分量小,误差放大有限。
  • 若 恰好在 方向("瘦"方向),一点点扰动就会让解在 方向跑很远。

例子(,可完全手算):,单位圆被拉成半轴为 与 的椭圆,。取 ,则 。

  • 扰动 (沿着"胖"方向 ):,相对误差只有 。
  • 扰动 (沿着"瘦"方向 ):,相对误差高达 。

两次的 都是 量级,但放大了 1000 倍之后差别巨大。误差放大是有方向性的,条件数给的是"最坏方向"的界。

2.4 行图像:两条直线的夹角

的行图像是两条直线(或超平面)的交点。两条直线越接近平行,交点对扰动越敏感。定量地, 情形有

其中 是两条直线的夹角。几何直觉:几乎平行的两条直线,微小的平移就会让交点沿直线方向跑到很远——这正是病态。

11-1-数值稳定性与LU 里的小主元例子恰好不是这种情况:那两条直线夹角约 ,条件数只有 ,是算法(不选主元)出了问题。把"条件数大"与"算法差"分开,是数值线性代数的第一课。


三、性质与定理

3.1 范数的等价性

定理 11.2.1(有限维空间上范数等价) 设 与 是 上任意两个范数。则存在常数 (只依赖 ),使得对一切 ,

证明思路:先证 关于 连续(用定理 1.1 的等腰三角形引理),再在紧集 上取最小值和最大值——紧集上连续函数必有正的最小值与有限的最大值。

适用条件:这一结论只在有限维成立。无穷维空间(例如连续函数空间)上不同范数可以不等价,这不是本书的讨论范围。

数值意义:收敛性(序列是否收敛)与范数选取无关;但误差的具体数值、条件数的具体倍数与范数选取强相关。、、 可以相差 倍。

3.2 1-范数的计算公式

定理 11.2.2

证明:记 为 的第 列。

上界:

取到等号:设 是使列和最大的列。取 (第 个标准基向量),则 且

正好等于上界。

适用条件: 可以是长方形。该公式只对诱导 1-范数成立;换成 是常见错误(那是"逐元素 1-范数",且不是诱导范数)。

3.3 -范数的计算公式

定理 11.2.3

证明:

上界:对每个分量 ,

取到等号:设 是使行和最大的行。取 的第 个分量为

即 。则 ,且 达到了行和。

适用条件:同样只对诱导 -范数成立。注意 np.linalg.norm(A, np.inf) 与 np.linalg.norm(A, -np.inf) 不同:后者是最小行和,它甚至不满足非负性以外的一些性质,不是范数。

3.4 2-范数 = 最大奇异值

定理 11.2.4 设 ,奇异值为 。则

证明:设 ,。

对称半正定,可正交对角化 ,,,且 (7-1-SVD的构造与几何意义)。令 ,则 ,于是

这正是 Rayleigh 商(6-5-二次型与标准形)的估计。取 ( 对应 的单位特征向量,即 的第一右奇异向量),则 ,等号取到。

适用条件:结论依赖向量用 2-范数。若向量取 1-范数,诱导矩阵范数就是最大列和,与奇异值无关。

推论:由上面的证明还可得到

3.5 Frobenius 范数与 2-范数的夹逼

定理 11.2.5 设 。则

且两个等号可以分别取到。

证明:设奇异值 。则

开根号即得。左等号当 (秩 1 矩阵)时成立;右等号当所有奇异值相等(例如 ,或 是正交矩阵的标量倍)时成立。

适用条件: 是与 无关的秩,不是行数或列数。满秩方阵 时上下界可以差 倍,所以不能用 Frobenius 范数冒充 2-范数,否则条件数的估计会差 倍。

定理 11.2.6(Frobenius 范数不是诱导范数) 不存在 上的向量范数使其诱导范数等于 。

证明:若 是诱导范数,则 。但 ,当 时 。矛盾(注:对任意诱导范数, 的范数恒为 ,见 §4.5)。

3.6 误差放大定理(条件数的核心)

定理 11.2.7(右端项扰动) 设 非奇异,(),并设 精确满足 。则

完整推导:

  1. 两式相减:。
  2. 左乘 :,取范数并用诱导范数的性质 :

  1. 由 得 ,即

  1. 第 2 步的 乘以第 3 步得到的 的上界:

证毕。

适用条件与最优性:这个界是最优的(不能再改进),因为可以取 正比于 的最小奇异方向对应的左奇异向量 ,并把 取在 方向,使等号逼近。它不要求 对称,也不要求任何正定性。

定理 11.2.8(系数矩阵扰动) 设 精确满足 。则

证明:由 与 相减得

取范数:;两边除以 并乘以 即得。

定理 11.2.9(两者合并,一阶形式) 若 精确满足 ,则忽略二阶小量 后

证明思路:把前两个定理的右端相加。严格写法要用 并额外假设 (保证 仍非奇异);一阶形式在工程上足够用。

这张"误差账本"的读法

这是 11-1-数值稳定性与LU 里 Wilkinson 视角的定量版本。算法(向后误差)与问题(条件数)在这条式子里彻底分家。

3.7 条件数的性质

定理 11.2.10 设 非奇异, 为标量。则

(P1) 。

证明:。

(P2) 尺度不变性:。

证明:(齐次性),,,相乘得 。

(P3) 正交(酉)矩阵:。

证明:, 也是正交矩阵,。

数值意义(非常重要):正交变换不放大误差。 这是 QR 分解比 LU 更稳定的根本原因(4-4-标准正交基与Gram-Schmidt),也是 SVD 被称为"数值上最可靠的分解"的原因——它只用正交变换。

(P4) 对称正定矩阵:。

证明: 对称正定 ⟹ 特征值全为正且等于奇异值(6-4-对称矩阵与正定矩阵),代入 。

(P5) 次乘性:。

证明:,且 给出 ,相乘。

(P6) 正规方程的平方:。

证明: 对称半正定,奇异值为 ,故 。

性质公式证明关键数值含义
下界 是最理想情形
尺度不变齐次性换单位不改变病态程度
正交矩阵奇异值全为 1正交变换不放大误差
对称正定奇异值 = 特征值可只用特征值判断
乘法次乘性分解成多步会累积病态
转置不变奇异值相同行/列视角等价
正规方程奇异值平方最小二乘别用正规方程
逆矩阵 互换求逆不改变病态

(P6) 的实践后果:若 ,则 —— 双精度 16 位数字全部用光,正规方程彻底失效。所以做最小二乘时应该用 QR( 不变)或 SVD,而不是解 (4-3-最小二乘逼近)。

3.8 为什么条件数比行列式更能反映奇异性

这是本篇要专门纠正的一个误区。先看两个反例。

反例 1( 极小但完全良态) 取 。

小到"看起来矩阵必然奇异",但 是完美良态的:它的单位球被映成同一个球(只是缩放了 倍),。

反例 2( 但极度病态)

的行列式等于 (甚至与 相同),但单位球被压成半轴比 的椭圆,双精度下的解一位有效数字都不剩。

反例 3(Hilbert 矩阵,经典病态) 定义

即 。它对称正定,但 随 指数增长:

(numpy 双精度实测)双精度下损失的有效位数结论
21良态
33尚可
44尚可
56需要注意
67需要注意
810危险
1013很危险
1216双精度下基本失效
1318完全失效
计算本身崩溃(见下)————连 都算不出来

时连条件数都算不出来

用 np.linalg.cond(H) 实测, 返回约 、 返回约 ——比 的 还小。这不是矩阵变好了,而是最小奇异值 本身已淹没在 量级的舍入噪声里,SVD 求出的"最小奇异值"是噪声而不是信号。条件数的可信上限约是 。

为什么行列式天生不适合做病态判据?三条理由:

  1. 没有尺度不变性。 ,乘一个 会把行列式改变 倍。而病态是几何属性(椭圆有多扁),不该受整体缩放影响。相比之下 正好具备这个不变性。
  2. 依赖 的爆炸。 即便每个方向的伸缩都"温和"(比如每个奇异值都是 或 ), 时 也会变成 量级。 的大小主要由 决定,而不是由奇异性决定。
  3. 它衡量的是"体积"而不是"扁度"。 是椭圆(椭球)的体积; 才是扁度。一个体积正常但极其扁的椭球(反例 2)恰恰是最危险的。"奇异"的几何含义是"某个方向的伸缩率是 0",而不是"体积是 0"。

正确的判据顺序:

判据是否尺度不变是否反映扁度是否需要选阈值推荐度
?否否阈值无意义不推荐
数值秩 (matrix_rank)是部分需要(基于 )可用
最小奇异值 否否需要需配合尺度
条件数 (cond)是是否(有无量纲的解读)首选
残差 ————否只反映向后误差

3.9 条件数的经验解读

经验法则:双精度有约 位十进制有效数字。若 ,则解 大约损失 位有效数字,剩 位。

损失位数双精度下剩余位数解读
正交矩阵,完美
完全没问题
完全没问题
良好
可用,需注意
危险
双精度极限,结果基本无意义
————需要更高精度(float128 / 任意精度)或正则化

这条经验法则是启发式的,不是定理。严格的保证形如

把 与 一起折算,才得到"损失 位"的说法。

3.10 预条件:把病态问题改造成良态问题

既然误差总是跟着 走,一个自然的想法是:不解 ,而解一个条件数更小的等价问题。

定义 11.2.9(预条件子 preconditioner) 若 满足

  • (够接近,使得 ),
  • 容易求解( 有简单结构,例如对角、三角、稀疏),

则称 是 的预条件子。把原方程改为

目标是使 。

最朴素的预条件:对角预条件(Jacobi 预条件),取 。它把矩阵"归一化"到对角元为 ,能消除量纲失衡带来的病态,代价几乎为零。对称正定情形还可取 中的不完全 Cholesky 因子等。

几何图像:单位圆被 压成很扁的椭圆;预条件就是先做一个"反向拉伸",把椭圆揉回接近圆,再去解方程。椭圆越接近圆,迭代法收敛越快、直接法的误差越小。

预条件的完整构造(对角、不完全 Cholesky、多重网格)与实际效果见 11-3-迭代方法与预条件。


四、计算方法与步骤

4.1 计算向量范数

  1. np.linalg.norm(x) 或 np.linalg.norm(x, 2):2-范数。
  2. np.linalg.norm(x, 1):1-范数;np.linalg.norm(x, np.inf):-范数。
  3. np.linalg.norm(x, 3):任意 -范数。
  4. 不要用 np.linalg.norm(x, 0) 求"非零个数"以外的含义——ord=0 在 numpy 中是特例。

4.2 计算矩阵范数与条件数

  1. 先想清楚用哪个范数。np.linalg.cond(A) 与 np.linalg.norm(A) 默认都是 2-范数(要 SVD,最贵但最有几何意义)。
  2. 便宜的选择:
  • np.linalg.cond(A, 1):基于最大/最小列和,。
  • np.linalg.cond(A, np.inf):基于最大/最小行和,。
  • np.linalg.cond(A, 'fro'):Frobenius,不是诱导范数,只作参考。
  1. 用 cond(A) 与 cond(A.T) 验证 (转置不变);用 cond(A.T @ A) 验证 (P6) 的平方关系。
  2. 注意 的可信上限: 时,cond 本身的返回值已经不可信(见 §3.8 的 )。

4.3 直接用 SVD 做更细的诊断

cond 只给一个数。要看清"病在哪",用奇异值谱:

  1. s = np.linalg.svd(A, compute_uv=False)(只要奇异值,不要向量,省一半时间)。
  2. s.max()/s.min() 就是 。
  3. 画 np.log10(s) 的"碎石图":若呈平滑指数衰减(Hilbert 型),说明是"渐进病态";若有一个断崖(gap),说明矩阵数值上低秩,此时求逆毫无意义,应该做截断 SVD 或正则化。
  4. 用 np.linalg.matrix_rank(A) 得到数值秩(阈值 )。

4.4 降低条件数的四类手段

  1. 行/列平衡(scaling):把每行除以该行的最大绝对值,使所有行量级一致。对量纲混杂的工程矩阵效果显著。
  2. 换算法:用 QR 代替正规方程( 的坑,见 (P6));用 SVD 做截断(把 的项直接丢弃)。
  3. 正则化:Tikhonov 正则化解 ,把条件数从 降到 。
  4. 预条件:构造 ,解 ;或在迭代法中把 用作预条件算子(11-3-迭代方法与预条件)。

4.5 三个"一秒自查"的恒等式(用来验算你的代码对不对)

  1. (任何诱导范数)。若你的"矩阵范数"对 给出 ,它一定是 Frobenius。
  2. (任何正交矩阵 )。用 np.linalg.qr 生成随机正交矩阵验证。
  3. (任何 )。若你的实现里乘一个常数后 变了,说明实现有 bug。

五、例题

例题 1:手算三种向量范数、三种矩阵范数与三种条件数

设

第 1 步:向量范数

验证不等式链 : ✓。

第 2 步:矩阵范数

1-范数(最大列和):

-范数(最大行和):

Frobenius 范数:

2-范数:先算

特征值:,即 ,。所以

交叉验证 Frobenius 与 2-范数:

且夹逼不等式 给出 ✓。

第 3 步:条件数

因为 。

(用 比值,最快):

:,所以

:,所以

结果汇总(并用 Python 验证):

量手算值numpy 验证
norm(A,1) = 7.0
norm(A,inf) = 9.0
norm(A,'fro') = 7.0710678
norm(A,2) = 6.7082039
cond(A) = 3.000000000000001
cond(A,1) = 4.2
cond(A,inf) = 4.2

结论:同一个矩阵, 而 ,相差 40%。这直接印证了易错点"条件数依赖范数选取"。

例题 2:验证误差放大关系与"方向依赖"

设 ,。

第 1 步:基本量

第 2 步:沿"胖"方向扰动

定理给出的界:

实际相对误差 ,远小于界 (只用到界的 )。

第 3 步:沿"瘦"方向扰动

相对 的扰动仍是 ,界仍是 ,而实际误差达到 ——用掉了界的 71%。

第 4 步:结论

扰动方向实际 定理的界界的利用率
(胖方向)
(瘦方向)

同样的条件数,同样的扰动大小,误差可以差 1000 倍。 条件数给的是最坏方向的上界;实际误差取决于右端项与扰动的方向。" 大就一定算不准"是错的," 大在某些方向上一定算不准"才是对的。


五之补一、知识点补强:范数的公理、形状与条件数的严格含义

为什么要单独补这一节

§一~§四 给了定义、公式与证明,但有三件事必须再往前推一步,否则你只记住了结论却不知道边界:

1. 公理与形状的对应:为什么"三角不等式"就是"单位球是凸的"?为什么 1/2/ 三种范数取最大值的位置完全不同(顶点 vs 圆上)?

2. Frobenius 与 2-范数差在哪:为什么一个能定义条件数,另一个不能?

3. Hilbert 矩阵为什么必然病态,以及" 度量离奇异有多远"这句 FAQ 里的断言到底成不成立(下面给出严格定理与证明)。

补 2.1 三条公理的几何对偶:范数 中心对称凸体

(1)(N3) 三角不等式 单位球凸。 记单位球 。

若 凸,则三角不等式成立:取任意 ,则 与 都在 内。由凸性,它们的凸组合也在 内:

于是 ,用齐次性即得 。

反过来,若范数满足 (N1)(N2)(N3),则 是凸的(对 内任意两点与任意 ,)。

(2)三公理各管一件事,拼起来就是"范数与中心对称凸体一一对应":

公理对单位球 的几何要求
(N1) 非负性 + 正定 含原点、有界、不退化(不含整条射线)
(N2) 齐次性() 关于原点中心对称(注意是 ,所以 与 同长度)
(N3) 三角不等式 是凸的

反过来:任给一个"含原点、有界、中心对称的凸闭集",定义

它就是范数(这叫 Minkowski 泛函)。"设计一个范数"与"画一个中心对称的凸体"是同一件事——这也解释了为什么 的""不是范数:它的"单位球"是凹的(例如 时星形区域向内凹陷),凸性失效。

(3)三种范数的单位球对照()。

范数单位球顶点/边界特征面积沿对角方向 的半径(用 2-范数度量)
菱形(旋转 的正方形)4 个顶点 (最小)
圆无顶点,处处光滑
轴对齐正方形4 个顶点 (最大)

三种单位球互相嵌套:

嵌套关系的"缝"正好由 与 之类的不等式填上,这就是 §1.2 那串不等式链的几何来源。沿着坐标轴三种范数给出的长度都是 (因为三个球都过 );沿着对角方向它们相差最大()。

这张表解释了一个高频疑问

"为什么同一个向量有三个长度?"——它们量的是不同几何体的刻度。1-范数的球"尖"在坐标轴上(只关心坐标轴方向走了多远,是曼哈顿的距离),-范数的球"尖"在对角方向(只关心最大的那个分量,是"最坏分量"的度量)。选范数 = 选“哪种误差最要紧”。

补 2.2 诱导范数三个公式的"来源":极值在哪个点上取到

为什么 是列和、 是行和、而 必须是奇异值?答案在单位球的顶点上。

诱导范数的定义是"在单位球上求最大值":。

  • 1-范数:单位球是菱形,顶点在 。函数 是凸函数,凸函数在多面体上的最大值必在顶点取到,所以只需检查 个标准基向量:

  • -范数:单位球是轴对齐正方体,顶点是 (共 个)。同理最大值在顶点取到,而且最优的符号是"跟着第 行的符号走":取 就得到

  • 2-范数:单位球是光滑的圆(球面),一个顶点都没有,所以"检查有限个候选点"的办法失效,必须用谱信息(Rayleigh 商 / SVD):

一个漂亮的对称性:把 转置,最大列和与最大行和互换,

(而行/列视角的互换正是 3-5-四大子空间的维数 里"行空间与列空间同维"的数值版本。)2-范数则完全对称:。

范数取到最大值的 为什么计算代价
某个标准基向量 (最大列)菱形球的顶点
符号向量 (最大行)正方体球的顶点
第一右奇异向量 球面上无顶点,只能求谱

补 2.3 Frobenius 与 2-范数:一个量"最长半轴",一个量"总能量"

设 的奇异值为 , 把单位球映成半轴为 的椭球。

几何上的关键区别: 只看椭球"最长的那个方向", 看的是全部方向的"总能量"。 于是:

情形二者的关系例子
秩 1(椭球退化成线段)
所有奇异值相等(椭球是球),差距最大, 时差 倍
一般情形——

还有一个完全不同的解释:把 按行(或按列)拉直成一个 维向量,它就是这个向量的欧氏长度:

这正是 1-3-矩阵入门 里"矩阵可以看成一堆数排成的表"这条直觉的价值所在——Frobenius 范数把矩阵当成一个长向量来量,所以它 就能算;2-范数把矩阵当成一个线性算子来量,所以它需要 SVD。

为什么不要用 当条件数

有三个毛病:

1. 它不是诱导范数(定理 11.2.6),所以 而不是 ," 且 取到"这条最重要的直觉被破坏;

2. 它对秩敏感: 含 ,而 与"扁度"无关;

3. 它与"误差放大倍数"没有定理级的对应关系(定理 11.2.7 要求诱导范数)。

报告条件数时必须写清范数;要判"病态程度"请用 (np.linalg.cond 默认)或 ( 更便宜)。

补 2.4 条件数误差界的三种推导视角

视角 A(代数,定理 11.2.7): ⟹ 用 与 两头夹,得 。

视角 B(一阶微分,最容易被工程师接受):设 与 同时被扰动,记 。用 Neumann 级数展开

只要 ,忽略二阶小量就得到

取范数并用 :

这就是定理 11.2.9 的一阶形式,也是工程上"相对误差 = 条件数 × 相对输入误差"这条口诀的确切来源。

视角 C(几何): = 椭球最长半轴 / 最短半轴。扰动在最短半轴方向被放大最多。

一个必须注意的细节:界里两侧都是相对量。如果写成绝对量 ,那它对"把 乘 "完全不敏感,也就无法回答"算得准不准"。条件数之所以必须是相对量的比值,是因为"病态"是形状(扁不扁)的属性,而不是大小(体积)的属性——这与 §3.8 里" 不适合做判据"是同一个道理的两面。

补 2.5 Hilbert 矩阵为什么必然病态(它是单项式基的 Gram 矩阵)

有一个非常本质的身份:它是 上单项式基 的 Gram 矩阵。 因为

(幂函数积分公式,一步就能验证。)于是三件事立刻清楚:

  1. 对称正定:Gram 矩阵都对称;且单项式 在 上线性无关,所以对 ,

(这给了" 正定"一个不用算顺序主子式的证明。)

  1. 病态 这组基"几乎线性相关": 对称正定,故奇异值等于特征值,最小特征值有 Rayleigh 商刻画

很小,就意味着存在一个系数不全为零、但在 上 范数极小的高次多项式——用几何语言说,就是" 方向的基向量几乎落在前 个基向量张成的子空间里"。这并不神秘: 总可以被低次多项式在 上相当好地逼近,所以高次单项式与低次单项式高度相关。

  1. 条件数指数增长的根源:(题目 4 实测)。每加一阶,最小奇异值就掉约 倍——这是"单项式基在固定区间上越来越冗余"的必然结果。一个经典定量结论是 随 按 的规律增长(本库只要求记住"指数增长",具体常数以授课教材为准)。

一个可以直接手算的数量感受:由题目 4,、,所以相对大小只有 的扰动就能把 变成奇异矩阵(这是题目 7 定理的直接推论)。而对 ,这个阈值掉到 。

实践后果(非常常见):用单项式基 做多项式最小二乘拟合,其正规方程矩阵就是 型( 在 上时正是 )。所以生产代码从不用单项式基,而用正交多项式(Legendre、Chebyshev)或 QR/SVD(4-3-最小二乘逼近、7-2-图像压缩与低秩逼近)。"换成正交基"就是把 Gram 矩阵变成对角矩阵(进而变成单位矩阵的标量倍), 一步降到 。

补 2.6 " 度量离奇异有多远"的严格版本

§3.8 的 FAQ 里有一句话:" 奇异,且 连续地度量'离奇异有多远'。" 现在把它变成定理(证明见题目 8):

读法:一个相对大小为 的扰动就足以把 变成奇异矩阵。 于是" 大"有了一个不依赖任何算法的、纯粹的矩阵含义——它是到奇异矩阵集合的相对距离的倒数。

(到奇异的相对距离)读法
要改变 才能变奇异
一个机器精度的扰动就够了
的扰动
亿分之一
比机器精度还小,等于已经奇异

这就是"为什么用 而不是 "的最终答案

三条理由(§3.8)加上这条定理,构成完整逻辑链:

1. 是尺度不变的(,由 (P2)), 不是;

2. 是纯几何量(椭球的扁度),与维数 无关, 随 指数爆炸;

3. 有精确的操作含义("多大的扰动能让它奇异"),而 没有任何这样的含义。

顺带一提: 与 的结合 只在所有 都接近时才有意义,而"病态"恰恰意味着 相差极大。


五之补二、新增例题(六道)

题目 3(手算数字题):手算一个 矩阵的四种条件数

设对称三对角矩阵

手算 , 及其三个范数,然后求出 四个条件数,并解释它们的差别有多大、为什么。

第 1 步: 的四个范数(最大列和、最大行和、Frobenius、最大奇异值)

列和(每列绝对值之和):

行和与列和相同( 对称),所以

Frobenius:

2-范数需要 的最大特征值。因为 对称,,而 的特征值是 的特征值的平方。先求 的特征值(三对角 Toeplitz 矩阵的标准结果):

(验证: ✓, ✓。)

因为 对称正定(三个特征值全正),奇异值 特征值:

顺带发现了一个漂亮的巧合:这个矩阵上 三者相等,但 不同。巧合不代表等价——它们量的是完全不同的几何量(表格见下),换一个矩阵立刻分开。

第 2 步:(用伴随矩阵手算)

,

(伴随矩阵是代数余子式矩阵的转置,此处 对称,转置后形态不变,可用 的第一行验证: ✓, ✓, ✓。)

的行和(绝对值):

(最后一步用了 。)

第 3 步:四个条件数

第 4 步:结果汇总与解释

量手算值(精确)数值numpy 验证
norm(A,1) = 4.0
norm(A,inf) = 4.0
norm(A,'fro') = 4.0
norm(A,2) = 3.4142136
cond(A,1) = 8.0
cond(A,inf) = 8.0
cond(A) = 5.8284271
cond(A,'fro') = 7.2111
det(A) = 4.0

三个读数:

  1. 而 ,相差 ; 又是第三个值。 同一个矩阵、同一个"病态程度",四个范数给出四个数——报告条件数必须写清范数。
  2. 差距的上界是 倍(§3.1):这里 ✓。
  3. 虽然在数值上"看起来正常",但它不是诱导范数(),不要用它做判据。

题目 4(手算数字题):Hilbert 矩阵 的条件数(精确有理数)与 的列表

(1) 用精确分数手算 的 、、 与 。

(2) 给出 时 的数值表,并分析增长规律。

(3) 回答:" 的 只有 ,而 的 有 ,是不是说明 比 病态 3000 倍?"

第 1 步: 的原矩阵与 -范数(精确分数)

行和的绝对值(元素全正,直接相加):

第 2 步:(整数矩阵!)

的逆矩阵元素全是整数,这一事实本身就很值得注意(一般矩阵的逆不会有这么"干净"的结构):

验证(用第一行乘 的三列):

(用同样的方法验证第 2、3 行:可得 与 。)

第 3 步:(精确值)

的行和:

这是一个完全用分数手算出来的条件数,精确值 ——没有舍入误差,可以当作"标准答案"来检查任何程序。

第 4 步: 与

行列式也有漂亮的精确值:

(可以用 验证:。)

需要特征值。 的特征多项式(用 、全体二阶主子式之和、 三个不变量)是

其中 ,三个二阶主子式之和为

这个三次方程的根是无理数(不能用简单分数写出来),数值解为

(验证:和 ✓,积 ✓。)

对称正定,奇异值即特征值,于是

注意 与 相差 ,而 ✓。

第 5 步: 的完整列表(numpy 实测,双精度)

(到奇异的相对距离)
3
4
5
6
7
8

两条规律:

  1. 每增加一阶大约乘 倍(),呈指数增长:。这是 Hilbert 矩阵"经典病态"的定量含义。
  2. (对称导致),且都比 大 倍——再次印证"条件数依赖范数"。

第 6 步: 与 的 对比说明了什么

的 是 , 的是 ,比值是

但 的比值只有

差了 倍!原因是 有 个因子( 比 多 3 个因子),每个因子都可能很小, 的下降主要来自"因子个数",而不是"扁度";而 只关心两个极端。" 小 倍 病态 倍"是错的;正确的读法是 根本不该用来量病态。 想做定量比较,用 那一列( 是 , 是 )。


题目 5(手算数字题):误差界的"紧性"——什么时候 的上界刚好被取满

设 。

(1) 手算 、奇异向量、单位球的像。

(2) 取 (沿最大奇异方向),(沿最小奇异方向),手算两侧相对误差并验证界的利用率是 。

(3) 取 (沿最小奇异方向),(沿最大奇异方向),重算利用率,并解释结果。

(4) 由 (2)(3) 总结:什么时候" 大"才真的意味着"算不准"。

第 1 步:基本量

对称,奇异向量就是标准基:(对应 ,椭球的长轴)、(对应 ,短轴)。单位圆被映成半轴 与 的椭圆,非常扁(扁度 )。。

第 2 步: 用满界的扰动("最坏情形")

取 ,则

取扰动 (沿最短奇异方向):

定理的界:

界的利用率 ——等号取到,界是紧的。

为什么能取满? 因为把上面两式相除:

两个因子同时取到极值 界的利用率 。

第 3 步:两个方向互换("最好情形")

取 (沿最短奇异方向),则

取 (沿最长奇异方向):

界: ,而实际相对误差只有 ——利用率 (十万分之一)。

同一个矩阵、同样量级的扰动,误差相差 倍。

第 4 步:结论表

情形 的方向 的方向输入相对误差输出相对误差界的利用率
(2) 最坏最长奇异方向 最短奇异方向
(3) 最好最短奇异方向 最长奇异方向

正确的说法

" 大 = 这个问题的某个方向上会被放大 倍",不是" 大 = 一定算不准"。

判断实际误差还需要知道 与 在奇异向量基下的分解:

只有当 的能量集中在 (分母小)、 的能量集中在 (分子大)时,比值才逼近 。这条观察在 12-2-协方差矩阵 与 7-3-主成分分析PCA 里直接决定"主成分方向稳不稳"。


题目 6(证明题): 当且仅当 是正交矩阵的标量倍

(1) 证明 (, 正交)。

(2) 证明 的正交不变性:对任意正交 ,。

(3) 证明 与 。

(4) 说明去掉"2-范数"这个条件会怎样(换成 Frobenius 范数)。

第 1 步:(1) 的证明

设 的 SVD 为 ,,( 非奇异)。

充分性:若 ( 正交),则 ,特征值全为 ,故所有奇异值都等于 ,于是

(顺带得到:任意正交矩阵 。)

必要性:设 ,即 ,也就是 。由奇异值的排列 立刻得到所有奇异值都相等:。于是 ,代入 SVD:

正交 正交()。证毕。

第 2 步:(2) 正交不变性

只需注意 的正交不变性:

因为 的奇异值与 的完全相同( 就是一个合法的 SVD, 与 仍正交)。同理

两式相乘即得 。

这条性质的实践意义(非常重要):用正交变换做预处理(QR 分解、Householder、Givens、SVD)不会恶化条件数。 这正是 4-4-标准正交基与Gram-Schmidt 里"QR 比正规方程稳定"与 9-2-Hermitian矩阵与酉矩阵 里"酉变换不改变奇异值"的共同原因。相比之下,用一般的初等变换(消元)会改变条件数——这就是 LU 需要选主元、而 QR 不需要的原因(附录-矩阵分解总览)。

第 3 步:(3) 两条不变性

转置: 是 的 SVD,奇异值集合相同,故

求逆:,奇异值是 ,于是

读法:"求逆不会让问题变得更病态"——但注意这只说明"同样的难度",不说明求逆是安全的(求逆过程本身引入的误差才是 11-1-数值稳定性与LU 里"不要用 inv"的原因)。

第 4 步:换成 Frobenius 范数会怎样(条件为什么不能省)

在 处给出

所以:

性质
(破坏)
成立(齐次性)成立
成立( 正交)成立(Frobenius 也正交不变)
与误差放大定理 11.2.7 对应成立(诱导范数)不成立(不是诱导范数)
由奇异值表达 的倒数关系(对秩敏感)

结论: 这条刻画只对诱导范数(确切地说只对 2-范数)成立;Frobenius 条件数在正交矩阵的标量倍上根本取不到 。这就是"说条件数必须说范数"的最硬证据。


题目 7(证明题): 等于"到最近奇异矩阵的相对距离"

设 非奇异。证明

并说明它为什么是" 比 更懂奇异性"的根本原因。

第 1 步:下界(任何能致奇异的扰动都不小于 )

设 奇异,则存在 使

取 2-范数并用诱导范数的基本不等式 :

两边除以 :

于是相对距离

第 2 步:上界(显式构造一个刚好让它奇异的 )

取 SVD ,令 分别是第 个左、右奇异向量(对应最小的 ),构造秩 1 扰动

先验证把它作用在 上会发生什么:

(用了 与 。)因为 , 奇异 ✓。

再算它的范数: 是秩 1 矩阵的标量倍,其唯一非零奇异值为

于是相对距离 ,与第 1 步的下界吻合。

第 3 步:验证(数值)

(构造值)扰动后

第三行的 可以手算验证:

扰动后 降到 ——在双精度下就是 ,矩阵真的奇异了。

第 4 步:这条定理的三重意义

  1. 给"病态"一个不依赖算法的定义: 只由 决定,与你怎么解方程无关。" 大"= "A 离奇异矩阵集合很近",这是一个纯粹的几何陈述。
  2. 解释为什么 不行: 是体积(),而到奇异的距离只看最小的那个奇异值()与 的比。 的 (体积正常),但 (离奇异只有一个机器精度)。
  3. 给出数值上的警戒线: 时,双精度下这个矩阵与奇异矩阵无法区分——这就是 §3.8 里 之后 不再可信的根本原因,也是 7-2-图像压缩与低秩逼近 里"数值秩"(截断 SVD)的定义依据: 的方向直接丢掉。

别把这条定理读成" 大就无解"

定理说的是"存在一个相对大小为 的扰动让它奇异",而不是"任何扰动都会"。它给的是最坏情形。实践中的判断顺序仍然是:

1. 算 (np.linalg.cond);

2. 看 与 的方向(题目 5);

3. 看残差与向后误差(11-1-数值稳定性与LU 的诊断流程)。


题目 8(numpy 数值实验):范数、Hilbert 条件数、到奇异的距离与界的紧性

用 numpy 完成六组实验:单位球形状、 的四种范数与条件数、Hilbert 矩阵 的条件数表、 与到奇异的距离、、误差界的紧性与正规方程的条件数平方。要求只用 numpy,输出与下面一致。

第 1 步:代码

import numpy as np

def hilbert(n):
    i, j = np.ogrid[1:n + 1, 1:n + 1]
    return 1.0 / (i + j - 1)

# ---------- (1) unit balls: radius measured in the 2-norm along the diagonal ----------
print("--- unit ball radius along direction (1,1), measured with the 2-norm ---")
for p in (1, 2, np.inf):
    v = np.array([1.0, 1.0]) / np.linalg.norm([1.0, 1.0], ord=p)
    print("  p = %-4s  point on the unit ball = %s   its 2-norm = %.4f"
          % (p, np.round(v, 4), np.linalg.norm(v, 2)))
print("  => diamond (0.7071) < circle (1.0) < square (1.4142)")

# ---------- (2) the 3x3 hand example ----------
A = np.array([[2.0, 1.0, 0.0],
              [1.0, 2.0, 1.0],
              [0.0, 1.0, 2.0]])
Ainv = np.linalg.inv(A)
print("\n--- 3x3 example ---")
print("A =\n", A)
print("A^{-1} =\n", Ainv, "   (exact: 1/4 * [[3,-2,1],[-2,4,-2],[1,-2,3]])")
print("allclose to exact inverse:", np.allclose(Ainv, np.array([[3, -2, 1], [-2, 4, -2], [1, -2, 3]]) / 4))
print("row sums of A     =", np.abs(A).sum(axis=1), " col sums =", np.abs(A).sum(axis=0))
print("row sums of A^-1  =", np.abs(Ainv).sum(axis=1), " col sums =", np.abs(Ainv).sum(axis=0))
print("||A||_1 = %.4f  ||A||_inf = %.4f  ||A||_F = %.4f  ||A||_2 = %.4f"
      % (np.linalg.norm(A, 1), np.linalg.norm(A, np.inf), np.linalg.norm(A, 'fro'), np.linalg.norm(A, 2)))
s = np.linalg.svd(A, compute_uv=False)
print("singular values =", s, "  2+sqrt(2) = %.4f  2-sqrt(2) = %.4f" % (2 + np.sqrt(2), 2 - np.sqrt(2)))
print("det A = %.4f (exact 4)" % np.linalg.det(A))
print("kappa_1 = %.4f  kappa_inf = %.4f  kappa_2 = %.4f  kappa_F = %.4f"
      % (np.linalg.cond(A, 1), np.linalg.cond(A, np.inf), np.linalg.cond(A, 2), np.linalg.cond(A, 'fro')))
print("eigenvalues of A:", np.linalg.eigvalsh(A), " (exact 2-sqrt(2), 2, 2+sqrt(2))")

# ---------- (3) Hilbert matrix, n = 3..8 ----------
print("\n--- Hilbert matrix H_n: n = 3..8 ---")
print("%3s %12s %12s %12s %13s %12s %12s" %
      ("n", "kappa_1", "kappa_2", "kappa_inf", "det", "sigma_min", "1/kappa_2"))
for n in range(3, 9):
    H = hilbert(n)
    sv = np.linalg.svd(H, compute_uv=False)
    print("%3d %12.4e %12.4e %12.4e %13.4e %12.4e %12.4e"
          % (n, np.linalg.cond(H, 1), np.linalg.cond(H, 2), np.linalg.cond(H, np.inf),
             np.linalg.det(H), sv.min(), 1.0 / np.linalg.cond(H, 2)))

H3 = hilbert(3)
H3inv_exact = np.array([[9., -36., 30.], [-36., 192., -180.], [30., -180., 180.]])
print("\nH_3^{-1} (numpy) =\n", np.linalg.inv(H3))
print("H_3^{-1} equals the exact integer matrix:", np.allclose(np.linalg.inv(H3), H3inv_exact))
print("row sums of H_3^{-1} =", np.abs(H3inv_exact).sum(axis=1))
print("||H_3||_inf = %.6f (exact 11/6 = %.6f)  ||H_3^{-1}||_inf = %.4f"
      % (np.linalg.norm(H3, np.inf), 11 / 6, np.linalg.norm(H3inv_exact, np.inf)))
print("kappa_inf(H_3) = %.4f  (exact 11/6*408 = %.4f)   kappa_1(H_3) = %.4f"
      % (np.linalg.cond(H3, np.inf), 11 / 6 * 408, np.linalg.cond(H3, 1)))
ev = np.linalg.eigvalsh(H3)
print("eigenvalues of H_3 =", ev, " -> kappa_2 = %.4f" % (ev.max() / ev.min()))
print("det H_3 = %.6e  (exact 1/2160 = %.6e)" % (np.linalg.det(H3), 1 / 2160))

# ---------- (4) 1/kappa_2 is the relative distance to the nearest singular matrix ----------
print("\n--- 1/kappa_2 = min ||dA||_2/||A||_2 over singular A+dA ---")
for name, M in (("H_3", hilbert(3)), ("H_6", hilbert(6)), ("3x3 example", A)):
    U, S, Vt = np.linalg.svd(M)
    dA = -S[-1] * np.outer(U[:, -1], Vt[-1])          # A + dA is singular
    print("  %-11s ||dA||_2/||A||_2 = %.6e   1/kappa_2 = %.6e   sigma_min(A+dA) = %.3e"
          % (name, np.linalg.norm(dA, 2) / np.linalg.norm(M, 2), 1 / np.linalg.cond(M, 2),
             np.linalg.svd(M + dA, compute_uv=False).min()))

# ---------- (5) kappa_2(A) = 1 iff A is a scalar multiple of an orthogonal matrix ----------
print("\n--- kappa_2 = 1  <=>  A = sigma * Q ---")
rng = np.random.default_rng(7)
Q, _ = np.linalg.qr(rng.standard_normal((5, 5)))
print("  cond(2.5*Q)               = %.16f" % np.linalg.cond(2.5 * Q))
P = 2.5 * Q
P[0, 0] += 1e-3
print("  cond(2.5*Q with one entry perturbed by 1e-3) = %.10f" % np.linalg.cond(P))
print("  cond(diag(1,2,3))         = %.4f  (all singular values distinct -> kappa > 1)" % np.linalg.cond(np.diag([1., 2., 3.])))

# ---------- (6) the error bound is attained along the worst direction ----------
print("\n--- tightness of ||dx||/||x|| <= kappa * ||db||/||b|| ---")
D = np.diag([1000.0, 1.0])
kappa = np.linalg.cond(D)
b_good = np.array([1000.0, 0.0])       # b along u_max
x_good = np.linalg.solve(D, b_good)    # x = (1,0)
db = np.array([0.0, 1e-3])             # perturbation along u_min
dx = np.linalg.solve(D, db)
rel_b = np.linalg.norm(db) / np.linalg.norm(b_good)
rel_x = np.linalg.norm(dx) / np.linalg.norm(x_good)
print("  kappa = %.1f   rel_db = %.6e   rel_dx = %.6e   bound = %.6e   usage = %.4f%%"
      % (kappa, rel_b, rel_x, kappa * rel_b, 100 * rel_x / (kappa * rel_b)))

# ---------- (7) kappa(A^T A) = kappa(A)^2 ----------
print("\n--- normal equations square the condition number ---")
R = rng.standard_normal((60, 12))
R[:, -1] = R[:, 0] + 1e-6 * rng.standard_normal(60)
print("  cond(A)     = %.6e" % np.linalg.cond(R))
print("  cond(A^T A) = %.6e   ratio to cond(A)^2 = %.4f"
      % (np.linalg.cond(R.T @ R), np.linalg.cond(R.T @ R) / np.linalg.cond(R)**2))

第 2 步:实测输出

--- unit ball radius along direction (1,1), measured with the 2-norm ---
  p = 1     point on the unit ball = [0.5 0.5]   its 2-norm = 0.7071
  p = 2     point on the unit ball = [0.7071 0.7071]   its 2-norm = 1.0000
  p = inf   point on the unit ball = [1. 1.]   its 2-norm = 1.4142
  => diamond (0.7071) < circle (1.0) < square (1.4142)

--- 3x3 example ---
A =
 [[2. 1. 0.]
 [1. 2. 1.]
 [0. 1. 2.]]
A^{-1} =
 [[ 0.75 -0.5   0.25]
 [-0.5   1.   -0.5 ]
 [ 0.25 -0.5   0.75]]    (exact: 1/4 * [[3,-2,1],[-2,4,-2],[1,-2,3]])
allclose to exact inverse: True
row sums of A     = [3. 4. 3.]  col sums = [3. 4. 3.]
row sums of A^-1  = [1.5 2.  1.5]  col sums = [1.5 2.  1.5]
||A||_1 = 4.0000  ||A||_inf = 4.0000  ||A||_F = 4.0000  ||A||_2 = 3.4142
singular values = [3.41421356 2.         0.58578644]   2+sqrt(2) = 3.4142  2-sqrt(2) = 0.5858
det A = 4.0000 (exact 4)
kappa_1 = 8.0000  kappa_inf = 8.0000  kappa_2 = 5.8284  kappa_F = 7.2111
eigenvalues of A: [0.58578644 2.         3.41421356]  (exact 2-sqrt(2), 2, 2+sqrt(2))

--- Hilbert matrix H_n: n = 3..8 ---
  n      kappa_1      kappa_2    kappa_inf           det    sigma_min    1/kappa_2
  3   7.4800e+02   5.2406e+02   7.4800e+02    4.6296e-04   2.6873e-03   1.9082e-03
  4   2.8375e+04   1.5514e+04   2.8375e+04    1.6534e-07   9.6702e-05   6.4459e-05
  5   9.4366e+05   4.7661e+05   9.4366e+05    3.7493e-12   3.2879e-06   2.0982e-06
  6   2.9070e+07   1.4951e+07   2.9070e+07    5.3673e-18   1.0828e-07   6.6885e-08
  7   9.8519e+08   4.7537e+08   9.8519e+08    4.8358e-25   3.4939e-09   2.1036e-09
  8   3.3873e+10   1.5258e+10   3.3873e+10    2.7371e-33   1.1115e-10   6.5541e-11

H_3^{-1} (numpy) =
 [[   9.  -36.   30.]
 [ -36.  192. -180.]
 [  30. -180.  180.]]
H_3^{-1} equals the exact integer matrix: True
row sums of H_3^{-1} = [ 75. 408. 390.]
||H_3||_inf = 1.833333 (exact 11/6 = 1.833333)  ||H_3^{-1}||_inf = 408.0000
kappa_inf(H_3) = 748.0000  (exact 11/6*408 = 748.0000)   kappa_1(H_3) = 748.0000
eigenvalues of H_3 = [0.00268734 0.12232707 1.40831893]  -> kappa_2 = 524.0568
det H_3 = 4.629630e-04  (exact 1/2160 = 4.629630e-04)

--- 1/kappa_2 = min ||dA||_2/||A||_2 over singular A+dA ---
  H_3         ||dA||_2/||A||_2 = 1.908190e-03   1/kappa_2 = 1.908190e-03   sigma_min(A+dA) = 3.863e-18
  H_6         ||dA||_2/||A||_2 = 6.688490e-08   1/kappa_2 = 6.688490e-08   sigma_min(A+dA) = 1.823e-17
  3x3 example ||dA||_2/||A||_2 = 1.715729e-01   1/kappa_2 = 1.715729e-01   sigma_min(A+dA) = 9.954e-16

--- kappa_2 = 1  <=>  A = sigma * Q ---
  cond(2.5*Q)               = 1.0000000000000004
  cond(2.5*Q with one entry perturbed by 1e-3) = 1.0004000801
  cond(diag(1,2,3))         = 3.0000  (all singular values distinct -> kappa > 1)

--- tightness of ||dx||/||x|| <= kappa * ||db||/||b|| ---
  kappa = 1000.0   rel_db = 1.000000e-06   rel_dx = 1.000000e-03   bound = 1.000000e-03   usage = 100.0000%

--- normal equations square the condition number ---
  cond(A)     = 2.209022e+06
  cond(A^T A) = 4.879791e+12   ratio to cond(A)^2 = 1.0000

第 3 步:从输出里读出的五条结论

  1. 单位球的形状可以直接量出来:沿对角方向 走到单位球边界,用 2-范数度量得到的半径分别是 (菱形)、(圆)、(正方形)。三种范数的单位球确实互相嵌套,且在坐标轴方向重合、在对角方向差最大。
  2. 例子的手算全部被程序确认:、、、、、、特征值 。
  3. Hilbert 矩阵的指数病态: 从 增到 , 从 涨到 (约 倍/阶),而 从 掉到 (约 /阶)。两列的增长速率完全不同,这正说明 与 量的不是同一件事。 另外 与手算的精确值完全一致()。
  4. 确实是到奇异的相对距离:构造的扰动 的相对大小与 逐位相符,且扰动后 降到 (双精度下等于 )。
  5. 误差界的紧性与条件数平方:沿最坏方向,界被用满 ;正规方程把条件数从 变成 ,比值 精确等于 。这就是"最小二乘不要用正规方程"的定量证据。

复现时注意两件事

1. np.linalg.cond(H) 在 之后不可信(§3.8): 已淹没在舍入噪声里, 反而变小。本实验只到 ,是安全的。

2. **第 (5) 段的 cond(2.5*Q) = 1.0000000000000004 不是 ,这不是错误**:SVD 的舍入误差让比值落在 附近的 处。判断"是否等于 "要用 np.isclose(..., rtol=1e-12) 之类的容差,不要用 ==(11-1-数值稳定性与LU 的易错点 1)。


六、应用

  1. 求解前的"体检":任何用到 np.linalg.solve、lstsq、inv 的代码,在关键路径上都应该算一次 cond。经验阈值: 放心; 注意; 换方法(正则化/SVD/更高精度)。
  2. 最小二乘与回归: 意味着"用正规方程做最小二乘"在病态时会灾难性失败。这就是为什么 np.linalg.lstsq 用 SVD 而不用正规方程(4-3-最小二乘逼近)。
  3. PCA 与协方差矩阵:协方差矩阵的条件数决定主成分方向是否稳定。 很大时,"第 2 主成分"可能完全是噪声。实践中常先标准化(把每个变量的方差归一到 1)以改善条件数(7-3-主成分分析PCA、12-2-协方差矩阵)。
  4. 图像反卷积与逆问题:模糊核的频域响应在高频趋于零,导致 巨大——这是病态逆问题(ill-posed inverse problem)的典型。解法是 Tikhonov 正则化或截断 SVD。
  5. 有限元与网格质量:刚度矩阵的条件数随网格变细按 增长( 是网格尺寸)。三维问题加密一倍网格, 就涨 4 倍,这直接决定了多重网格等预条件技术的必要性。
  6. 机器学习的优化:损失函数 Hessian 的条件数决定梯度下降的收敛速率( 越大,峡谷越窄,收敛越慢)。Batch Normalization 与特征标准化本质上都是在降低有效条件数。
  7. 神经网络中的病态层:某些层的权重矩阵条件数达到 ,会导致梯度爆炸/消失;谱归一化(spectral normalization)通过约束 来改善这一状况——这正是 的直接应用。

七、可运行代码示例

依赖

本节只用 numpy,无需额外安装。

(1) 三种向量范数的对比与不等式链

import numpy as np

x = np.array([3.0, -4.0])
print("1-norm   =", np.linalg.norm(x, 1))       # 7.0
print("2-norm   =", np.linalg.norm(x, 2))       # 5.0
print("inf-norm =", np.linalg.norm(x, np.inf))  # 4.0
print("p-norm p=3 :", np.linalg.norm(x, 3))
print("nonzeros (ord=0):", np.linalg.norm(x, 0))

# 验证 norm_inf <= norm_2 <= norm_1 <= sqrt(n) * norm_2
print("inf<=2<=1 :", np.linalg.norm(x, np.inf) <= np.linalg.norm(x, 2)
      <= np.linalg.norm(x, 1) <= np.sqrt(x.size) * np.linalg.norm(x, 2))

# 体会"单位球"的形状:沿对角方向 (1,1) 走到单位球边界,看它离原点多远
# 菱形(1-范数)最近 -> 圆(2-范数)居中 -> 正方形(inf-范数)最远
print("\n单位球在对角方向上的'半径'(用 2-范数度量):")
for p in (1, 2, 3, 4, 10, np.inf):
    v = np.array([1.0, 1.0])
    v = v / np.linalg.norm(v, ord=p)      # 缩放到 p-范数等于 1
    print("  p=%5s -> 对角点 = %s, 其 2-范数 = %.4f"
          % (p, np.round(v, 4), np.linalg.norm(v, 2)))
# 1-范数: 0.7071 < 2-范数: 1.0000 < inf-范数: 1.4142  —— 这就是菱形→圆→正方形

(2) 矩阵范数与条件数:三种范数对照

import numpy as np

A = np.array([[3., 0.],
              [4., 5.]])
print("norm1   =", np.linalg.norm(A, 1))         # 7.0   最大列和
print("norminf =", np.linalg.norm(A, np.inf))    # 9.0   最大行和
print("normF   =", np.linalg.norm(A, 'fro'))     # 7.0711
print("norm2   =", np.linalg.norm(A, 2))         # 6.7082 = sigma_max
s = np.linalg.svd(A, compute_uv=False)
print("singular values =", s, "  sqrt(eig(A^T A)) =", np.sqrt(np.linalg.eigvalsh(A.T @ A))[::-1])
print("cond2 =", np.linalg.cond(A), " cond1 =", np.linalg.cond(A, 1),
      " condinf =", np.linalg.cond(A, np.inf))

# 三条自查恒等式
I = np.eye(4)
print("norm2(I)   =", np.linalg.norm(I, 2), "  normF(I) =", np.linalg.norm(I, 'fro'), " <- Frobenius 不是诱导范数")
rng = np.random.default_rng(0)
Q, _ = np.linalg.qr(rng.standard_normal((5, 5)))
print("cond(Q)    =", np.linalg.cond(Q), "  (正交矩阵应为 1)")
print("cond(1e7*A)=", np.linalg.cond(1e7 * A), "  <- 尺度不变")

(3) 条件数与误差放大:验证定理 11.2.7 并观察方向依赖

import numpy as np

A = np.diag([1000.0, 1.0])
b = np.array([1000.0, 1.0])
x = np.linalg.solve(A, b)
kappa = np.linalg.cond(A)
print("kappa_2(A) =", kappa, "  x =", x)

for db in (np.array([1.0, 0.0]), np.array([0.0, 1.0])):
    dx = np.linalg.solve(A, db)
    rel_b = np.linalg.norm(db) / np.linalg.norm(b)
    rel_x = np.linalg.norm(dx) / np.linalg.norm(x)
    print("db=%s  rel_db=%.3e  rel_dx=%.3e  bound=%.3e  bound利用率=%.2f%%"
          % (db, rel_b, rel_x, kappa * rel_b, 100 * rel_x / (kappa * rel_b)))

(4) 病态程度随规模增长:Hilbert 矩阵 vs 随机矩阵

import numpy as np

def hilbert(n):
    i, j = np.ogrid[1:n + 1, 1:n + 1]
    return 1.0 / (i + j - 1)

print("%4s %14s %14s %14s" % ("n", "cond(H_n)", "det(H_n)", "损失位数"))
for n in (2, 3, 4, 5, 6, 8, 10, 12, 13, 14):
    H = hilbert(n)
    c = np.linalg.cond(H)
    print("%4d %14.4e %14.4e %14.1f" % (n, c, np.linalg.det(H), np.log10(c)))

print("\n--- 随机矩阵(各元素 iid 标准正态)作为对照 ---")
rng = np.random.default_rng(2026)
for n in (10, 50, 100, 200):
    R = rng.standard_normal((n, n))
    print("n=%4d  cond = %10.3f" % (n, np.linalg.cond(R)))

print("\n--- det 与 cond 无关的两个反例 ---")
A1 = 1e-20 * np.eye(4)
A2 = np.diag([1e8, 1.0, 1e-8])
print("det=%.3e  cond=%.3e   <- det 极小却完全良态" % (np.linalg.det(A1), np.linalg.cond(A1)))
print("det=%.3e  cond=%.3e   <- det = 1 却极度病态" % (np.linalg.det(A2), np.linalg.cond(A2)))

(5) 条件数与"解到底准不准"的实验

import numpy as np

rng = np.random.default_rng(11)
n = 60
Q, _ = np.linalg.qr(rng.standard_normal((n, n)))
for k in (2, 6, 10, 14):
    sig = np.logspace(0, -k, n)
    A = (Q * sig) @ Q.T
    A = (A + A.T) / 2
    x_true = rng.standard_normal(n)
    b = A @ x_true
    x_hat = np.linalg.solve(A, b)
    fwd = np.linalg.norm(x_hat - x_true) / np.linalg.norm(x_true)   # 前向误差
    bwd = np.linalg.norm(b - A @ x_hat) / (np.linalg.norm(A) * np.linalg.norm(x_hat))  # 向后误差
    print("目标 kappa=1e%-2d  实测 cond=%.3e  前向误差=%.3e  向后误差=%.3e  前向/向后=%.3e"
          % (k, np.linalg.cond(A), fwd, bwd, fwd / bwd))
# 观察:向后误差始终 ~1e-16(算法稳定);前向误差 ≈ cond * 向后误差

(6) 条件数与最小二乘:为什么不要用正规方程

import numpy as np

rng = np.random.default_rng(5)
m, n = 200, 20
A = rng.standard_normal((m, n))
# 人为制造病态:让后几列几乎是前几列的线性组合
A[:, -1] = A[:, 0] + 1e-8 * rng.standard_normal(m)
b = rng.standard_normal(m)

print("cond(A)       = %.3e" % np.linalg.cond(A))
print("cond(A^T A)   = %.3e   <- 平方关系" % np.linalg.cond(A.T @ A))

x_normal = np.linalg.solve(A.T @ A, A.T @ b)      # 正规方程(条件数平方,危险)
x_lstsq, res, rank, sv = np.linalg.lstsq(A, b, rcond=None)   # SVD 实现(nx.linalg 推荐)
x_pinv = np.linalg.pinv(A) @ b                    # 伪逆
print("正规方程与 lstsq 的解之差 = %.3e" % np.linalg.norm(x_normal - x_lstsq))
print("pinv  与 lstsq 的解之差 = %.3e" % np.linalg.norm(x_pinv - x_lstsq))
print("残差: 正规方程 %.3e   lstsq %.3e"
      % (np.linalg.norm(A @ x_normal - b), np.linalg.norm(A @ x_lstsq - b)))
print("A 的奇异值谱(对数):", np.round(np.log10(sv), 2))
print("lstsq 报告的数值秩 =", rank, " (设计矩阵列数 n =", n, ")")

八、易错点

四个高频错误

1. 用行列式判断病态。 受尺度影响(),衡量的是椭球的体积而不是扁度。 的 是 但 ; 的 是 但 。判断病态请用 np.linalg.cond。

2. 忘记条件数依赖范数选取。 、、、 是四个不同的数,最多可以相差 倍(例题 1 里就差 40%)。而且:

- np.linalg.cond(A) 与 np.linalg.norm(A) 的默认是 2-范数(要 SVD,最贵);

- cond(A, 'fro') 用的是 Frobenius 范数,而它不是诱导范数,所以 不满足""以外的许多性质(例如 而不是 );

- 报告结果时必须写清用了哪个范数。

3. 以为 大就一定算不准。 给的是最坏方向的上界。例题 2 里同一矩阵、同样大小的扰动,误差相差 1000 倍。若右端项 几乎完全落在最大奇异方向 上,即使 也可能算得相当准。要结合 在奇异向量基下的分解来判断。

4. 把条件数与残差混为一谈。 残差 小只说明向后误差小("解的是几乎同一个问题"),不说明解接近真解。二者的关系是

看到"残差 1e-16 但结果明显不对",不要怀疑代码,去算 cond。

补充两个实现层面的坑:

  • np.linalg.cond 在 大时自身不可信:Hilbert 矩阵在 时算出的 反而变小(见 §3.8)。原因是 已经淹没在舍入噪声中。可信上限约 。
  • 表格里的范数不要写 \|A\|:Obsidian 的 Markdown 表格会把 | 当成列分隔符。在表格单元格内请写 \lVert A \rVert(本库表格均采用此写法),在正文行内公式里 \|A\| 是安全的。

九、练习题

练习 1(基础) 设 ,。

(1) 求 与 。

(2) 求 。

(3) 求 与 ,并说明它们是否相等以及为什么。

练习 2(基础) 判断正误并说明理由:

(1) 若 ,则 。

(2) 。

(3) 。

(4) 若 ,则 。

(5) 若 ,则 是正交矩阵的标量倍。

练习 3(进阶) 设 , 很小。

(1) 求 与 。

(2) 证明 (当 ),并说明为什么 趋于 与 趋于 在这里是"同步"的,而这个同步不具有普遍性(对照 的情形)。

(3) 若 ,双精度下还能得到几位有效数字?

练习 4(进阶) 设 非奇异,。若在计算 时引入了相对误差 (例如来自物理测量),用定理 11.2.7 估计解 的相对误差上界。若改用 的矩阵,同样的测量误差会带来什么后果?这对"用病态模型反演物理参数"意味着什么?

练习 5(思考) 设 是 的正交矩阵, 且 。

(1) 求 、、( 正交方阵)。

(2) 用 说明 Frobenius 条件数为什么不满足" 且 取到 1"这一直觉。

(3) 说明为什么" 是几何量(扁度)而 不是"。


十、常见问题 FAQ

Q1:为什么要有这么多范数?直接用欧氏长度不就够了?

因为不同的应用关心不同的"误差"。举三个真实场景:(a) 逐行检查方程组残差时,-范数直接告诉你"哪一行的误差最大",这是最自然的指标;(b) 稀疏矩阵与图论问题(PageRank、网络流)里,1-范数对应"总流量/总概率",守恒律天然是 1-范数;(c) 几何问题、谱分析、条件数、PCA 必须用 2-范数,因为只有它与内积、正交、奇异值相容。选错范数不是"精度差一点",而是"回答了一个不同的问题"。

Q2:条件数为什么不能只用行列式?我老师说 就是接近奇异。

在纯代数(精确算术)意义下这话没错: 奇异。但数值上要问的是"离奇异有多远",而"多远"必须是尺度不变的度量。 的 是 ,但它在数值上离奇异无穷远();反之 的 精确等于 ,却已经贴着奇异的边界()。正确说法是: 奇异,且 连续地度量"离奇异有多远"。 你老师说的那句话在"考试卷上给你一个具体数字矩阵、让你判断是否可逆"的场景下是够用的,但它不是一个数值判据。

Q3:np.linalg.cond(A) 返回 inf 是什么意思?是溢出吗?

不是溢出,是真正的无穷大:说明 (在双精度的分辨率下)数值奇异——最小奇异值被算成 。此时 np.linalg.inv(A) 要么抛 LinAlgError,要么(更危险地)返回一个巨大的垃圾矩阵。正确做法:用 np.linalg.matrix_rank(A) 看数值秩,或直接用 np.linalg.lstsq / np.linalg.pinv 求最小范数最小二乘解。

Q4:我在做最小二乘,cond(A) 只有 ,为什么还是不对?

很可能是你用了正规方程。,所以 时正规方程的条件数是 ——双精度只剩 6 位,遇到"设计矩阵列近似共线"的实际数据就会明显出错。改用 np.linalg.lstsq(SVD 实现, 不平方)或显式 QR 分解,这是回归分析的行业标准做法(4-3-最小二乘逼近)。


本篇小结

一、核心结论(十二句话)

  1. 范数的三条公理各有几何含义:(N1) 保证单位球含原点、有界、不退化;(N2) 保证单位球中心对称;(N3) 保证单位球是凸的。反过来,任一"含原点、有界、中心对称的凸闭集"都能定义一个范数(Minkowski 泛函)——范数与对称凸体一一对应。这也解释了 为什么不是范数:它的"单位球"是凹的。
  2. 1/2/ 三种范数的单位球是菱形、圆、正方形(面积 ),互相嵌套 。它们在坐标轴方向重合(都是 ),在对角方向差最大()。
  3. 三种范数在"收敛性"意义上等价,但数值可以差 甚至 倍——这是"条件数依赖范数选取"的根源,也是"报告条件数必须写清范数"的原因。
  4. 诱导范数 = 最大伸缩倍数:。它自动满足次乘性 ,并且任何诱导范数都满足 (这是识别"某范数不是诱导范数"的快捷判据)。
  5. 三个计算公式的来源是"最大值在哪里取到":1-范数的菱形球有顶点 ⟹ 只需检查标准基向量 ⟹ 最大列和;-范数的正方体球有顶点 ⟹ 检查符号向量 ⟹ 最大行和;2-范数的球是光滑球面无顶点 ⟹ 只能用谱 ⟹ 。对偶关系:。
  6. Frobenius 范数量的是"总能量":(把矩阵拉直成向量的欧氏长度),计算只要 。 只量"最长半轴",需要 SVD。夹逼 :左等号 秩 ,右等号 非零奇异值全相等。
  7. Frobenius 不是诱导范数(),所以 破坏" 且 取到 "的直觉,不要用它判病态。
  8. 条件数的定义与几何:;在 2-范数下 = 单位球被映成椭球后的最长半轴 / 最短半轴。条件数 椭圆是圆 (正交矩阵的标量倍)。
  9. 误差放大定理:(系数矩阵有扰动时再加上 一项)。这个界是最优的,但只在" 沿最短奇异方向、 沿最长奇异方向"时被取满——误差放大有方向性," 大"不等于"一定算不准"。
  10. 的六条性质:;尺度不变 ;正交不变 ;;;正规方程平方 (所以最小二乘别用正规方程)。
  11. 是到最近奇异矩阵的相对距离:。这是" 度量离奇异有多远"的严格版本,也是它比 更适合做判据的根本原因: 是体积(,随 指数爆炸、受尺度影响), 是扁度(只涉及 与 、尺度不变、有操作含义)。
  12. Hilbert 矩阵是经典病态: 约每阶乘 倍指数增长(: ,: ,: ),根因是"用光滑函数 采样"导致各行几乎线性相关。 的 可以精确手算。注意 后 cond 自身的返回值已不可信( 淹没在噪声里),条件数的可信上限约 。

二、易混概念对照表

容易混淆的一对区别要点一句话判别
(最大列和) vs (最大行和)1 竖着加、 横着加记不住就记
vs 前者是最长半轴 ,后者是各半轴平方和(总能量)秩 1 时相等;奇异值全相等时差 倍
诱导范数 vs 元素级范数只有诱导范数满足 并有误差放大定理对 算出 的一定是 Frobenius
四个不同的数,最多差 倍(: vs )报告 必须写范数;判病态优先
条件数 vs 行列式 是尺度不变的扁度; 是尺度相关的体积 而
条件数 vs 残差残差只反映向后误差;条件数放大它才得到前向误差残差 + 误差
病态 vs 奇异奇异是 ();病态是 很小病态 = "离奇异很近",距离
尺度不变 vs 正交不变两者 都有;但一般的相似变换 会改变 只有正交(含置换)变换是"免费的"预处理
vs 转置不变;但转置乘自己会把条件数平方最小二乘用 QR/SVD,别用正规方程
精确秩 vs 数值秩精确秩是代数概念(行列式是否为 );数值秩有阈值()浮点下"秩"必须靠 的断崖判断
np.linalg.cond(A) vs np.linalg.cond(A, 1)默认(None/2)用 SVD 算 2-范数,最贵;1/np.inf 只要 大矩阵先算 cond(A, np.inf) 探路
vs 真范数 不满足齐次性(),不是范数压缩感知里 难解正因为它不是范数

三、动手清单(学完这一篇应该能独立完成)

  1. 给定一个 或 矩阵,手算 与四个条件数。
  2. 画出(或在纸上描述)1/2/ 三种范数的单位球,并指出"沿哪个方向三种范数差最大"。
  3. 用"顶点论证"独立复述 与 的公式为什么长那样。
  4. 给定 与扰动的方向,判断误差放大倍数接近界还是远离界。
  5. 用 回答"多大的相对扰动能让这个矩阵变奇异",并解释为什么这个问题不能用 det 回答。

这一篇与后面几篇的接口

- 范数公理化的完整背景在 3-1-向量空间:那边讲向量空间与子空间的公理体系,本篇把"长度"也公理化,两篇合起来才是" 的完整结构"(线性结构 + 度量结构 + 内积结构)。

- 诱导范数与算子观点在 1-3-矩阵入门 里就有雏形(矩阵是线性映射),本篇把它量化成"最大伸缩倍数";在 8-1-线性变换的思想 里会进一步抽象成"算子范数"。

- 与数值秩在 7-2-图像压缩与低秩逼近 里是"截断 SVD"的判据( 直接丢掉),也是 9-2-Hermitian矩阵与酉矩阵 里"酉不变范数"的直接应用。

- 条件数决定主成分稳定性这一点在 7-3-主成分分析PCA 与 12-2-协方差矩阵 里反复出现:协方差矩阵的 太大时,"第一主成分"以外的方向基本是噪声。

- 无穷维没有范数等价性(定理 11.2.1 的适用条件)在 10-4-傅里叶级数与函数空间 里会具体看到: 范数与 范数在函数空间上不等价,这正是傅里叶级数"逐点收敛"比"均方收敛"难得多的原因。


相关笔记

  • 11-1-数值稳定性与LU:本篇的"问题侧"(条件数)与那篇的"算法侧"(向后误差、选主元)合起来才是完整的稳定性理论。
  • 11-3-迭代方法与预条件:预条件的目标就是把 压到远小于 ;CG 的收敛速率由 而不是 决定。
  • 7-1-SVD的构造与几何意义: 与 的几何来源——单位球被映成椭球。
  • 1-2-长度与点积:2-范数的定义、Cauchy–Schwarz 不等式与三角不等式,本篇把它公理化。
  • 4-3-最小二乘逼近:正规方程条件数平方的实践后果,以及为什么最小二乘要用 QR/SVD。
  • 6-4-对称矩阵与正定矩阵:对称正定时 ,以及 Cholesky 与正定性的关系。
  • 6-5-二次型与标准形:Rayleigh 商 的极值就是特征值,这是 证明的核心工具。
  • 附录-矩阵分解总览:各分解的稳定性对比(正交变换 vs 初等变换)。
  • 3-1-向量空间:向量空间与子空间的公理体系。本篇把"长度"也公理化(三公理 对称凸体),两篇合起来才是 的完整结构:线性结构 + 度量结构(想分清"范数"与"内积"的区别,这两篇要对着读)。
  • 1-3-矩阵入门:矩阵作为线性映射的入门视角。诱导范数 就是"这个映射最多能把向量拉长几倍",在 8-1-线性变换的思想 里会进一步抽象为算子范数。
  • 7-2-图像压缩与低秩逼近:数值秩与截断 SVD。本篇题目 7 说明" 是到奇异的相对距离",那篇给出它的工程用法:把所有 的方向直接丢掉(Eckart–Young 定理保证了最优性)。
  • 9-2-Hermitian矩阵与酉矩阵:酉不变范数与奇异值。本篇题目 6 证明的 是"酉变换不改变任何奇异值"的直接推论,也是 QR/SVD 数值上更可靠的原因。
  • 10-4-傅里叶级数与函数空间:函数空间上的范数。定理 11.2.1(有限维范数等价)的条件是"有限维",在函数空间上 与 范数不等价——那篇会看到这个差别的具体后果。

参考来源

  • MIT OpenCourseWare 18.335J Introduction to Numerical Methods(Steven G. Johnson):范数、条件数、稳定性与向后误差 —— https://ocw.mit.edu/courses/18-335j-introduction-to-numerical-methods-spring-2019/
  • MIT OpenCourseWare 18.06 Linear Algebra(Gilbert Strang):正交性、投影与"条件数 = 最大最小奇异值之比"的课堂直觉 —— https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/
  • numpy 官方文档 numpy.linalg.norm(1/2//Frobenius 各范数的定义、ord 取值表、" 严格来说不是范数"的说明) —— https://numpy.org/doc/stable/reference/generated/numpy.linalg.norm.html
  • numpy 官方文档 numpy.linalg.cond(条件数定义、七种范数选项、None 表示用 SVD 直接算 2-范数) —— https://numpy.org/doc/stable/reference/generated/numpy.linalg.cond.html
  • numpy 官方文档 numpy.linalg.inv(病态矩阵不报错、用 cond 检测、" 损失 位有效数字"的经验法则、 的验证方法) —— https://numpy.org/doc/stable/reference/generated/numpy.linalg.inv.html
  • 教材(文字来源):Gilbert Strang, Introduction to Linear Algebra, 5th ed., Wellesley–Cambridge Press, 2016, §11.1–11.2(范数与条件数);Gene H. Golub & Charles F. Van Loan, Matrix Computations, 4th ed., Johns Hopkins University Press, 2013, §2.3(向量与矩阵范数)、§2.6(条件数);Nicholas J. Higham, Accuracy and Stability of Numerical Algorithms, 2nd ed., SIAM, 2002, 第 7 章(范数与条件数);Lloyd N. Trefethen & David Bau, Numerical Linear Algebra, SIAM, 1997, Lecture 12(条件数)、Lecture 15