2-5-LU分解与转置置换
一句话概括
消元法最漂亮的副产品是矩阵分解:只要消元过程中不需要换行,消元的结果就能写成一个等式 ——下三角(lower triangular)乘上三角(upper triangular),而 中的元素就是消元乘数本身。需要换行时,用置换矩阵(permutation matrix) 把行调好,公式变成 。
本篇覆盖: 的完整推导与 例题 → 为什么 比 好用(对比展示 的乘积)→ 与唯一性 → 行交换与置换矩阵 、 例题 → 置换矩阵的四条性质与 计数 → 转置的运算法则与 的证明 → 对称矩阵、对称矩阵乘积何时仍对称 → 计算复杂度与用途。
本次补完新增:国内教材特有的矩阵的等价主题——等价关系 与初等变换的关系、等价标准形 ()、"等价 同秩"的完整证明(两个方向都证)、等价/合同/相似三者的对比表(不变量分别是什么)、以及"化标准形判断秩""解方程组时为什么只能用行变换"两个应用;另有例题 4–9(三道手算题、两道证明题、一道 numpy 验证题)与
## 本篇小结。
一、定义
1.1 三角矩阵
下三角矩阵(lower triangular matrix)指主对角线以上元素全部为零的方阵:
上三角矩阵(upper triangular matrix)指主对角线以下元素全部为零的方阵:
若三角矩阵的对角元全为 ,则称它为单位三角矩阵(unit triangular matrix)。
1.2 分解
设 是 矩阵。若存在单位下三角矩阵 与上三角矩阵 ,使得
则称这是 的 LU 分解(LU decomposition / LU factorization)。
其中 的对角元全为 ,非对角元 ()称为消元乘数(multipliers); 的对角元 就是消元过程中的主元(pivots)。
1.3 分解
若把 的对角元提出来,写成 ,其中 是对角矩阵、 是单位上三角矩阵,则得到
习惯上把 仍记作 (上下文会说明对角元是否为 ),于是写作
其中 与 都是单位三角矩阵, 是对角矩阵。
1.4 置换矩阵
置换矩阵(permutation matrix)是把单位矩阵 的行重新排列后得到的矩阵。等价地:每行每列恰好有一个 、其余全为 的方阵。
阶置换矩阵与 元置换(permutation)一一对应,因此共有 个。例如 时共有 个,其中两个是
1.5 初等变换与初等矩阵(记号回顾)
国内教材从"初等变换"出发讲等价,这里先把记号补齐。对矩阵做以下三种初等行变换(elementary row operation):
- 对换:交换第 、 两行,记作 ;
- 倍乘:用非零数 乘第 行,记作 ();
- 倍加:把第 行的 倍加到第 行,记作 。
把"行"换成"列"就得到三种初等列变换。初等行变换与初等列变换统称初等变换(elementary transformation)。
每一种初等变换都等价于左乘(行变换)或右乘(列变换)一个初等矩阵(elementary matrix),即对单位矩阵 做同一次变换所得的矩阵。例如 对应
而 对应
初等矩阵都可逆,且逆仍是同类型的初等矩阵:对换的逆是它自己;倍乘 的逆是倍乘 ;倍加 的逆是把 加回去。这些在 2-3-用矩阵进行消元 已经详细讨论过,这里只补一条关键推论:
只做行变换时 ,只做列变换时 。
1.6 矩阵的等价
设 与 都是 矩阵。若存在 阶可逆矩阵 与 阶可逆矩阵 ,使得
则称 与 等价(equivalent),记作
注意两个要点:、 必须可逆; 只作用在左边(管行), 只作用在右边(管列)。
由 1.5 的推论,"等价"就是"可以用有限次初等变换互相转化"的矩阵说法:左乘 记录全部行变换,右乘 记录全部列变换。
为什么要引入"等价"
解方程组时我们只做行变换,因为行变换保持解集不变(见 2-2-消元法的思想);但如果只关心"矩阵能化简到什么程度"(判断秩、找极大线性无关组、比较两个矩阵是否本质相同),连列变换也可以一起用,化简能力更强。这种"行、列变换都能用"的关系就是等价。
三个关系要分清:等价允许左右各用一个可逆矩阵;合同要求左右"配对"( 与 );相似也要求配对( 与 )。三者的对比见 3.12。
1.7 等价标准形
记
即左上角是 阶单位矩阵、其余位置全为 的 矩阵()。例如 、、 时
若 等价于 ,就称 是 的等价标准形(有的教材叫等价规范形)。下一节将证明:每个矩阵都有等价标准形,而且其中的 恰好等于 的秩——所以"求秩"与"化等价标准形"其实是同一件事。
二、几何直观
2.1 消元做了两件事
回顾消元:用第 1 行消去第 1 列下方的元素,用第 2 行消去第 2 列下方的元素……每消一次,我们同时做了两件事:
- 制造一个 (这是目的);
- 减掉第 行的若干倍(这个倍数就是乘数)。
只记录了第 1 件事的结果(三角形状),而乘数被丢弃了。LU 分解就是把被丢弃的乘数收集到 里,使得 复原出原来的 。换句话说:
2.2 几何图像:用"三角坐标系"描述同一个变换
把 理解成变换的复合:先做 ,再做 。
- 是上三角:它逐层确定输出——第 个分量只与输入的前 个分量有关,可以"从后往前"解出,所以 用回代(back substitution)一步一层。
- 是单位下三角:它逐层还原——第 1 个分量只依赖第 1 个,可以"从前往后"解出,所以 用前代(forward substitution)。
于是解 的过程被拆成两步都极其容易的三角方程:
这就是 LU 分解的全部威力:把"难"的稠密方程组拆成两个"易"的三角方程组。
2.3 置换的几何图像:镜面反射
置换矩阵的几何意义是坐标轴的重排,也就是关于某个"斜镜面"的反射。例如
把 变成 ,几何上是关于直线 的镜像反射。反射两次回到原位,这正是 的几何解释,也是 的第一个例子。
2.4 等价的几何图像:换一组"输入基"和"输出基"
把 看成线性变换 (从 到 )。等式 里两个矩阵各有几何含义:
- 右乘可逆的 :在输入空间里换一组基(等价地说,换一套描述输入的坐标);
- 左乘可逆的 :在输出空间里换一组基。
所以 与 是同一个线性变换在两对不同基下的矩阵(第 8 章 8-2-线性变换的矩阵表示 会把这个说法讲严格)。等价矩阵"长得不同、本质相同"——它们作为变换的像空间维数(也就是秩)当然一样。
而等价标准形 是这个变换"最干净的写法":前 个输入方向被一对一地送到前 个输出方向,剩下的方向全被压成 :
用四大子空间的语言说: 的零空间维数是 、列空间维数是 ,而 正是原矩阵 的秩(子空间的完整讨论见 3-5-四大子空间的维数)。换基不改变变换的"骨架",只改变记录它的数字。
三、性质与定理
3.1 定理:消元即分解,
定理. 设 是 矩阵。若从 出发的 Gauss 消元不需要行交换就能进行到底(即每步主元都非零),则
其中 是单位下三角矩阵, 的第 元素()恰好是消元时用来消去 的那个乘数 ; 是消元结束后的上三角矩阵。
推导. 设消元过程用了 个初等矩阵 (都是"从某行减去另一行的倍数"这种类型,即单位下三角矩阵),使得
把左边的乘积记作 ,则 。由于每个 都可逆(把减去的倍数加回去即可还原), 也可逆,于是
关键一步:用穿脱律
每个 就是把 的非对角元变号(因为"减去 倍"的逆是"加上 倍")。而 本身就是单位下三角,所以 也是单位下三角,它们的乘积同样单位下三角。记
就得 。至于" 的元素就是乘数",下一节的例题会看清:每个 把一个乘数放在固定位置上,而不同位置的乘数互不干扰,可以直接"填表"。
3.2 为什么 比 好用(对比展示)
这是 Strang 反复强调的一点。用同一组消元操作,比较 与 。
设消元乘数为 、、。则
的乘积("脏"):
先算前两个:
再乘 :
注意左下角出现的 :两个乘数混在了一起。想从 里读出原来的乘数 、、,得先做一番换算,非常不方便。
的乘积("干净"):
先乘前两个:
再乘第三个:
乘数 、、 原封不动地待在自己的格子里! 这就是结论:
原因(一般性的证明思路): 只影响第 2 行, 只影响第 3 行,作乘积 时第 3 行只被 改过一次, 那一格不受影响;而 只写在 位置上, 只在 、 只在 ——三个乘数占据互不相同的格子,所以互不干扰。
但注意:这只在顺序正确时成立。若写成 , 会先作用, 之后又改第 3 行,就会生出交叉项。逆序相乘是"乘数直填"的关键,这也是穿脱律必须写成倒序的原因。
3.3 与唯一性
定理(分解的唯一性). 设 可逆,且消元不需要行交换。则
- 存在唯一的单位下三角 与上三角 (对角元非零)使 ;
- 存在唯一的单位下三角 、对角矩阵 、单位上三角 使 。
证明(2)的思路. 先说明"提取对角元"的合理性:把 的第 行整体除以 ,等价于右乘 ,其中 。因为 可逆意味着全部 (否则 有零对角元、,从而 ,矛盾),所以 可逆。于是同一个 有两种写法,只差一个对角因子, 与 是同一件事的两种记账方式。
再证唯一性。设
其中 单位下三角、 单位上三角、 可对角。两边整理得
左边是单位下三角(单位下三角矩阵对乘法封闭,且逆仍单位下三角);右边是上三角(对角矩阵乘上三角仍是上三角, 的上三角性保持;更直接地,把 并进去看对角元即可)。一个矩阵既是单位下三角又是上三角,只能是单位矩阵。于是
从后一式得 。比较两侧的对角元(两侧都是上三角,对角元就是 的对角元)得 ;再由 与 可逆得 。唯一性成立。
(1) 的推论: 的唯一性可由 (2) 立刻得到—— 相同、 由 与 唯一决定。
3.4 置换矩阵的四条性质
设 是 阶置换矩阵。
性质 1:,即 是正交矩阵。
证明. 设 的各列是 ,其中 是第 个标准基向量, 是 的一个排列。于是
由于 是双射,当 时 ,故 ;当 时该内积为 。所以
推论:每个置换矩阵自己就是自己的"转置逆",所以换回去就是把 再乘一遍:(对换行这种二阶置换成立;一般置换的幂次由置换的阶决定)。
性质 2:两个置换矩阵的乘积仍是置换矩阵;一共有 个。
证明. 置换矩阵左乘一个矩阵 的效果是重排 的行,右乘的效果是重排 的列。对 用这个观察: 是把 的行按 指定的方式重排,结果仍然每行每列只有一个 ,所以是置换矩阵。
计数: 阶置换矩阵由"第 1 行取哪个 、第 2 行取哪个 ……"确定,即由列指标的一个排列确定,而 个元素的排列共 个。
性质 3:,符号等于置换的奇偶性。
证明思路. 的各列是标准基向量, 就是"把若干次列交换作用在 上"的累计效应。每做一次列交换,行列式变号一次。所以偶数次交换得 ,奇数次交换得 。
性质 4: 重排 的行, 重排 的列。
验证(). 取 ,:
置换矩阵是"仅有的"同时保持长度与正交性的 矩阵
意味着 是正交矩阵(orthogonal matrix):它把标准正交基映到标准正交基,向量的长度与夹角都保持不变。一般正交矩阵的行列式也是 ,但元素不必是 或 ——置换矩阵是其中"最稀疏"的一类。
3.5 定理:(带行交换的 LU 分解)
定理. 设 是 可逆矩阵。则存在置换矩阵 、单位下三角矩阵 、上三角矩阵 ,使得
证明思路. 消元过程中若第 步主元为零,就把该行与下方某个主元非零的行交换。因为 可逆,第 列在位置 及其下方必有非零元(否则前 列线性相关,,与可逆矛盾),所以交换总是可行的。把所有这些行交换累积成一个置换矩阵 ,于是"对 做消元不需要任何行交换",由 3.1 的定理直接得到 。
注意顺序:是 ,不是 。因为行交换必须发生在消元之前(先把主元调好,再往下消)。
3.6 转置的运算法则
重复一遍 2-4 篇的表,本篇要证明其中的乘法法则。
| 法则 | 表达式 |
|---|---|
| 双重转置 | |
| 和的转置 | |
| 数乘的转置 | |
| 乘积的转置 | |
| 逆的转置 | |
| 转置不改变秩与行列式 | , |
定理:
证明(逐元素法). 设 是 , 是 ,则 是 ,两边都是 矩阵,形状一致。看第 元素,其中 ,:
另一方面, 是 ,; 是 ,。于是
两个和式完全相同(只是乘法的书写顺序不同,而标量乘法可交换),所以矩阵相等:
证明(内积法,更能说明"为什么要颠倒"). 注意对任意向量 有内积与转置的关系
因为左边是标量,等于它自己的转置。现在对任意 、:
由于这对所有 成立,必有 。
直观解释: 表示"先 后 ",转置是"把输入输出对调"(把变换写成"由输出反查输入"的形式),对调之后顺序自然反过来:先是 ,再是 。
推论(多重乘积):
3.7 对称矩阵
定义. 若方阵 满足
即 对所有 成立,则称 为对称矩阵(symmetric matrix)。对称矩阵关于主对角线"镜像相等"。
性质 A:对称矩阵之和、数乘仍对称. 由 与 立得。特别地,全体 阶对称矩阵构成 的一个子空间(详见 3-1-向量空间),维数是
因为只需确定主对角线及其上方的元素。
性质 B(重要):对任意矩阵 , 与 都是对称矩阵。
证明. 用乘积转置法则:
同理 。
这就是最小二乘法中 天然对称的原因,也是它常常正定的原因(当 的列线性无关时)。详见 4-3-最小二乘逼近。
性质 C:对称矩阵的乘积何时仍对称?
设 与 都对称。则
因此
也就是说:两个对称矩阵的乘积对称,当且仅当它们可交换。
说明. "":若 ,则 ,对称。"":若 对称,则 ,可交换。
反例:、 都对称,但
,且 不对称。
性质 D:对称矩阵的逆仍对称. 若 对称且可逆,则
所以 对称。这是 的直接应用。
性质 E: 对称且消元不需换行时,.
证明. 由 。对 取转置:
对称给出 。左边 是单位下三角,右边 也是单位下三角;由 分解的唯一性(3.3)知
代回即得
这就是对称矩阵的 分解,它是 Cholesky 分解 的前身(把 的正平方根吸收进 ,需要 正定)。
3.8 计算复杂度
对 稠密矩阵,各步骤的浮点运算次数(只数乘除):
| 任务 | 运算量 | 时的量级 |
|---|---|---|
| 消元得到 与 (LU 分解) | ||
| 一次前代 + 回代(解一个右端项) | ||
| 显式求逆 | ||
| 每次矩阵—向量乘法 |
推导思路(为什么是 ):第 1 步要消去第 1 列下方的 个元素,每个约需 次乘除,共约 ;第 2 步约 ;依此类推,总计
结论:分解一次花 ,之后每解一个右端项只花 。
3.9 引理:可逆矩阵相乘不改变秩
引理. 设 是 矩阵, 是 阶可逆矩阵, 是 阶可逆矩阵。则
证明(左乘部分). 先证零空间不变:。
- 若 ,则 ,所以 ;
- 反过来,若 ,两边左乘 得 ,所以 。
两个矩阵的零空间相同,而它们都有 列,由秩—零化度定理(,见 3-4-线性无关基与维数)
证明(右乘部分). 用列空间。由矩阵乘法的列读法, 的每一列都是 的若干列的线性组合,所以
把同样的推理用在 上,得 ,于是两个列空间相等:
推论(初等变换不改变秩). 初等矩阵都可逆,而任何一次初等变换都是"左乘或右乘一个初等矩阵",所以初等变换不改变矩阵的秩。这条推论是后面一切"用初等变换求秩"的理论依据——2-2-消元法的思想 里早就在用它,只是那时还没有给"秩"起这个名字。
3.10 定理:等价标准形的存在性
定理. 设 是 矩阵,。则 等价于 :存在可逆矩阵 、 使
证明(构造性,三步走).
第 1 步:只用行变换把 化为简化行阶梯形 。 记 的主元列号为 。行变换不改变秩(3.9),所以 恰有 个主元,且主元列就是 分别落在第 列上,其余列是主元列的线性组合。记这些行变换的乘积为 ,则 可逆且
其中 是 的矩阵, 是 的零矩阵(若 ,下面这块不存在)。
第 2 步:用列变换把非主元列清成零列。 对每个非主元列 ,设它在 中的第 个元素为 (),做倍加型列变换
因为主元列是 ,这一操作恰好把第 列变成零列(第 个分量变成 )。注意主元列本身没有被改动(我们只改非主元列),所以做完之后第 列仍然是 。这一步对应右乘某个可逆矩阵 。
第 3 步:把主元列调到前 列。 用列对换把第 列换到第 列()。列对换是初等变换,对应右乘一个置换矩阵 ,而置换矩阵可逆(3.4 的性质 1)。做完之后
把三步合起来:。取 (可逆矩阵之积仍可逆)即得结论。
口诀:先只用行变换化到简化行阶梯形,再用列变换把主元列挪到最前、把其余列清成零。
3.11 定理:等价 同秩(两个方向都证)
定理. 设 、 都是 矩阵(同型)。则
也就是说:同型矩阵等价的充要条件是它们同秩。等价类由秩完全决定,等价标准形 是每个等价类的代表元。
证明(必要性:等价 同秩). 设 ,其中 、 可逆。由 3.9 的引理(先用右乘、再用左乘)
证明(充分性:同秩 等价). 设 。由 3.10 的定理,存在可逆矩阵 使
于是 。两边左乘 得 ,再右乘 :
记 、。可逆矩阵的逆与乘积都可逆,所以 、 可逆,即 ,故 。
顺便得到唯一性: 是等价关系下的完全不变量,所以等价标准形唯一——不同 的 秩不同,不可能等价:
这个定理为什么重要
它把"矩阵相等"这种过强的要求换成了"矩阵等价":只要秩相同,两个矩阵就可以用可逆的 、 互相转化。于是判断两个矩阵是否等价只需要数主元个数,无需逐元素比较。代价是"等价"比"相等"弱得多—— 矩阵一共只有 三种秩,所以全部 矩阵只被分成 个等价类。
3.12 等价、合同、相似:三张"化简"的关系对比
设 、 是同阶方阵。三种关系都是"用可逆矩阵把 化简",但允许的动作不同,于是不变量也不同。
| 关系 | 定义 | 允许的动作 | 完全不变量 | 标准形 | 典型反例(有前者无后者) |
|---|---|---|---|---|---|
| 等价(equivalent) | , 可逆 | 行、列变换各用各的 | 秩 | —(它是最弱的关系) | |
| 合同(congruent) | , 可逆 | 左 、右 (配对) | 秩 + 正负惯性指数(对称矩阵) | 与 | |
| 相似(similar) | , 可逆 | 左 、右 (配对) | 特征值(含重数)、迹、行列式、秩 | Jordan 形 | 与 |
| 行等价 | , 可逆 | 只用行变换 | 简化行阶梯形 | 秩相同但 不同 |
三条包含关系:
反之都不成立。原因很直观:相似与合同的左右两个矩阵由同一个可逆矩阵决定( 与 、 与 ),而等价允许左右互相独立,所以等价是三者中最"宽松"的。这一串包含关系在第 6 章(特征值与二次型)和第 8 章(线性变换)会反复出现,见 6-2-矩阵的对角化、6-5-二次型与标准形、8-3-相似矩阵与基变换。
两个具体反例(都必须记住)。
(a)等价但不相似: 取
两者秩都是 ,同型,所以 。但 而 :若 ,则 ,矛盾。所以它们不相似( 有特征值 ,而 的两个特征值都是 ——特征值不同,自然不相似)。
(b)等价但不合同: 取
两者秩都是 ,都可逆,所以等价。但它们作为对称矩阵的惯性指数不同: 的两个特征值都是 (正惯性指数 、负惯性指数 ), 的特征值是 与 (正负惯性指数各 )。而合同变换保持惯性指数(惯性定理,6-5-二次型与标准形),所以 与 不合同。
3.13 矩阵等价的两个应用
应用 1:用等价标准形判断秩,并用它给秩一个"标准形定义"。
由 3.11,
所以"求秩"与"化等价标准形"是同一件事的两面:用初等变换(行、列都能用)把 尽量化简,剩下的非零行数就是秩。手算时不必真把标准形化到底,只要化到"每个非零行、每个非零列都只剩一个非零元"即可。
行列变换一起用时,秩不会算错
这一点比"行变换求秩"更省事:行列变换都可以用,而且不需要选主元也不会出错(只要不把整行整列乘 )。原因就是 3.9 的引理。数值计算里则相反——为了控制误差,仍然推荐只用带选主元的行变换,见 11-2-范数与条件数。
应用 2:解方程组时只能用行变换。
这是初学者最容易忽略的一条。对方程组 做初等行变换,等价于在等式两边左乘同一个可逆矩阵 :
新方程组与原方程组同解,所以行变换可以放心用(这正是 Gauss 消元的合法性来源)。
而初等列变换是右乘 ,它把方程变成
也就是说:未知量被悄悄换掉了。新方程组的解 与原方程组的解 之间差一个 ;若只用列变换而忘记用 换回原变量,得到的"解"就是另一个方程组的解,是错的。
一句话记住
化等价标准形(求秩、求极大线性无关组、判断等价)时行、列变换随便用;解方程组时只能做行变换。
若确实要用列变换,必须同时记录 ,最后用 换回原未知量。例题 9 会给一个数值演示。
四、计算方法与步骤
4.1 直接算出 与 ("边消元边记乘数")
- 写出 ,准备一张空白的 (对角元先填 )。
- 做消元:若要消去第 行第 列的元素,计算乘数
然后执行 ,并把 填进 的 位置。
- 继续直到左半部分成为上三角,它就是 。
- 若某步主元为 :先与下方非零行交换,并把所有已填的乘数也一起交换(这是最容易出错的地方,见 4.2)。
- 检验:算一次 ,看是否等于 。
4.2 的步骤(部分选主元)
- 找主元:在第 列中,从第 行往下找绝对值最大的元素(数值计算中为稳定性这样做;手算时找任何非零元即可)。
- 交换行:把该行换到第 行,并在 中记录这次交换。同时交换 中第 行与目标行的已填乘数(因为那些乘数是相对于新的行顺序记录的)。
- 消元:用新主元消去第 列下方的元素,乘数填入 。
- 重复直到上三角。
- 输出:得到 、、,满足 。
记忆口诀
先记录交换,再消元; 跟着 一起换。 检验方法:算出 后再做一次普通 LU,两者的 应当一致。
4.3 用 LU 分解解
- 求 ;
- 解 (前代,从第 1 行往下算);
- 解 (回代,从最后一行往上算)。
4.4 化等价标准形并同时求出 与 (手算标准流程)
用"增广表"把两个可逆矩阵一起记下来,分两个阶段做。
第 1 阶段(只做行变换,求出 ). 把 与单位矩阵 左右并排:
左边化到简化行阶梯形 ,右边就是满足 的可逆矩阵 。原理:每一步行变换都是左乘一个初等矩阵,全过程的乘积就是 ;而 被同一串初等矩阵乘过之后正好变成 。
第 2 阶段(只做列变换,求出 ). 把 与 上下叠放:
上块化到等价标准形,下块就是 。原理:列变换是右乘初等矩阵, 被同一个 乘成了 。
第 3 步(输出与检验). 得到 ,其中 。检验三件事:
- 算一次 ,必须恰好等于 ;
- 算 与 ,都必须非零(否则过程中用了不可逆的操作);
- 数一下 中 的个数,必须等于主元个数。
为什么不"边行边列"混着做
混着做也能化到标准形,但 与 就不好记录了:第 1 阶段结束后若再做行变换, 必须继续更新,而"上下叠放"的那张表会被打乱。分两阶段做,、 各自一次记清,手算最省心。
五、例题
例题 1: 与 的完整计算
设
求 与 。
解. 目标形状是
第 1 步:消去第 1 列。 主元 。
- 第 2 行:。执行 :
- 第 3 行:。执行 :
现在矩阵是
第 2 步:消去第 2 列。 主元 。第 3 行:。执行 :
得到
检验 :
逐行验证:第 2 行 ✔;第 3 行 ✔。
求 . 取出 的对角元:,,,所以
把 的每一行除以对应的主元:
于是
顺带得到行列式:。
独立核对:沿第 1 行展开
例题 2:(需要行交换)与置换矩阵
设
求置换矩阵 与分解 。
解. 若直接对 做消元,第一步主元就是 ,必须换行。把第 1 行与第 3 行交换(取绝对值最大的 作主元,数值上最稳)。
构造 : 交换 的第 1、3 行:
于是
对 做消元。
第 1 步: 主元 (左上角)。。执行 :
第 3 行第 1 列已是 ,无需操作()。当前矩阵:
第 2 步: 主元 。。执行 :
得到
检验 :
第 1 行: ✔
第 2 行: ✔
第 3 行: ✔
所以
验证 :
这个 是对换(transposition),交换两次回到原位,所以 、。
行列式(顺带):,而 (一次行交换,奇置换)。由 得 ,所以 。
独立核对:沿第 1 行展开
例题 3:用 LU 分解解两个右端项
沿用例题 1 的 ,解 与 ,其中 ,。
解. 分解已经做好:,,。两个右端项共用同一套 ——这正是 LU 分解的价值。
(一)。
前代 :
得 。
回代 :
所以 。
检验: ✔; ✔; ✔。
(二)。
前代:
回代:
所以 。
检验: ✔; ✔; ✔。
效率对比:若分别对 、 各做一次完整消元,要做两遍 ;用 LU 分解只做一遍 ,加两遍 。 大、右端项多时差距巨大。
例题 4:把 矩阵化为等价标准形(并写出所用的 、)
题目
设
(1) 求 的秩 ;
(2) 求可逆矩阵 、 使 ;
(3) 验证 确实等于等价标准形。
第 1 步:只用行变换求秩。 记 的三行为 。
:
:
现在矩阵是
第 2 步:消去下一个主元下方的元素。 第 2 列整列为 ,主元跳到第 3 列(主元是 )。:
得到行阶梯形
第 3 步:回代清掉主元上方的元素。 :
于是简化行阶梯形为
主元列是第 1、3 列,这一点后面要用到。
第 4 步:在同一个表里记录 。 把 与 并排,把上面三步行变换重做一遍(这正是 4.4 的第 1 阶段):
、:
:
:
右半块就是所求的 :
第 5 步:抽查一行,确认 无误。 用 的第 1 行乘 :
与 的第 1 行一致 ✔。
第 6 步:核对 可逆。 沿第 3 行展开(前两个余子式各含一整列 ,等于 ):
所以 可逆 ✔。
第 7 步:用列变换把 化为 ,同时记录 。 目标:让两个主元列(第 1、3 列)变成 ,其余列清成零列。把 放上、 放下:
列变换 1:(把第 2 列的 消掉):
列变换 2:(第 4 列的两个 分别用第 1、3 列消掉):
列变换 3:(把主元列第 3 列调到第 2 列的位置):
上块已经是 ,下块就是
第 8 步:核对 可逆。 交换 的第 2、3 行,得到一个对角元全为 的上三角矩阵(行列式为 );交换一次行变号,所以
可逆 ✔。
第 9 步:验证 。 先算 (用列读法: 的第 列等于 乘 的第 列)。记 的四列为 :
的四列分别是 、、、,所以
逐列算:
所以
再左乘 ,逐行算:
- 第 1 行:;
- 第 2 行:;
- 第 3 行:。
于是
第 10 步:结论。
、 说明两者确实可逆("等价"定义里的可逆要求得到满足)。
从 、 里能读出什么
- 的阶数等于 的行数 , 的阶数等于 的列数 ——这是最容易记错的地方( 左乘管行, 右乘管列)。
- 标准形里 的个数就是秩,与 、 的具体数值无关:换一种消元顺序,化到最后一定还是同一个 。
- 题目只要"求秩"时,完全不必求 、;求 、 只在明确要求"写出变换矩阵"时才需要。
例题 5:判断两个矩阵是否等价
题目
判断下列三个 矩阵中,哪些与 等价:
要求:用等价标准形(而不是"行列式相等")给出判断过程,并说明理由。
第 1 步:明确判据。 三个矩阵同型(都是 ),由 3.11 的定理,等价 秩相同。于是任务变成:分别求出三者的等价标准形(至少求出秩)。
第 2 步:把 化为等价标准形。 先做行变换。
(验算: ✔; ✔。)第 2 行整行为零,与第 3 行交换(初等变换不改变秩):
第 3 步:继续用列变换化到底。
所以 ,。(最后一步"第 2 列乘 "也是初等变换——倍乘的倍数只要非零即可。)
第 4 步:把 化为等价标准形。 行变换:
(验算: ✔; ✔。)继续:
所以 ,。
第 5 步:把 化为等价标准形。
三个非零行,所以 ,它的等价标准形是 。
独立核对:沿 的第 1 行展开
满秩 ✔( 也说明三个主元非零)。
第 6 步:结论。
- 、:两者的等价标准形相同,所以 (由等价的对称性与传递性,见例题 8);
- :,所以 与 不等价。
别用"行列式相等"判断等价
等价的不变量只有秩。本例中 与 的行列式都等于 (这是巧合,因为两者都降秩),而 的行列式是 。但"行列式相等"既不是等价的充分条件、也不是必要条件:
两者行列式不同( 与 )却秩都是 ,所以等价;反过来,两个行列式都为零的矩阵也可能不等价(秩不同)。判断等价永远只数主元个数。
例题 6:对称矩阵的 分解(顺便认识"合同")
题目
设
(1) 求 的 分解;
(2) 求 ;
(3) 说明 与对角矩阵 是合同的(即存在可逆矩阵 使 ),并指出 的对角元说明了什么。
第 1 步:核对 对称。 、、,所以 ✔。对称是 能成立的前提(3.7 的性质 E)。
第 2 步:消去第 1 列。 主元 。
- 第 2 行:,执行 :
- 第 3 行:,执行 :
当前矩阵与 中已填的部分:
第 3 步:消去第 2 列。 主元 。,执行 :
于是
第 4 步:提出对角元得 ,并验证 。
把 的每一行除以对应主元:
两者逐元素相等——这正是 3.7 性质 E( 对称且不需换行时上三角因子就是 )的验证。于是
第 5 步:抽查一次乘法,验证分解正确。 先算 :
再算 的第 3 行:
与 的第 3 行一致 ✔。
第 6 步:算行列式。 由 与 :
独立核对(沿第 1 行展开):
三个二阶行列式分别为
代回:
第 7 步:把 改写成合同关系。 两边左乘 、右乘 :
记 ,则 可逆,且 ,于是
即 与 合同。
的对角元 全为正,说明对应的二次型是正定的:正惯性指数为 、负惯性指数为 。惯性指数是合同的完全不变量(惯性定理,见 6-5-二次型与标准形 与 6-4-对称矩阵与正定矩阵),所以 不可能与任何"含负对角元"的对角矩阵合同——尽管它们可能等价(只要秩都是 )。这正好呼应 3.12 的对比表:等价只看秩,合同还要看惯性指数。
第 8 步:顺带看看 与 是否相似。 相似的不变量是特征值。用 numpy.linalg.eigvalsh 算得 的特征值约为
与 的对角元 完全不同(虽然都为正,这与"合同保持正惯性指数"一致)。所以
这个例子把 3.12 的对比表落到实处: 与 秩都是 (等价)、正负惯性指数相同(合同),但特征值不同(不相似)。三个关系是三种不同的"化简",不变量各不相同。
例题 7(证明):
题目
设 是 实矩阵。证明
并顺带说明 是对称矩阵。
第 1 步:把结论转化为"零空间相同"。 由秩—零化度定理,秩由零空间的维数决定(列数固定为 )。所以只要证
第 2 步:先证一个方向 。 若 ,两边左乘 :
所以 ✔。
第 3 步:再证反方向。 设 。两边左乘 :
由本篇 3.6 的转置法则 ,左边其实是 与自己的内积:
实数的平方和为零当且仅当每一项为零,所以 ,即 ✔。
第 4 步:两个零空间相同,用秩—零化度定理收尾。 与 都有 列,于是
第 5 步:顺带说明对称性。 由 3.7 的性质 B,
所以 是对称矩阵 ✔。
第 6 步:这个结论有什么用。 当 的列线性无关时 ,由本题得 ,即 阶方阵 可逆——这正是最小二乘的正规方程
有唯一解的原因(详见 4-3-最小二乘逼近)。同一个结论在协方差矩阵、加权最小二乘里反复出现,见 12-2-协方差矩阵。
例题 8(证明):等价关系的三条性质与等价类
题目
证明 矩阵之间的等价满足
(1) 自反性:;
(2) 对称性:;
(3) 传递性:、。
并说明:为什么这三条性质让"等价"成为一个等价关系,以及等价类由什么决定。
第 1 步:自反性。 取 、。两者都可逆,且
所以按定义 ✔。
第 2 步:对称性。 设 ,其中 、 可逆。两边左乘 :
再右乘 :
由 (见 2-4-矩阵运算与逆矩阵), 与 都可逆,所以按定义 ✔。
第 3 步:传递性。 设 、,其中 都可逆。代入:
这里用了矩阵乘法的结合律。可逆矩阵的乘积仍可逆,所以 、 可逆,且 ,即 ✔。
第 4 步:为什么叫"等价关系"。 一个集合上的关系若同时满足自反、对称、传递,就称为等价关系(equivalence relation)。它把集合分成若干等价类:同类元素互相等价,不同类的元素不等价。等价关系的价值在于"用不变量给对象分类"——这正是 3.11 的定理所做的事。
第 5 步:等价类由秩决定。 由 3.11,,所以 矩阵的等价类恰好由秩标记:
一共 类,每一类的代表元是 ( 时 ,即零矩阵)。
举例:所有 矩阵被分成 四种秩,共 个等价类,代表元分别是 、、、。例题 4 的 与例题 5 的 、 都在 这一"类"里,而例题 5 的 在 那一类。
第 6 步:这套语言在后面还会用。 "定义关系 → 找完全不变量 → 给出标准形"是线性代数贯穿全书的方法:第 6 章用特征值给方阵做相似分类(6-2-矩阵的对角化),用惯性指数给对称矩阵做合同分类(6-5-二次型与标准形),第 8 章把它们统一解释为"换基"(8-3-相似矩阵与基变换)。现在的"等价"是这套框架里最简单的一层。
例题 9:用 numpy 验证等价标准形与"等价 同秩"
题目
用 numpy 完成三件事:
(1) 验证例题 4 求得的 、 确实满足 ,且 、 都可逆;
(2) 写一个通用函数,把任意 矩阵化为等价标准形(行变换 + 列变换),并对若干随机矩阵检查 与 ;
(3) 用数值实验说明"解方程组只能用行变换":对同一个 做列变换后,新方程组的解与原解不同,必须用 换回来才一致。
第 1 步:思路。 化标准形分两阶段(4.4):先只做行变换得 ,再只做列变换得 。列变换可以通过"转置"复用行变换的函数:对 做行变换得到 ,转置回去就是 ,所以 。
第 2 步:完整代码(本示例只需要 numpy)。
pip install numpy
import numpy as np
# ---------- (1) 验证例题 4 的 P 与 Q ----------
A = np.array([[1., 2., 3., 4.],
[2., 4., 7., 9.],
[3., 6., 10., 13.]])
P = np.array([[7., -3., 0.],
[-2., 1., 0.],
[-1., -1., 1.]])
Q = np.array([[1., 0., -2., -1.],
[0., 0., 1., 0.],
[0., 1., 0., -1.],
[0., 0., 0., 1.]])
Lam = np.zeros((3, 4))
Lam[:2, :2] = np.eye(2) # Lambda_2
print("max|PAQ - Lambda_2| =", np.abs(P @ A @ Q - Lam).max()) # 0.0
print("det P =", round(float(np.linalg.det(P)), 12),
" det Q =", round(float(np.linalg.det(Q)), 12)) # 1.0 -1.0
print("rank A =", np.linalg.matrix_rank(A)) # 2
# ---------- (2) 通用的化等价标准形函数 ----------
def rref_with_P(M, tol=1e-10):
"""返回 (R, P),使 P @ M = R = 简化行阶梯形。"""
R = np.array(M, dtype=float)
P = np.eye(R.shape[0])
row = 0
for col in range(R.shape[1]):
if row >= R.shape[0]:
break
piv = row + int(np.argmax(np.abs(R[row:, col])))
if abs(R[piv, col]) < tol:
continue # 本列全为 0,看下一列
if piv != row: # 换行:R 与 P 一起换
R[[row, piv], :] = R[[piv, row], :]
P[[row, piv], :] = P[[piv, row], :]
pv = R[row, col]
R[row, :] /= pv # 主元化为 1
P[row, :] /= pv # 同一个行变换作用在 P 上
for i in range(R.shape[0]): # 主元列的其他行清零
if i != row and abs(R[i, col]) > tol:
f = R[i, col]
R[i, :] -= f * R[row, :]
P[i, :] -= f * P[row, :]
row += 1
return R, P
def canonical_form(M, tol=1e-10):
"""返回 (P, Q, r),使 P @ M @ Q = Lambda_r。"""
M = np.array(M, dtype=float)
R, P = rref_with_P(M, tol) # 行变换:P M = R
_, Qt = rref_with_P(R.T, tol) # 列变换 = 对转置做行变换
return P, Qt.T, int(np.linalg.matrix_rank(M))
def lambda_r(m, n, r):
L = np.zeros((m, n))
L[:r, :r] = np.eye(r)
return L
print("--- 随机矩阵检验 P A Q = Lambda_r ---")
rng = np.random.default_rng(2026)
for (m, n, r) in [(3, 4, 2), (3, 3, 3), (2, 5, 1), (4, 4, 2), (1, 3, 1)]:
M = rng.normal(size=(m, r)) @ rng.normal(size=(r, n)) # 秩恰为 r
Pp, Qq, rr = canonical_form(M)
err = np.abs(Pp @ M @ Qq - lambda_r(m, n, rr)).max()
print(" %dx%d, rank = %d, max|PAQ - Lambda_r| = %.2e" % (m, n, rr, err))
# ---------- (3) 解方程组只能用行变换 ----------
A2 = np.array([[2., 1.],
[1., 3.]])
b = np.array([1., 2.])
Q2 = np.array([[0., 1.],
[1., 0.]]) # 交换两列的初等矩阵
x = np.linalg.solve(A2, b) # 原方程组的解
y = np.linalg.solve(A2 @ Q2, b) # 做了列变换以后的"新方程组"的解
print("原解 x =", x) # [0.2 0.6]
print("列变换后的 y =", y) # [0.6 0.2]
print("x == Q2 @ y ?", np.allclose(x, Q2 @ y)) # True:换回未知量就一致
print("x == y ?", np.allclose(x, y)) # False:不换回就错了
第 3 步:运行结果(已实测)。
max|PAQ - Lambda_2| = 0.0
det P = 1.0 det Q = -1.0
rank A = 2
--- 随机矩阵检验 P A Q = Lambda_r ---
3x4, rank = 2, max|PAQ - Lambda_r| = 3.07e-16
3x3, rank = 3, max|PAQ - Lambda_r| = 6.99e-16
2x5, rank = 1, max|PAQ - Lambda_r| = 1.11e-16
4x4, rank = 2, max|PAQ - Lambda_r| = 3.88e-16
1x3, rank = 1, max|PAQ - Lambda_r| = 5.74e-17
原解 x = [0.2 0.6]
列变换后的 y = [0.6 0.2]
x == Q2 @ y ? True
x == y ? False
第 4 步:怎么读这三段输出。
- 第一段:、 正确,误差是 (手算得到的整数矩阵,浮点运算完全精确);、 说明两者可逆。
- 第二段:五组随机矩阵(各种形状、各种秩)都被化成了 ,误差在 量级——这是浮点舍入的极限(机器精度 ),说明 成立;同时每个样本的 都等于
np.linalg.matrix_rank给出的秩,验证了"标准形里的 就是秩"。 - 第三段:对 交换两列后,新方程组 的解是 ,它不等于原解 ;但 完全吻合。这就是 3.13 里那句话的数值证据:列变换等于换未知量。
手算时最容易漏掉的一步
用列变换解方程组(例如"先把系数矩阵化成标准形再回代")时,必须把每一步列变换记下来组成 ,最后用 换回原未知量。
只做行变换则完全不用记账——这也是为什么考试里解方程组一律只用行变换。
六、应用
6.1 解多个右端项(最重要)
工程中常遇到同一个系数矩阵、多组载荷/多组输入的问题。例如结构力学里,一栋楼的刚度矩阵不变,但要算多种工况(风载、地震、自重);电路里节点导纳矩阵不变,要算多种激励。此时
6.2 行列式与秩
由 (或 ):
而 ( 为行交换次数),所以
行列式就是主元之积(差一个符号)。这也解释了为什么 某个主元为 。
6.3 数值稳定性:部分选主元
若主元很小(例如 ),用它作除数会把误差放大成千上万倍。部分选主元(partial pivoting)——每步选当前列绝对值最大的元素作主元——可以把乘数控制在 以内,显著提高稳定性。这就是 在实践中的形态。
SciPy 的 scipy.linalg.lu 默认就做部分选主元,并返回满足 的三元组 ;若设 permute_l=True 则返回 与 ,满足 。注意它返回的 作用在左边、形式为 ,与本节手算的 差一个"左右互换",等价。
详见 11-1-数值稳定性与LU。
6.4 稀疏矩阵与大型问题
有限元、有限差分、图像处理中的矩阵动辄 阶,但绝大多数元素是零。LU 分解可以只对非零结构操作,配合重排序(例如 AMD、嵌套剖分)使 、 尽量稀疏(少出现"填充")。这是现代科学计算的核心技术。
6.5 对称矩阵与 Cholesky
若 对称正定, 中的 的对角元全为正,可以写成
即 Cholesky 分解。它只需要 LU 一半的运算量(),且不需要选主元(正定性保证了主元非零)。协方差矩阵、最小二乘的正规方程、高斯过程回归都依赖它。详见 12-2-协方差矩阵。
6.6 转置的其他用途
- 天然对称:给出最小二乘的正规方程,见 4-3-最小二乘逼近。
- 数据表的转置:把"样本 × 特征"转成"特征 × 样本",是机器学习中维度约定的常见操作。
- 法线变换:图形学中法向量要用 变换,才能保证与变换后的曲面垂直。
- 的行空间 = 的列空间:转置把行变成列,这是四大子空间理论的语言基础,见 3-5-四大子空间的维数。
6.7 用 numpy 验证
手写带选主元的 LU 分解并验证
本示例只需要 numpy:
```bash
pip install numpy
```
```python
import numpy as np
def lu_partial_pivot(A):
"""带部分选主元的 LU 分解,返回 P, L, U 使 P A = L U。"""
A = np.array(A, dtype=float)
n = A.shape[0]
P = np.eye(n)
L = np.zeros((n, n))
U = A.copy()
for k in range(n):
# 选主元:在第 k 列的第 k 行及以下找绝对值最大的元素
pivot = k + int(np.argmax(np.abs(U[k:, k])))
if abs(U[pivot, k]) < 1e-12:
raise ValueError("矩阵奇异,无法 LU 分解")
if pivot != k:
U[[k, pivot], :] = U[[pivot, k], :] # 交换 U 的两行
P[[k, pivot], :] = P[[pivot, k], :] # 记录置换
L[[k, pivot], :k] = L[[pivot, k], :k] # L 中已算出的乘数同样要换
for i in range(k + 1, n):
m = U[i, k] / U[k, k] # 消元乘数
L[i, k] = m
U[i, k:] -= m * U[k, k:]
return P, L + np.eye(n), U
# 第一行第一列是 0,必须选主元才能分解
A = np.array([[0., 2., 1.],
[4., 1., 3.],
[2., 3., 5.]])
P, L, U = lu_partial_pivot(A)
print("max|PA - LU| =", np.abs(P @ A - L @ U).max()) # 0.0
# 行列式:U 的对角元之积 × 置换的符号
sign = np.linalg.det(P)
det_lu = sign * np.prod(np.diag(U))
print("det(A) =", round(float(np.linalg.det(A)), 10)) # -18.0
print("由主元算得 =", round(float(det_lu), 10)) # -18.0
print("两条路径一致 ?", np.isclose(np.linalg.det(A), det_lu))
# 结构检查:L 是单位下三角,U 是上三角
print("L 单位下三角 ?", np.allclose(np.tril(L), L) and np.allclose(np.diag(L), 1))
print("U 上三角 ?", np.allclose(np.triu(U), U))
```
这个例子里最值得注意的一行
交换 的两行时, 中已经算出的乘数也必须跟着交换(代码中的
L[[k, pivot], :k])。漏掉这一步,得到的 与 仍然各自"形状正确",但 不再成立——这是手写 LU 最常见的错误。
6.8 等价标准形的四个用处
- 判断秩、求极大线性无关组:把矩阵(或把向量组按列排成的矩阵)化为阶梯形或等价标准形,非零行数就是秩,主元列对应的向量就是极大线性无关组。这是第 3 章 3-4-线性无关基与维数 的核心操作。
- 判断两个"看起来不同"的矩阵是否本质相同:只要同型、同秩就等价。工程上同一个物理对象在不同编号方案下得到的矩阵,往往只差若干次行、列交换,用等价标准形一眼就能看出来。
- 理论上的"分类"模板:等价标准形把 矩阵按秩分成 类。后面的合同标准形(对称矩阵按惯性指数分类,6-5-二次型与标准形)与相似标准形(Jordan 形,8-3-相似矩阵与基变换)都沿用同一套思路:"定义一个关系 → 找出完全不变量 → 给出标准形"。
- 数值上的对应物是 SVD: 就是"用两组正交矩阵做等价变换",把 化成对角形 ;把 的非零奇异值进一步归一化就得到 。所以 SVD 是等价标准形的数值稳定版——代价是 、 从"任意可逆"收紧为"正交",换来的是误差可控(见 7-1-SVD的构造与几何意义、11-2-范数与条件数)。
七、易错点
十二个高频错误
1. 里的 是单位下三角,对角元全是 。若你的 对角元不是 ,说明你把 的对角元也塞进 了,此时应当写成 并核对 。
2. 的元素是乘数,不是原矩阵元素。,是"消去时减掉的倍数",与 一般不同(例题 1 中 而 )。
3. 乘数必须用"当前(已更新过)的值"除以"当前主元",不能用原矩阵的值。
4. 是 ,不是 。行交换在左,列交换才在右。
5. 交换行时忘了同时交换 中已填的乘数,这是 手算的头号错误。检验方法: 必须等于 ,而不是等于 。
6. 的对角元就是主元;出现零对角元说明矩阵奇异(或需要换行)。
7. ,顺序必须颠倒。写成 是错的(取 、 都无法验证它,因为此时两者恰好相等,容易造成误解;换 立刻出错)。
8. 对称需要 。两个对称矩阵的乘积一般不对称,别想当然。
9. 对置换矩阵成立,因为它是正交矩阵;但对一般矩阵不成立(一般矩阵 )。
10. 置换矩阵有 个,不是 个,也不是 个。 时是 个。
11. 取决于置换的奇偶性,一次对换给 。算 时把符号漏掉是常见的失分点。
12. LU 分解不等于"可以不选主元"。实践中的 LU 几乎总带部分选主元;理论上的"消元不需换行"是理想条件。
关于"矩阵的等价"的六个高频错误
1. 中的 、 必须可逆。若允许任意矩阵,任何矩阵都能凑出 ,这个概念就没有意义了。检验方法:算 与 ,都必须非零。
2. 管行、 管列,位置不能反。 的阶数等于 的行数、 的阶数等于 的列数;行交换写在左边(),列交换写在右边()。
3. 等价、合同、相似是三件事。秩相同只保证等价;合同还要求正负惯性指数相同;相似还要求特征值(含重数)相同。包含关系只有"相似 等价""合同 等价",反之都不成立(例题 6 与 3.12 的反例)。
4. 解方程组时做列变换会改变解。列变换等于换未知量(),必须把 记下来换回原变量;忘记换回,得到的就是"另一个方程组的解"。
5. 等价标准形里不能留 以外的非零块。化标准形的最后一步总能把主元归一化成 ,所以结果一定是 ;若你的"标准形"里出现了 、 之类的元素,说明还没化完(可以再把对应的行或列乘以倍数)。
6. "同秩就等价"只对同型矩阵成立。 与 的矩阵秩可能相同,但它们不等价——等价的定义里 是 阶、 是 阶,形状必须先一致。
八、练习题
基础题 1. 对
求 ,并由此计算 。
基础题 2. 设 ,。求 ,并解 (用前代 + 回代,不要重新消元)。
进阶题 3. 对
判断消元是否需要换行;若需要,求出 使 。
进阶题 4. 写出 阶全部 个置换矩阵,并对每一个计算 ,说明奇偶性与符号的对应关系。
思考题 5. 设 是 阶可逆矩阵。证明: 可写成 (不需换行)当且仅当 的全部顺序主子式(leading principal minors)非零。(提示:用 的唯一性与分块消元。)
思考题 6. 设 是任意 矩阵。证明 对称,并说明:当 的列线性无关时 可逆。
进阶题 7. 求
的等价标准形,并写出对应的可逆矩阵 、。(提示:先看 ;再按 4.4 的两阶段流程做。)
进阶题 8. 判断下列两对矩阵是否等价、是否合同、是否相似,并说明理由:
(1) 与 ;
(2) 与 。
思考题 9. 证明: 阶可逆矩阵一定能写成有限个初等矩阵的乘积;并由此说明" 当且仅当存在初等矩阵 (左乘用)与 (右乘用)使 "。
九、常见问题 FAQ
Q1: 中的 为什么可以直接"填乘数",而不像 那样混在一起?
A:因为 是逆序相乘,而每个 只在一个格子里放一个乘数,且不同格子互不重叠,所以乘起来就是把这些数各就各位地填进去。反过来, 是正序相乘,后乘的矩阵会修改前乘的结果,于是产生交叉项(例题中那个 )。一句话:逆序相乘让乘数解耦,正序相乘让乘数耦合。
Q2:既然有 ,是不是任何矩阵都能做 LU 分解?
A:任何可逆矩阵都存在 (因为总能把非零主元换上来)。不可逆矩阵也可能有 LU 分解,但 会出现零对角元。反过来要注意:()不是总成立—— 就不行,必须先换行。
Q3: 与 有什么区别?为什么还要多写一个 ?
A: 里的 把主元和消元结果混在一起; 把主元单独提出来放进 ,于是 与 都是单位三角矩阵,形式完全对称。这样做有两个好处:
(1) 唯一性表述更干净:、、 三者都唯一确定;
(2) 对称矩阵时立刻给出 ,再开平方就得到 Cholesky 分解。
的对角元就是主元,这一点在做数值分析时格外重要。
Q4:为什么数值计算里几乎总是选主元,而手算例题却常常不选?
A:选主元的目的有两个——避免除以零与控制误差放大。手算例题时数字简单,不选主元也过得去,而且能看清 的结构;但真实计算中主元可能小到 ,一个除法就能把有效数字全部吃掉。部分选主元把乘数限制在 ,是 LU 分解成为"工业级算法"的关键一步。详见 11-1-数值稳定性与LU。
Q5:等价标准形里的 为什么必须等于秩?"同秩即等价"听起来太宽松了——两个看起来很不一样的矩阵怎么可能只差几次初等变换?
A:因为等价允许的动作非常多: 可以是任意 阶可逆矩阵、 可以是任意 阶可逆矩阵,一共 个可以自由调节的数,而秩给出的约束只锁住了其中一个整数。直觉上:可逆的 能把 的各行做任意的可逆线性组合(相当于"换一组行基"),可逆的 对列做同样的事("换一组列基");换完基之后,矩阵剩下的"骨架"只有两件事——哪些输入方向被压成零、哪些被原样送出——而这两件事合起来正好由秩 描述。
反过来,如果只允许行变换(即 ),可调的自由度少得多,标准形就不再是 ,而是唯一的简化行阶梯形 (主元全为 、主元列上下全零、主元位置从左到右依次推进)。所以"行等价"的完全不变量比秩更细——它是整个 。这也解释了为什么解方程组时行变换更"安全":它保留的信息更多。
本篇小结
核心结论
- :消元不需要换行时, 是消元结果、 是"乘数花名册"(单位下三角), 的非对角元就是消元乘数; 把主元单独提出来装进 , 与 都成为单位三角矩阵,唯一性表述最干净。
- 好用的原因: 是逆序相乘,每个乘数占据互不重叠的格子,可以"直接填表"; 正序相乘会让乘数纠缠在一起。
- :需要换行时,先把行交换累积成置换矩阵 。是 ,不是 ;交换行时要同步交换 中已填的乘数。
- 置换矩阵:(正交矩阵),共 个,(符号由置换的奇偶性决定); 重排 的行, 重排 的列。
- 行列式:( 为行交换次数);某个主元为 。
- 转置:(顺序颠倒); 与 必对称;两个对称矩阵之积对称 二者可交换; 对称且不需换行时 ,正定时可写成 Cholesky 分解。
- 矩阵的等价(本次补完的重点):(、 可逆) 与 可用有限次初等变换互相转化;任何 矩阵 都等价于唯一的等价标准形
并且同型矩阵等价 同秩(3.11 两个方向都给了证明)。
- 三种不变量:秩是等价的完全不变量;秩 + 正负惯性指数是合同的完全不变量(对称矩阵);特征值(含重数)是相似的完全不变量。
- 两个应用:① 求秩 / 化标准形时行、列变换都能用;② 解方程组时只能用行变换,用列变换必须配合 换回未知量。
易混概念对照表
| 概念 | 定义 | 允许的动作 | 完全不变量 | 标准形 | 典型易错 |
|---|---|---|---|---|---|
| 等价 | 行、列变换各用各的 | 秩 | 以为"行列式相同"就等价 | ||
| 合同 | 左 、右 (配对) | 秩 + 正负惯性指数 | 与相似混淆 | ||
| 相似 | 左 、右 (配对) | 特征值、迹、行列式、秩 | Jordan 形 | 以为同秩就相似 | |
| 行等价 | 只用行变换 | 简化行阶梯形 | (唯一) | 与等价混为一谈 |
| 易混点 | 辨析 |
|---|---|
| 与 | 是消元的"操作记录"(正序相乘,乘数会纠缠); 是乘数的"花名册"(逆序相乘,乘数各就各位) |
| 与 | 的对角元是主元,不一定是 ;(简化行阶梯形)的主元全是 ,且主元上下都清成 |
| 与 | 对非方阵也能写( 时"其余全零");只有 时才等于 |
| 与 | 置换矩阵有 ,换回去很容易;一般矩阵没有这个性质 |
| 行变换与列变换 | 解方程只能用行变换(保持同解);求秩、化标准形时两者都能用 |
| 、、 的三角性 | 中 单位下三角、 不单位; 中 、 都单位,主元全在 里 |
| 等价 vs 相等 | 等价是"只差一组换基",几乎不要求元素相同;相等要求逐元素相同 |
相关笔记
- 2-3-用矩阵进行消元——消元矩阵 的定义与乘法的结合律,本篇的 直接建立在其上。
- 2-4-矩阵运算与逆矩阵——转置与求逆的运算法则、,与 是同一套"顺序颠倒"逻辑。
- 附录-矩阵分解总览——把 、、、 放在一起对比,本篇是这张总表的第一行。
- 11-1-数值稳定性与LU——部分选主元、浮点误差与 LU 的工业实现。
- 3-1-向量空间——对称矩阵与上三角矩阵作为 的子空间,维数分别为 。
- 2-2-消元法的思想——"行变换保持同解"的原始版本;本篇 3.13 把它写成 ,并说明为什么列变换没有这个性质。
- 5-1-行列式的性质——初等变换如何改变行列式、;本篇"主元之积 = 行列式"的下一站,也是理解 的地方。
- 3-4-线性无关基与维数——秩、主元列与极大线性无关组;本篇"等价 同秩"正是那里"秩是唯一完全不变量"这一说法的证明。
- 6-4-对称矩阵与正定矩阵 与 6-5-二次型与标准形——合同关系与惯性定理,把本篇 3.12 的"等价 / 合同 / 相似"对比表接到二次型理论上。
- 6-2-矩阵的对角化 与 8-2-线性变换的矩阵表示——相似与基变换: 与 的几何来源都是"换一组基"。
- 7-1-SVD的构造与几何意义——用两组正交矩阵把 化成对角形,是等价标准形的数值稳定版;11-2-范数与条件数 讨论这种"稳定"到底意味着什么。
- 8-3-相似矩阵与基变换——相似标准形(Jordan 形)与本篇的等价标准形对照阅读,可以看清"找完全不变量"这套方法在全书中的统一形态。
参考来源
- Strang, Introduction to Linear Algebra, 5th Edition, §2.6 "Elimination = Factorization: "、§2.7 "Transposes and Permutations":https://math.mit.edu/~gs/linearalgebra/ila5/indexila5.html
- MIT OCW 18.06 Linear Algebra, Spring 2010(Lecture 4: Factorization into A = LU;Lecture 5: Transposes, Permutations, Spaces ):https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/
- SciPy 官方文档
scipy.linalg.lu(部分选主元的 约定与示例):https://docs.scipy.org/doc/scipy/reference/generated/scipy.linalg.lu.html - Strang, Introduction to Linear Algebra, 5th Edition, "Matrix Factorizations" 附录(各类分解一览):https://math.mit.edu/~gs/linearalgebra/ila5/lafe_Matrix.pdf
- 同济大学数学系《线性代数》第六版,第二章"矩阵的转置"、第三章"矩阵的初等变换"(文字参考)。
- 同济大学数学系《线性代数》第六版,第三章"矩阵的初等变换与线性方程组"(矩阵等价、等价标准形、初等变换与秩的关系、用初等变换求逆与求秩)(文字参考)。