w wyl123ly 的博客
MD

2-5-LU分解与转置置换

96 KB 2026.10.11 原文件

2-5-LU分解与转置置换

一句话概括

消元法最漂亮的副产品是矩阵分解:只要消元过程中不需要换行,消元的结果就能写成一个等式 ——下三角(lower triangular)乘上三角(upper triangular),而 中的元素就是消元乘数本身。需要换行时,用置换矩阵(permutation matrix) 把行调好,公式变成 。

本篇覆盖: 的完整推导与 例题 → 为什么 比 好用(对比展示 的乘积)→ 与唯一性 → 行交换与置换矩阵 、 例题 → 置换矩阵的四条性质与 计数 → 转置的运算法则与 的证明 → 对称矩阵、对称矩阵乘积何时仍对称 → 计算复杂度与用途。

本次补完新增:国内教材特有的矩阵的等价主题——等价关系 与初等变换的关系、等价标准形 ()、"等价 同秩"的完整证明(两个方向都证)、等价/合同/相似三者的对比表(不变量分别是什么)、以及"化标准形判断秩""解方程组时为什么只能用行变换"两个应用;另有例题 4–9(三道手算题、两道证明题、一道 numpy 验证题)与 ## 本篇小结。

一、定义

1.1 三角矩阵

下三角矩阵(lower triangular matrix)指主对角线以上元素全部为零的方阵:

上三角矩阵(upper triangular matrix)指主对角线以下元素全部为零的方阵:

若三角矩阵的对角元全为 ,则称它为单位三角矩阵(unit triangular matrix)。

1.2 分解

设 是 矩阵。若存在单位下三角矩阵 与上三角矩阵 ,使得

则称这是 的 LU 分解(LU decomposition / LU factorization)。

其中 的对角元全为 ,非对角元 ()称为消元乘数(multipliers); 的对角元 就是消元过程中的主元(pivots)。

1.3 分解

若把 的对角元提出来,写成 ,其中 是对角矩阵、 是单位上三角矩阵,则得到

习惯上把 仍记作 (上下文会说明对角元是否为 ),于是写作

其中 与 都是单位三角矩阵, 是对角矩阵。

1.4 置换矩阵

置换矩阵(permutation matrix)是把单位矩阵 的行重新排列后得到的矩阵。等价地:每行每列恰好有一个 、其余全为 的方阵。

阶置换矩阵与 元置换(permutation)一一对应,因此共有 个。例如 时共有 个,其中两个是

1.5 初等变换与初等矩阵(记号回顾)

国内教材从"初等变换"出发讲等价,这里先把记号补齐。对矩阵做以下三种初等行变换(elementary row operation):

  1. 对换:交换第 、 两行,记作 ;
  2. 倍乘:用非零数 乘第 行,记作 ();
  3. 倍加:把第 行的 倍加到第 行,记作 。

把"行"换成"列"就得到三种初等列变换。初等行变换与初等列变换统称初等变换(elementary transformation)。

每一种初等变换都等价于左乘(行变换)或右乘(列变换)一个初等矩阵(elementary matrix),即对单位矩阵 做同一次变换所得的矩阵。例如 对应

而 对应

初等矩阵都可逆,且逆仍是同类型的初等矩阵:对换的逆是它自己;倍乘 的逆是倍乘 ;倍加 的逆是把 加回去。这些在 2-3-用矩阵进行消元 已经详细讨论过,这里只补一条关键推论:

只做行变换时 ,只做列变换时 。

1.6 矩阵的等价

设 与 都是 矩阵。若存在 阶可逆矩阵 与 阶可逆矩阵 ,使得

则称 与 等价(equivalent),记作

注意两个要点:、 必须可逆; 只作用在左边(管行), 只作用在右边(管列)。

由 1.5 的推论,"等价"就是"可以用有限次初等变换互相转化"的矩阵说法:左乘 记录全部行变换,右乘 记录全部列变换。

为什么要引入"等价"

解方程组时我们只做行变换,因为行变换保持解集不变(见 2-2-消元法的思想);但如果只关心"矩阵能化简到什么程度"(判断秩、找极大线性无关组、比较两个矩阵是否本质相同),连列变换也可以一起用,化简能力更强。这种"行、列变换都能用"的关系就是等价。

三个关系要分清:等价允许左右各用一个可逆矩阵;合同要求左右"配对"( 与 );相似也要求配对( 与 )。三者的对比见 3.12。

1.7 等价标准形

记

即左上角是 阶单位矩阵、其余位置全为 的 矩阵()。例如 、、 时

若 等价于 ,就称 是 的等价标准形(有的教材叫等价规范形)。下一节将证明:每个矩阵都有等价标准形,而且其中的 恰好等于 的秩——所以"求秩"与"化等价标准形"其实是同一件事。


二、几何直观

2.1 消元做了两件事

回顾消元:用第 1 行消去第 1 列下方的元素,用第 2 行消去第 2 列下方的元素……每消一次,我们同时做了两件事:

  1. 制造一个 (这是目的);
  2. 减掉第 行的若干倍(这个倍数就是乘数)。

只记录了第 1 件事的结果(三角形状),而乘数被丢弃了。LU 分解就是把被丢弃的乘数收集到 里,使得 复原出原来的 。换句话说:

2.2 几何图像:用"三角坐标系"描述同一个变换

把 理解成变换的复合:先做 ,再做 。

  • 是上三角:它逐层确定输出——第 个分量只与输入的前 个分量有关,可以"从后往前"解出,所以 用回代(back substitution)一步一层。
  • 是单位下三角:它逐层还原——第 1 个分量只依赖第 1 个,可以"从前往后"解出,所以 用前代(forward substitution)。

于是解 的过程被拆成两步都极其容易的三角方程:

这就是 LU 分解的全部威力:把"难"的稠密方程组拆成两个"易"的三角方程组。

2.3 置换的几何图像:镜面反射

置换矩阵的几何意义是坐标轴的重排,也就是关于某个"斜镜面"的反射。例如

把 变成 ,几何上是关于直线 的镜像反射。反射两次回到原位,这正是 的几何解释,也是 的第一个例子。

2.4 等价的几何图像:换一组"输入基"和"输出基"

把 看成线性变换 (从 到 )。等式 里两个矩阵各有几何含义:

  • 右乘可逆的 :在输入空间里换一组基(等价地说,换一套描述输入的坐标);
  • 左乘可逆的 :在输出空间里换一组基。

所以 与 是同一个线性变换在两对不同基下的矩阵(第 8 章 8-2-线性变换的矩阵表示 会把这个说法讲严格)。等价矩阵"长得不同、本质相同"——它们作为变换的像空间维数(也就是秩)当然一样。

而等价标准形 是这个变换"最干净的写法":前 个输入方向被一对一地送到前 个输出方向,剩下的方向全被压成 :

用四大子空间的语言说: 的零空间维数是 、列空间维数是 ,而 正是原矩阵 的秩(子空间的完整讨论见 3-5-四大子空间的维数)。换基不改变变换的"骨架",只改变记录它的数字。


三、性质与定理

3.1 定理:消元即分解,

定理. 设 是 矩阵。若从 出发的 Gauss 消元不需要行交换就能进行到底(即每步主元都非零),则

其中 是单位下三角矩阵, 的第 元素()恰好是消元时用来消去 的那个乘数 ; 是消元结束后的上三角矩阵。

推导. 设消元过程用了 个初等矩阵 (都是"从某行减去另一行的倍数"这种类型,即单位下三角矩阵),使得

把左边的乘积记作 ,则 。由于每个 都可逆(把减去的倍数加回去即可还原), 也可逆,于是

关键一步:用穿脱律

每个 就是把 的非对角元变号(因为"减去 倍"的逆是"加上 倍")。而 本身就是单位下三角,所以 也是单位下三角,它们的乘积同样单位下三角。记

就得 。至于" 的元素就是乘数",下一节的例题会看清:每个 把一个乘数放在固定位置上,而不同位置的乘数互不干扰,可以直接"填表"。

3.2 为什么 比 好用(对比展示)

这是 Strang 反复强调的一点。用同一组消元操作,比较 与 。

设消元乘数为 、、。则

的乘积("脏"):

先算前两个:

再乘 :

注意左下角出现的 :两个乘数混在了一起。想从 里读出原来的乘数 、、,得先做一番换算,非常不方便。

的乘积("干净"):

先乘前两个:

再乘第三个:

乘数 、、 原封不动地待在自己的格子里! 这就是结论:

原因(一般性的证明思路): 只影响第 2 行, 只影响第 3 行,作乘积 时第 3 行只被 改过一次, 那一格不受影响;而 只写在 位置上, 只在 、 只在 ——三个乘数占据互不相同的格子,所以互不干扰。

但注意:这只在顺序正确时成立。若写成 , 会先作用, 之后又改第 3 行,就会生出交叉项。逆序相乘是"乘数直填"的关键,这也是穿脱律必须写成倒序的原因。

3.3 与唯一性

定理(分解的唯一性). 设 可逆,且消元不需要行交换。则

  1. 存在唯一的单位下三角 与上三角 (对角元非零)使 ;
  2. 存在唯一的单位下三角 、对角矩阵 、单位上三角 使 。

证明(2)的思路. 先说明"提取对角元"的合理性:把 的第 行整体除以 ,等价于右乘 ,其中 。因为 可逆意味着全部 (否则 有零对角元、,从而 ,矛盾),所以 可逆。于是同一个 有两种写法,只差一个对角因子, 与 是同一件事的两种记账方式。

再证唯一性。设

其中 单位下三角、 单位上三角、 可对角。两边整理得

左边是单位下三角(单位下三角矩阵对乘法封闭,且逆仍单位下三角);右边是上三角(对角矩阵乘上三角仍是上三角, 的上三角性保持;更直接地,把 并进去看对角元即可)。一个矩阵既是单位下三角又是上三角,只能是单位矩阵。于是

从后一式得 。比较两侧的对角元(两侧都是上三角,对角元就是 的对角元)得 ;再由 与 可逆得 。唯一性成立。

(1) 的推论: 的唯一性可由 (2) 立刻得到—— 相同、 由 与 唯一决定。

3.4 置换矩阵的四条性质

设 是 阶置换矩阵。

性质 1:,即 是正交矩阵。

证明. 设 的各列是 ,其中 是第 个标准基向量, 是 的一个排列。于是

由于 是双射,当 时 ,故 ;当 时该内积为 。所以

推论:每个置换矩阵自己就是自己的"转置逆",所以换回去就是把 再乘一遍:(对换行这种二阶置换成立;一般置换的幂次由置换的阶决定)。

性质 2:两个置换矩阵的乘积仍是置换矩阵;一共有 个。

证明. 置换矩阵左乘一个矩阵 的效果是重排 的行,右乘的效果是重排 的列。对 用这个观察: 是把 的行按 指定的方式重排,结果仍然每行每列只有一个 ,所以是置换矩阵。

计数: 阶置换矩阵由"第 1 行取哪个 、第 2 行取哪个 ……"确定,即由列指标的一个排列确定,而 个元素的排列共 个。

性质 3:,符号等于置换的奇偶性。

证明思路. 的各列是标准基向量, 就是"把若干次列交换作用在 上"的累计效应。每做一次列交换,行列式变号一次。所以偶数次交换得 ,奇数次交换得 。

性质 4: 重排 的行, 重排 的列。

验证(). 取 ,:

置换矩阵是"仅有的"同时保持长度与正交性的 矩阵

意味着 是正交矩阵(orthogonal matrix):它把标准正交基映到标准正交基,向量的长度与夹角都保持不变。一般正交矩阵的行列式也是 ,但元素不必是 或 ——置换矩阵是其中"最稀疏"的一类。

3.5 定理:(带行交换的 LU 分解)

定理. 设 是 可逆矩阵。则存在置换矩阵 、单位下三角矩阵 、上三角矩阵 ,使得

证明思路. 消元过程中若第 步主元为零,就把该行与下方某个主元非零的行交换。因为 可逆,第 列在位置 及其下方必有非零元(否则前 列线性相关,,与可逆矛盾),所以交换总是可行的。把所有这些行交换累积成一个置换矩阵 ,于是"对 做消元不需要任何行交换",由 3.1 的定理直接得到 。

注意顺序:是 ,不是 。因为行交换必须发生在消元之前(先把主元调好,再往下消)。

3.6 转置的运算法则

重复一遍 2-4 篇的表,本篇要证明其中的乘法法则。

法则表达式
双重转置
和的转置
数乘的转置
乘积的转置
逆的转置
转置不改变秩与行列式,
定理:

证明(逐元素法). 设 是 , 是 ,则 是 ,两边都是 矩阵,形状一致。看第 元素,其中 ,:

另一方面, 是 ,; 是 ,。于是

两个和式完全相同(只是乘法的书写顺序不同,而标量乘法可交换),所以矩阵相等:

证明(内积法,更能说明"为什么要颠倒"). 注意对任意向量 有内积与转置的关系

因为左边是标量,等于它自己的转置。现在对任意 、:

由于这对所有 成立,必有 。

直观解释: 表示"先 后 ",转置是"把输入输出对调"(把变换写成"由输出反查输入"的形式),对调之后顺序自然反过来:先是 ,再是 。

推论(多重乘积):

3.7 对称矩阵

定义. 若方阵 满足

即 对所有 成立,则称 为对称矩阵(symmetric matrix)。对称矩阵关于主对角线"镜像相等"。

性质 A:对称矩阵之和、数乘仍对称. 由 与 立得。特别地,全体 阶对称矩阵构成 的一个子空间(详见 3-1-向量空间),维数是

因为只需确定主对角线及其上方的元素。

性质 B(重要):对任意矩阵 , 与 都是对称矩阵。

证明. 用乘积转置法则:

同理 。

这就是最小二乘法中 天然对称的原因,也是它常常正定的原因(当 的列线性无关时)。详见 4-3-最小二乘逼近。

性质 C:对称矩阵的乘积何时仍对称?

设 与 都对称。则

因此

也就是说:两个对称矩阵的乘积对称,当且仅当它们可交换。

说明. "":若 ,则 ,对称。"":若 对称,则 ,可交换。

反例:、 都对称,但

,且 不对称。

性质 D:对称矩阵的逆仍对称. 若 对称且可逆,则

所以 对称。这是 的直接应用。

性质 E: 对称且消元不需换行时,.

证明. 由 。对 取转置:

对称给出 。左边 是单位下三角,右边 也是单位下三角;由 分解的唯一性(3.3)知

代回即得

这就是对称矩阵的 分解,它是 Cholesky 分解 的前身(把 的正平方根吸收进 ,需要 正定)。

3.8 计算复杂度

对 稠密矩阵,各步骤的浮点运算次数(只数乘除):

任务运算量 时的量级
消元得到 与 (LU 分解)
一次前代 + 回代(解一个右端项)
显式求逆
每次矩阵—向量乘法

推导思路(为什么是 ):第 1 步要消去第 1 列下方的 个元素,每个约需 次乘除,共约 ;第 2 步约 ;依此类推,总计

结论:分解一次花 ,之后每解一个右端项只花 。

3.9 引理:可逆矩阵相乘不改变秩

引理. 设 是 矩阵, 是 阶可逆矩阵, 是 阶可逆矩阵。则

证明(左乘部分). 先证零空间不变:。

  • 若 ,则 ,所以 ;
  • 反过来,若 ,两边左乘 得 ,所以 。

两个矩阵的零空间相同,而它们都有 列,由秩—零化度定理(,见 3-4-线性无关基与维数)

证明(右乘部分). 用列空间。由矩阵乘法的列读法, 的每一列都是 的若干列的线性组合,所以

把同样的推理用在 上,得 ,于是两个列空间相等:

推论(初等变换不改变秩). 初等矩阵都可逆,而任何一次初等变换都是"左乘或右乘一个初等矩阵",所以初等变换不改变矩阵的秩。这条推论是后面一切"用初等变换求秩"的理论依据——2-2-消元法的思想 里早就在用它,只是那时还没有给"秩"起这个名字。

3.10 定理:等价标准形的存在性

定理. 设 是 矩阵,。则 等价于 :存在可逆矩阵 、 使

证明(构造性,三步走).

第 1 步:只用行变换把 化为简化行阶梯形 。 记 的主元列号为 。行变换不改变秩(3.9),所以 恰有 个主元,且主元列就是 分别落在第 列上,其余列是主元列的线性组合。记这些行变换的乘积为 ,则 可逆且

其中 是 的矩阵, 是 的零矩阵(若 ,下面这块不存在)。

第 2 步:用列变换把非主元列清成零列。 对每个非主元列 ,设它在 中的第 个元素为 (),做倍加型列变换

因为主元列是 ,这一操作恰好把第 列变成零列(第 个分量变成 )。注意主元列本身没有被改动(我们只改非主元列),所以做完之后第 列仍然是 。这一步对应右乘某个可逆矩阵 。

第 3 步:把主元列调到前 列。 用列对换把第 列换到第 列()。列对换是初等变换,对应右乘一个置换矩阵 ,而置换矩阵可逆(3.4 的性质 1)。做完之后

把三步合起来:。取 (可逆矩阵之积仍可逆)即得结论。

口诀:先只用行变换化到简化行阶梯形,再用列变换把主元列挪到最前、把其余列清成零。

3.11 定理:等价 同秩(两个方向都证)

定理. 设 、 都是 矩阵(同型)。则

也就是说:同型矩阵等价的充要条件是它们同秩。等价类由秩完全决定,等价标准形 是每个等价类的代表元。

证明(必要性:等价 同秩). 设 ,其中 、 可逆。由 3.9 的引理(先用右乘、再用左乘)

证明(充分性:同秩 等价). 设 。由 3.10 的定理,存在可逆矩阵 使

于是 。两边左乘 得 ,再右乘 :

记 、。可逆矩阵的逆与乘积都可逆,所以 、 可逆,即 ,故 。

顺便得到唯一性: 是等价关系下的完全不变量,所以等价标准形唯一——不同 的 秩不同,不可能等价:

这个定理为什么重要

它把"矩阵相等"这种过强的要求换成了"矩阵等价":只要秩相同,两个矩阵就可以用可逆的 、 互相转化。于是判断两个矩阵是否等价只需要数主元个数,无需逐元素比较。代价是"等价"比"相等"弱得多—— 矩阵一共只有 三种秩,所以全部 矩阵只被分成 个等价类。

3.12 等价、合同、相似:三张"化简"的关系对比

设 、 是同阶方阵。三种关系都是"用可逆矩阵把 化简",但允许的动作不同,于是不变量也不同。

关系定义允许的动作完全不变量标准形典型反例(有前者无后者)
等价(equivalent), 可逆行、列变换各用各的秩 —(它是最弱的关系)
合同(congruent), 可逆左 、右 (配对)秩 + 正负惯性指数(对称矩阵) 与
相似(similar), 可逆左 、右 (配对)特征值(含重数)、迹、行列式、秩Jordan 形 与
行等价, 可逆只用行变换简化行阶梯形 秩相同但 不同

三条包含关系:

反之都不成立。原因很直观:相似与合同的左右两个矩阵由同一个可逆矩阵决定( 与 、 与 ),而等价允许左右互相独立,所以等价是三者中最"宽松"的。这一串包含关系在第 6 章(特征值与二次型)和第 8 章(线性变换)会反复出现,见 6-2-矩阵的对角化、6-5-二次型与标准形、8-3-相似矩阵与基变换。

两个具体反例(都必须记住)。

(a)等价但不相似: 取

两者秩都是 ,同型,所以 。但 而 :若 ,则 ,矛盾。所以它们不相似( 有特征值 ,而 的两个特征值都是 ——特征值不同,自然不相似)。

(b)等价但不合同: 取

两者秩都是 ,都可逆,所以等价。但它们作为对称矩阵的惯性指数不同: 的两个特征值都是 (正惯性指数 、负惯性指数 ), 的特征值是 与 (正负惯性指数各 )。而合同变换保持惯性指数(惯性定理,6-5-二次型与标准形),所以 与 不合同。

3.13 矩阵等价的两个应用

应用 1:用等价标准形判断秩,并用它给秩一个"标准形定义"。

由 3.11,

所以"求秩"与"化等价标准形"是同一件事的两面:用初等变换(行、列都能用)把 尽量化简,剩下的非零行数就是秩。手算时不必真把标准形化到底,只要化到"每个非零行、每个非零列都只剩一个非零元"即可。

行列变换一起用时,秩不会算错

这一点比"行变换求秩"更省事:行列变换都可以用,而且不需要选主元也不会出错(只要不把整行整列乘 )。原因就是 3.9 的引理。数值计算里则相反——为了控制误差,仍然推荐只用带选主元的行变换,见 11-2-范数与条件数。

应用 2:解方程组时只能用行变换。

这是初学者最容易忽略的一条。对方程组 做初等行变换,等价于在等式两边左乘同一个可逆矩阵 :

新方程组与原方程组同解,所以行变换可以放心用(这正是 Gauss 消元的合法性来源)。

而初等列变换是右乘 ,它把方程变成

也就是说:未知量被悄悄换掉了。新方程组的解 与原方程组的解 之间差一个 ;若只用列变换而忘记用 换回原变量,得到的"解"就是另一个方程组的解,是错的。

一句话记住

化等价标准形(求秩、求极大线性无关组、判断等价)时行、列变换随便用;解方程组时只能做行变换。

若确实要用列变换,必须同时记录 ,最后用 换回原未知量。例题 9 会给一个数值演示。


四、计算方法与步骤

4.1 直接算出 与 ("边消元边记乘数")

  1. 写出 ,准备一张空白的 (对角元先填 )。
  2. 做消元:若要消去第 行第 列的元素,计算乘数

然后执行 ,并把 填进 的 位置。

  1. 继续直到左半部分成为上三角,它就是 。
  2. 若某步主元为 :先与下方非零行交换,并把所有已填的乘数也一起交换(这是最容易出错的地方,见 4.2)。
  3. 检验:算一次 ,看是否等于 。

4.2 的步骤(部分选主元)

  1. 找主元:在第 列中,从第 行往下找绝对值最大的元素(数值计算中为稳定性这样做;手算时找任何非零元即可)。
  2. 交换行:把该行换到第 行,并在 中记录这次交换。同时交换 中第 行与目标行的已填乘数(因为那些乘数是相对于新的行顺序记录的)。
  3. 消元:用新主元消去第 列下方的元素,乘数填入 。
  4. 重复直到上三角。
  5. 输出:得到 、、,满足 。

记忆口诀

先记录交换,再消元; 跟着 一起换。 检验方法:算出 后再做一次普通 LU,两者的 应当一致。

4.3 用 LU 分解解

  1. 求 ;
  2. 解 (前代,从第 1 行往下算);
  3. 解 (回代,从最后一行往上算)。

4.4 化等价标准形并同时求出 与 (手算标准流程)

用"增广表"把两个可逆矩阵一起记下来,分两个阶段做。

第 1 阶段(只做行变换,求出 ). 把 与单位矩阵 左右并排:

左边化到简化行阶梯形 ,右边就是满足 的可逆矩阵 。原理:每一步行变换都是左乘一个初等矩阵,全过程的乘积就是 ;而 被同一串初等矩阵乘过之后正好变成 。

第 2 阶段(只做列变换,求出 ). 把 与 上下叠放:

上块化到等价标准形,下块就是 。原理:列变换是右乘初等矩阵, 被同一个 乘成了 。

第 3 步(输出与检验). 得到 ,其中 。检验三件事:

  1. 算一次 ,必须恰好等于 ;
  2. 算 与 ,都必须非零(否则过程中用了不可逆的操作);
  3. 数一下 中 的个数,必须等于主元个数。

为什么不"边行边列"混着做

混着做也能化到标准形,但 与 就不好记录了:第 1 阶段结束后若再做行变换, 必须继续更新,而"上下叠放"的那张表会被打乱。分两阶段做,、 各自一次记清,手算最省心。


五、例题

例题 1: 与 的完整计算

设

求 与 。

解. 目标形状是

第 1 步:消去第 1 列。 主元 。

  • 第 2 行:。执行 :

  • 第 3 行:。执行 :

现在矩阵是

第 2 步:消去第 2 列。 主元 。第 3 行:。执行 :

得到

检验 :

逐行验证:第 2 行 ✔;第 3 行 ✔。

求 . 取出 的对角元:,,,所以

把 的每一行除以对应的主元:

于是

顺带得到行列式:。

独立核对:沿第 1 行展开

例题 2:(需要行交换)与置换矩阵

设

求置换矩阵 与分解 。

解. 若直接对 做消元,第一步主元就是 ,必须换行。把第 1 行与第 3 行交换(取绝对值最大的 作主元,数值上最稳)。

构造 : 交换 的第 1、3 行:

于是

对 做消元。

第 1 步: 主元 (左上角)。。执行 :

第 3 行第 1 列已是 ,无需操作()。当前矩阵:

第 2 步: 主元 。。执行 :

得到

检验 :

第 1 行: ✔

第 2 行: ✔

第 3 行: ✔

所以

验证 :

这个 是对换(transposition),交换两次回到原位,所以 、。

行列式(顺带):,而 (一次行交换,奇置换)。由 得 ,所以 。

独立核对:沿第 1 行展开

例题 3:用 LU 分解解两个右端项

沿用例题 1 的 ,解 与 ,其中 ,。

解. 分解已经做好:,,。两个右端项共用同一套 ——这正是 LU 分解的价值。

(一)。

前代 :

得 。

回代 :

所以 。

检验: ✔; ✔; ✔。

(二)。

前代:

回代:

所以 。

检验: ✔; ✔; ✔。

效率对比:若分别对 、 各做一次完整消元,要做两遍 ;用 LU 分解只做一遍 ,加两遍 。 大、右端项多时差距巨大。

例题 4:把 矩阵化为等价标准形(并写出所用的 、)

题目

设

(1) 求 的秩 ;

(2) 求可逆矩阵 、 使 ;

(3) 验证 确实等于等价标准形。

第 1 步:只用行变换求秩。 记 的三行为 。

:

:

现在矩阵是

第 2 步:消去下一个主元下方的元素。 第 2 列整列为 ,主元跳到第 3 列(主元是 )。:

得到行阶梯形

第 3 步:回代清掉主元上方的元素。 :

于是简化行阶梯形为

主元列是第 1、3 列,这一点后面要用到。

第 4 步:在同一个表里记录 。 把 与 并排,把上面三步行变换重做一遍(这正是 4.4 的第 1 阶段):

、:

:

:

右半块就是所求的 :

第 5 步:抽查一行,确认 无误。 用 的第 1 行乘 :

与 的第 1 行一致 ✔。

第 6 步:核对 可逆。 沿第 3 行展开(前两个余子式各含一整列 ,等于 ):

所以 可逆 ✔。

第 7 步:用列变换把 化为 ,同时记录 。 目标:让两个主元列(第 1、3 列)变成 ,其余列清成零列。把 放上、 放下:

列变换 1:(把第 2 列的 消掉):

列变换 2:(第 4 列的两个 分别用第 1、3 列消掉):

列变换 3:(把主元列第 3 列调到第 2 列的位置):

上块已经是 ,下块就是

第 8 步:核对 可逆。 交换 的第 2、3 行,得到一个对角元全为 的上三角矩阵(行列式为 );交换一次行变号,所以

可逆 ✔。

第 9 步:验证 。 先算 (用列读法: 的第 列等于 乘 的第 列)。记 的四列为 :

的四列分别是 、、、,所以

逐列算:

所以

再左乘 ,逐行算:

  • 第 1 行:;
  • 第 2 行:;
  • 第 3 行:。

于是

第 10 步:结论。

、 说明两者确实可逆("等价"定义里的可逆要求得到满足)。

从 、 里能读出什么

- 的阶数等于 的行数 , 的阶数等于 的列数 ——这是最容易记错的地方( 左乘管行, 右乘管列)。

- 标准形里 的个数就是秩,与 、 的具体数值无关:换一种消元顺序,化到最后一定还是同一个 。

- 题目只要"求秩"时,完全不必求 、;求 、 只在明确要求"写出变换矩阵"时才需要。

例题 5:判断两个矩阵是否等价

题目

判断下列三个 矩阵中,哪些与 等价:

要求:用等价标准形(而不是"行列式相等")给出判断过程,并说明理由。

第 1 步:明确判据。 三个矩阵同型(都是 ),由 3.11 的定理,等价 秩相同。于是任务变成:分别求出三者的等价标准形(至少求出秩)。

第 2 步:把 化为等价标准形。 先做行变换。

(验算: ✔; ✔。)第 2 行整行为零,与第 3 行交换(初等变换不改变秩):

第 3 步:继续用列变换化到底。

所以 ,。(最后一步"第 2 列乘 "也是初等变换——倍乘的倍数只要非零即可。)

第 4 步:把 化为等价标准形。 行变换:

(验算: ✔; ✔。)继续:

所以 ,。

第 5 步:把 化为等价标准形。

三个非零行,所以 ,它的等价标准形是 。

独立核对:沿 的第 1 行展开

满秩 ✔( 也说明三个主元非零)。

第 6 步:结论。

  • 、:两者的等价标准形相同,所以 (由等价的对称性与传递性,见例题 8);
  • :,所以 与 不等价。

别用"行列式相等"判断等价

等价的不变量只有秩。本例中 与 的行列式都等于 (这是巧合,因为两者都降秩),而 的行列式是 。但"行列式相等"既不是等价的充分条件、也不是必要条件:

两者行列式不同( 与 )却秩都是 ,所以等价;反过来,两个行列式都为零的矩阵也可能不等价(秩不同)。判断等价永远只数主元个数。

例题 6:对称矩阵的 分解(顺便认识"合同")

题目

设

(1) 求 的 分解;

(2) 求 ;

(3) 说明 与对角矩阵 是合同的(即存在可逆矩阵 使 ),并指出 的对角元说明了什么。

第 1 步:核对 对称。 、、,所以 ✔。对称是 能成立的前提(3.7 的性质 E)。

第 2 步:消去第 1 列。 主元 。

  • 第 2 行:,执行 :

  • 第 3 行:,执行 :

当前矩阵与 中已填的部分:

第 3 步:消去第 2 列。 主元 。,执行 :

于是

第 4 步:提出对角元得 ,并验证 。

把 的每一行除以对应主元:

两者逐元素相等——这正是 3.7 性质 E( 对称且不需换行时上三角因子就是 )的验证。于是

第 5 步:抽查一次乘法,验证分解正确。 先算 :

再算 的第 3 行:

与 的第 3 行一致 ✔。

第 6 步:算行列式。 由 与 :

独立核对(沿第 1 行展开):

三个二阶行列式分别为

代回:

第 7 步:把 改写成合同关系。 两边左乘 、右乘 :

记 ,则 可逆,且 ,于是

即 与 合同。

的对角元 全为正,说明对应的二次型是正定的:正惯性指数为 、负惯性指数为 。惯性指数是合同的完全不变量(惯性定理,见 6-5-二次型与标准形 与 6-4-对称矩阵与正定矩阵),所以 不可能与任何"含负对角元"的对角矩阵合同——尽管它们可能等价(只要秩都是 )。这正好呼应 3.12 的对比表:等价只看秩,合同还要看惯性指数。

第 8 步:顺带看看 与 是否相似。 相似的不变量是特征值。用 numpy.linalg.eigvalsh 算得 的特征值约为

与 的对角元 完全不同(虽然都为正,这与"合同保持正惯性指数"一致)。所以

这个例子把 3.12 的对比表落到实处: 与 秩都是 (等价)、正负惯性指数相同(合同),但特征值不同(不相似)。三个关系是三种不同的"化简",不变量各不相同。

例题 7(证明):

题目

设 是 实矩阵。证明

并顺带说明 是对称矩阵。

第 1 步:把结论转化为"零空间相同"。 由秩—零化度定理,秩由零空间的维数决定(列数固定为 )。所以只要证

第 2 步:先证一个方向 。 若 ,两边左乘 :

所以 ✔。

第 3 步:再证反方向。 设 。两边左乘 :

由本篇 3.6 的转置法则 ,左边其实是 与自己的内积:

实数的平方和为零当且仅当每一项为零,所以 ,即 ✔。

第 4 步:两个零空间相同,用秩—零化度定理收尾。 与 都有 列,于是

第 5 步:顺带说明对称性。 由 3.7 的性质 B,

所以 是对称矩阵 ✔。

第 6 步:这个结论有什么用。 当 的列线性无关时 ,由本题得 ,即 阶方阵 可逆——这正是最小二乘的正规方程

有唯一解的原因(详见 4-3-最小二乘逼近)。同一个结论在协方差矩阵、加权最小二乘里反复出现,见 12-2-协方差矩阵。

例题 8(证明):等价关系的三条性质与等价类

题目

证明 矩阵之间的等价满足

(1) 自反性:;

(2) 对称性:;

(3) 传递性:、。

并说明:为什么这三条性质让"等价"成为一个等价关系,以及等价类由什么决定。

第 1 步:自反性。 取 、。两者都可逆,且

所以按定义 ✔。

第 2 步:对称性。 设 ,其中 、 可逆。两边左乘 :

再右乘 :

由 (见 2-4-矩阵运算与逆矩阵), 与 都可逆,所以按定义 ✔。

第 3 步:传递性。 设 、,其中 都可逆。代入:

这里用了矩阵乘法的结合律。可逆矩阵的乘积仍可逆,所以 、 可逆,且 ,即 ✔。

第 4 步:为什么叫"等价关系"。 一个集合上的关系若同时满足自反、对称、传递,就称为等价关系(equivalence relation)。它把集合分成若干等价类:同类元素互相等价,不同类的元素不等价。等价关系的价值在于"用不变量给对象分类"——这正是 3.11 的定理所做的事。

第 5 步:等价类由秩决定。 由 3.11,,所以 矩阵的等价类恰好由秩标记:

一共 类,每一类的代表元是 ( 时 ,即零矩阵)。

举例:所有 矩阵被分成 四种秩,共 个等价类,代表元分别是 、、、。例题 4 的 与例题 5 的 、 都在 这一"类"里,而例题 5 的 在 那一类。

第 6 步:这套语言在后面还会用。 "定义关系 → 找完全不变量 → 给出标准形"是线性代数贯穿全书的方法:第 6 章用特征值给方阵做相似分类(6-2-矩阵的对角化),用惯性指数给对称矩阵做合同分类(6-5-二次型与标准形),第 8 章把它们统一解释为"换基"(8-3-相似矩阵与基变换)。现在的"等价"是这套框架里最简单的一层。

例题 9:用 numpy 验证等价标准形与"等价 同秩"

题目

用 numpy 完成三件事:

(1) 验证例题 4 求得的 、 确实满足 ,且 、 都可逆;

(2) 写一个通用函数,把任意 矩阵化为等价标准形(行变换 + 列变换),并对若干随机矩阵检查 与 ;

(3) 用数值实验说明"解方程组只能用行变换":对同一个 做列变换后,新方程组的解与原解不同,必须用 换回来才一致。

第 1 步:思路。 化标准形分两阶段(4.4):先只做行变换得 ,再只做列变换得 。列变换可以通过"转置"复用行变换的函数:对 做行变换得到 ,转置回去就是 ,所以 。

第 2 步:完整代码(本示例只需要 numpy)。

pip install numpy
import numpy as np

# ---------- (1) 验证例题 4 的 P 与 Q ----------
A = np.array([[1., 2., 3., 4.],
              [2., 4., 7., 9.],
              [3., 6., 10., 13.]])
P = np.array([[7., -3., 0.],
              [-2., 1., 0.],
              [-1., -1., 1.]])
Q = np.array([[1., 0., -2., -1.],
              [0., 0., 1., 0.],
              [0., 1., 0., -1.],
              [0., 0., 0., 1.]])

Lam = np.zeros((3, 4))
Lam[:2, :2] = np.eye(2)                       # Lambda_2
print("max|PAQ - Lambda_2| =", np.abs(P @ A @ Q - Lam).max())      # 0.0
print("det P =", round(float(np.linalg.det(P)), 12),
      " det Q =", round(float(np.linalg.det(Q)), 12))              # 1.0  -1.0
print("rank A =", np.linalg.matrix_rank(A))                        # 2

# ---------- (2) 通用的化等价标准形函数 ----------
def rref_with_P(M, tol=1e-10):
    """返回 (R, P),使 P @ M = R = 简化行阶梯形。"""
    R = np.array(M, dtype=float)
    P = np.eye(R.shape[0])
    row = 0
    for col in range(R.shape[1]):
        if row >= R.shape[0]:
            break
        piv = row + int(np.argmax(np.abs(R[row:, col])))
        if abs(R[piv, col]) < tol:
            continue                           # 本列全为 0,看下一列
        if piv != row:                         # 换行:R 与 P 一起换
            R[[row, piv], :] = R[[piv, row], :]
            P[[row, piv], :] = P[[piv, row], :]
        pv = R[row, col]
        R[row, :] /= pv                        # 主元化为 1
        P[row, :] /= pv                        # 同一个行变换作用在 P 上
        for i in range(R.shape[0]):            # 主元列的其他行清零
            if i != row and abs(R[i, col]) > tol:
                f = R[i, col]
                R[i, :] -= f * R[row, :]
                P[i, :] -= f * P[row, :]
        row += 1
    return R, P

def canonical_form(M, tol=1e-10):
    """返回 (P, Q, r),使 P @ M @ Q = Lambda_r。"""
    M = np.array(M, dtype=float)
    R, P = rref_with_P(M, tol)                 # 行变换:P M = R
    _, Qt = rref_with_P(R.T, tol)              # 列变换 = 对转置做行变换
    return P, Qt.T, int(np.linalg.matrix_rank(M))

def lambda_r(m, n, r):
    L = np.zeros((m, n))
    L[:r, :r] = np.eye(r)
    return L

print("--- 随机矩阵检验 P A Q = Lambda_r ---")
rng = np.random.default_rng(2026)
for (m, n, r) in [(3, 4, 2), (3, 3, 3), (2, 5, 1), (4, 4, 2), (1, 3, 1)]:
    M = rng.normal(size=(m, r)) @ rng.normal(size=(r, n))   # 秩恰为 r
    Pp, Qq, rr = canonical_form(M)
    err = np.abs(Pp @ M @ Qq - lambda_r(m, n, rr)).max()
    print("  %dx%d, rank = %d, max|PAQ - Lambda_r| = %.2e" % (m, n, rr, err))

# ---------- (3) 解方程组只能用行变换 ----------
A2 = np.array([[2., 1.],
               [1., 3.]])
b = np.array([1., 2.])
Q2 = np.array([[0., 1.],
               [1., 0.]])                  # 交换两列的初等矩阵
x = np.linalg.solve(A2, b)                 # 原方程组的解
y = np.linalg.solve(A2 @ Q2, b)            # 做了列变换以后的"新方程组"的解
print("原解 x       =", x)                  # [0.2 0.6]
print("列变换后的 y =", y)                  # [0.6 0.2]
print("x == Q2 @ y ?", np.allclose(x, Q2 @ y))      # True:换回未知量就一致
print("x == y      ?", np.allclose(x, y))           # False:不换回就错了

第 3 步:运行结果(已实测)。

max|PAQ - Lambda_2| = 0.0
det P = 1.0  det Q = -1.0
rank A = 2
--- 随机矩阵检验 P A Q = Lambda_r ---
  3x4, rank = 2, max|PAQ - Lambda_r| = 3.07e-16
  3x3, rank = 3, max|PAQ - Lambda_r| = 6.99e-16
  2x5, rank = 1, max|PAQ - Lambda_r| = 1.11e-16
  4x4, rank = 2, max|PAQ - Lambda_r| = 3.88e-16
  1x3, rank = 1, max|PAQ - Lambda_r| = 5.74e-17
原解 x       = [0.2 0.6]
列变换后的 y = [0.6 0.2]
x == Q2 @ y ? True
x == y      ? False

第 4 步:怎么读这三段输出。

  • 第一段:、 正确,误差是 (手算得到的整数矩阵,浮点运算完全精确);、 说明两者可逆。
  • 第二段:五组随机矩阵(各种形状、各种秩)都被化成了 ,误差在 量级——这是浮点舍入的极限(机器精度 ),说明 成立;同时每个样本的 都等于 np.linalg.matrix_rank 给出的秩,验证了"标准形里的 就是秩"。
  • 第三段:对 交换两列后,新方程组 的解是 ,它不等于原解 ;但 完全吻合。这就是 3.13 里那句话的数值证据:列变换等于换未知量。

手算时最容易漏掉的一步

用列变换解方程组(例如"先把系数矩阵化成标准形再回代")时,必须把每一步列变换记下来组成 ,最后用 换回原未知量。

只做行变换则完全不用记账——这也是为什么考试里解方程组一律只用行变换。


六、应用

6.1 解多个右端项(最重要)

工程中常遇到同一个系数矩阵、多组载荷/多组输入的问题。例如结构力学里,一栋楼的刚度矩阵不变,但要算多种工况(风载、地震、自重);电路里节点导纳矩阵不变,要算多种激励。此时

6.2 行列式与秩

由 (或 ):

而 ( 为行交换次数),所以

行列式就是主元之积(差一个符号)。这也解释了为什么 某个主元为 。

6.3 数值稳定性:部分选主元

若主元很小(例如 ),用它作除数会把误差放大成千上万倍。部分选主元(partial pivoting)——每步选当前列绝对值最大的元素作主元——可以把乘数控制在 以内,显著提高稳定性。这就是 在实践中的形态。

SciPy 的 scipy.linalg.lu 默认就做部分选主元,并返回满足 的三元组 ;若设 permute_l=True 则返回 与 ,满足 。注意它返回的 作用在左边、形式为 ,与本节手算的 差一个"左右互换",等价。

详见 11-1-数值稳定性与LU。

6.4 稀疏矩阵与大型问题

有限元、有限差分、图像处理中的矩阵动辄 阶,但绝大多数元素是零。LU 分解可以只对非零结构操作,配合重排序(例如 AMD、嵌套剖分)使 、 尽量稀疏(少出现"填充")。这是现代科学计算的核心技术。

6.5 对称矩阵与 Cholesky

若 对称正定, 中的 的对角元全为正,可以写成

即 Cholesky 分解。它只需要 LU 一半的运算量(),且不需要选主元(正定性保证了主元非零)。协方差矩阵、最小二乘的正规方程、高斯过程回归都依赖它。详见 12-2-协方差矩阵。

6.6 转置的其他用途

  • 天然对称:给出最小二乘的正规方程,见 4-3-最小二乘逼近。
  • 数据表的转置:把"样本 × 特征"转成"特征 × 样本",是机器学习中维度约定的常见操作。
  • 法线变换:图形学中法向量要用 变换,才能保证与变换后的曲面垂直。
  • 的行空间 = 的列空间:转置把行变成列,这是四大子空间理论的语言基础,见 3-5-四大子空间的维数。

6.7 用 numpy 验证

手写带选主元的 LU 分解并验证

本示例只需要 numpy:

```bash

pip install numpy

```

```python

import numpy as np

def lu_partial_pivot(A):

"""带部分选主元的 LU 分解,返回 P, L, U 使 P A = L U。"""

A = np.array(A, dtype=float)

n = A.shape[0]

P = np.eye(n)

L = np.zeros((n, n))

U = A.copy()

for k in range(n):

# 选主元:在第 k 列的第 k 行及以下找绝对值最大的元素

pivot = k + int(np.argmax(np.abs(U[k:, k])))

if abs(U[pivot, k]) < 1e-12:

raise ValueError("矩阵奇异,无法 LU 分解")

if pivot != k:

U[[k, pivot], :] = U[[pivot, k], :] # 交换 U 的两行

P[[k, pivot], :] = P[[pivot, k], :] # 记录置换

L[[k, pivot], :k] = L[[pivot, k], :k] # L 中已算出的乘数同样要换

for i in range(k + 1, n):

m = U[i, k] / U[k, k] # 消元乘数

L[i, k] = m

U[i, k:] -= m * U[k, k:]

return P, L + np.eye(n), U

# 第一行第一列是 0,必须选主元才能分解

A = np.array([[0., 2., 1.],

[4., 1., 3.],

[2., 3., 5.]])

P, L, U = lu_partial_pivot(A)

print("max|PA - LU| =", np.abs(P @ A - L @ U).max()) # 0.0

# 行列式:U 的对角元之积 × 置换的符号

sign = np.linalg.det(P)

det_lu = sign * np.prod(np.diag(U))

print("det(A) =", round(float(np.linalg.det(A)), 10)) # -18.0

print("由主元算得 =", round(float(det_lu), 10)) # -18.0

print("两条路径一致 ?", np.isclose(np.linalg.det(A), det_lu))

# 结构检查:L 是单位下三角,U 是上三角

print("L 单位下三角 ?", np.allclose(np.tril(L), L) and np.allclose(np.diag(L), 1))

print("U 上三角 ?", np.allclose(np.triu(U), U))

```

这个例子里最值得注意的一行

交换 的两行时, 中已经算出的乘数也必须跟着交换(代码中的 L[[k, pivot], :k])。

漏掉这一步,得到的 与 仍然各自"形状正确",但 不再成立——这是手写 LU 最常见的错误。

6.8 等价标准形的四个用处

  1. 判断秩、求极大线性无关组:把矩阵(或把向量组按列排成的矩阵)化为阶梯形或等价标准形,非零行数就是秩,主元列对应的向量就是极大线性无关组。这是第 3 章 3-4-线性无关基与维数 的核心操作。
  2. 判断两个"看起来不同"的矩阵是否本质相同:只要同型、同秩就等价。工程上同一个物理对象在不同编号方案下得到的矩阵,往往只差若干次行、列交换,用等价标准形一眼就能看出来。
  3. 理论上的"分类"模板:等价标准形把 矩阵按秩分成 类。后面的合同标准形(对称矩阵按惯性指数分类,6-5-二次型与标准形)与相似标准形(Jordan 形,8-3-相似矩阵与基变换)都沿用同一套思路:"定义一个关系 → 找出完全不变量 → 给出标准形"。
  4. 数值上的对应物是 SVD: 就是"用两组正交矩阵做等价变换",把 化成对角形 ;把 的非零奇异值进一步归一化就得到 。所以 SVD 是等价标准形的数值稳定版——代价是 、 从"任意可逆"收紧为"正交",换来的是误差可控(见 7-1-SVD的构造与几何意义、11-2-范数与条件数)。

七、易错点

十二个高频错误

1. 里的 是单位下三角,对角元全是 。若你的 对角元不是 ,说明你把 的对角元也塞进 了,此时应当写成 并核对 。

2. 的元素是乘数,不是原矩阵元素。,是"消去时减掉的倍数",与 一般不同(例题 1 中 而 )。

3. 乘数必须用"当前(已更新过)的值"除以"当前主元",不能用原矩阵的值。

4. 是 ,不是 。行交换在左,列交换才在右。

5. 交换行时忘了同时交换 中已填的乘数,这是 手算的头号错误。检验方法: 必须等于 ,而不是等于 。

6. 的对角元就是主元;出现零对角元说明矩阵奇异(或需要换行)。

7. ,顺序必须颠倒。写成 是错的(取 、 都无法验证它,因为此时两者恰好相等,容易造成误解;换 立刻出错)。

8. 对称需要 。两个对称矩阵的乘积一般不对称,别想当然。

9. 对置换矩阵成立,因为它是正交矩阵;但对一般矩阵不成立(一般矩阵 )。

10. 置换矩阵有 个,不是 个,也不是 个。 时是 个。

11. 取决于置换的奇偶性,一次对换给 。算 时把符号漏掉是常见的失分点。

12. LU 分解不等于"可以不选主元"。实践中的 LU 几乎总带部分选主元;理论上的"消元不需换行"是理想条件。

关于"矩阵的等价"的六个高频错误

1. 中的 、 必须可逆。若允许任意矩阵,任何矩阵都能凑出 ,这个概念就没有意义了。检验方法:算 与 ,都必须非零。

2. 管行、 管列,位置不能反。 的阶数等于 的行数、 的阶数等于 的列数;行交换写在左边(),列交换写在右边()。

3. 等价、合同、相似是三件事。秩相同只保证等价;合同还要求正负惯性指数相同;相似还要求特征值(含重数)相同。包含关系只有"相似 等价""合同 等价",反之都不成立(例题 6 与 3.12 的反例)。

4. 解方程组时做列变换会改变解。列变换等于换未知量(),必须把 记下来换回原变量;忘记换回,得到的就是"另一个方程组的解"。

5. 等价标准形里不能留 以外的非零块。化标准形的最后一步总能把主元归一化成 ,所以结果一定是 ;若你的"标准形"里出现了 、 之类的元素,说明还没化完(可以再把对应的行或列乘以倍数)。

6. "同秩就等价"只对同型矩阵成立。 与 的矩阵秩可能相同,但它们不等价——等价的定义里 是 阶、 是 阶,形状必须先一致。


八、练习题

基础题 1. 对

求 ,并由此计算 。

基础题 2. 设 ,。求 ,并解 (用前代 + 回代,不要重新消元)。

进阶题 3. 对

判断消元是否需要换行;若需要,求出 使 。

进阶题 4. 写出 阶全部 个置换矩阵,并对每一个计算 ,说明奇偶性与符号的对应关系。

思考题 5. 设 是 阶可逆矩阵。证明: 可写成 (不需换行)当且仅当 的全部顺序主子式(leading principal minors)非零。(提示:用 的唯一性与分块消元。)

思考题 6. 设 是任意 矩阵。证明 对称,并说明:当 的列线性无关时 可逆。

进阶题 7. 求

的等价标准形,并写出对应的可逆矩阵 、。(提示:先看 ;再按 4.4 的两阶段流程做。)

进阶题 8. 判断下列两对矩阵是否等价、是否合同、是否相似,并说明理由:

(1) 与 ;

(2) 与 。

思考题 9. 证明: 阶可逆矩阵一定能写成有限个初等矩阵的乘积;并由此说明" 当且仅当存在初等矩阵 (左乘用)与 (右乘用)使 "。


九、常见问题 FAQ

Q1: 中的 为什么可以直接"填乘数",而不像 那样混在一起?

A:因为 是逆序相乘,而每个 只在一个格子里放一个乘数,且不同格子互不重叠,所以乘起来就是把这些数各就各位地填进去。反过来, 是正序相乘,后乘的矩阵会修改前乘的结果,于是产生交叉项(例题中那个 )。一句话:逆序相乘让乘数解耦,正序相乘让乘数耦合。

Q2:既然有 ,是不是任何矩阵都能做 LU 分解?

A:任何可逆矩阵都存在 (因为总能把非零主元换上来)。不可逆矩阵也可能有 LU 分解,但 会出现零对角元。反过来要注意:()不是总成立—— 就不行,必须先换行。

Q3: 与 有什么区别?为什么还要多写一个 ?

A: 里的 把主元和消元结果混在一起; 把主元单独提出来放进 ,于是 与 都是单位三角矩阵,形式完全对称。这样做有两个好处:

(1) 唯一性表述更干净:、、 三者都唯一确定;

(2) 对称矩阵时立刻给出 ,再开平方就得到 Cholesky 分解。

的对角元就是主元,这一点在做数值分析时格外重要。

Q4:为什么数值计算里几乎总是选主元,而手算例题却常常不选?

A:选主元的目的有两个——避免除以零与控制误差放大。手算例题时数字简单,不选主元也过得去,而且能看清 的结构;但真实计算中主元可能小到 ,一个除法就能把有效数字全部吃掉。部分选主元把乘数限制在 ,是 LU 分解成为"工业级算法"的关键一步。详见 11-1-数值稳定性与LU。

Q5:等价标准形里的 为什么必须等于秩?"同秩即等价"听起来太宽松了——两个看起来很不一样的矩阵怎么可能只差几次初等变换?

A:因为等价允许的动作非常多: 可以是任意 阶可逆矩阵、 可以是任意 阶可逆矩阵,一共 个可以自由调节的数,而秩给出的约束只锁住了其中一个整数。直觉上:可逆的 能把 的各行做任意的可逆线性组合(相当于"换一组行基"),可逆的 对列做同样的事("换一组列基");换完基之后,矩阵剩下的"骨架"只有两件事——哪些输入方向被压成零、哪些被原样送出——而这两件事合起来正好由秩 描述。

反过来,如果只允许行变换(即 ),可调的自由度少得多,标准形就不再是 ,而是唯一的简化行阶梯形 (主元全为 、主元列上下全零、主元位置从左到右依次推进)。所以"行等价"的完全不变量比秩更细——它是整个 。这也解释了为什么解方程组时行变换更"安全":它保留的信息更多。


本篇小结

核心结论

  • :消元不需要换行时, 是消元结果、 是"乘数花名册"(单位下三角), 的非对角元就是消元乘数; 把主元单独提出来装进 , 与 都成为单位三角矩阵,唯一性表述最干净。
  • 好用的原因: 是逆序相乘,每个乘数占据互不重叠的格子,可以"直接填表"; 正序相乘会让乘数纠缠在一起。
  • :需要换行时,先把行交换累积成置换矩阵 。是 ,不是 ;交换行时要同步交换 中已填的乘数。
  • 置换矩阵:(正交矩阵),共 个,(符号由置换的奇偶性决定); 重排 的行, 重排 的列。
  • 行列式:( 为行交换次数);某个主元为 。
  • 转置:(顺序颠倒); 与 必对称;两个对称矩阵之积对称 二者可交换; 对称且不需换行时 ,正定时可写成 Cholesky 分解。
  • 矩阵的等价(本次补完的重点):(、 可逆) 与 可用有限次初等变换互相转化;任何 矩阵 都等价于唯一的等价标准形

并且同型矩阵等价 同秩(3.11 两个方向都给了证明)。

  • 三种不变量:秩是等价的完全不变量;秩 + 正负惯性指数是合同的完全不变量(对称矩阵);特征值(含重数)是相似的完全不变量。
  • 两个应用:① 求秩 / 化标准形时行、列变换都能用;② 解方程组时只能用行变换,用列变换必须配合 换回未知量。

易混概念对照表

概念定义允许的动作完全不变量标准形典型易错
等价行、列变换各用各的秩 以为"行列式相同"就等价
合同左 、右 (配对)秩 + 正负惯性指数与相似混淆
相似左 、右 (配对)特征值、迹、行列式、秩Jordan 形以为同秩就相似
行等价只用行变换简化行阶梯形 (唯一)与等价混为一谈
易混点辨析
与 是消元的"操作记录"(正序相乘,乘数会纠缠); 是乘数的"花名册"(逆序相乘,乘数各就各位)
与 的对角元是主元,不一定是 ;(简化行阶梯形)的主元全是 ,且主元上下都清成
与 对非方阵也能写( 时"其余全零");只有 时才等于
与 置换矩阵有 ,换回去很容易;一般矩阵没有这个性质
行变换与列变换解方程只能用行变换(保持同解);求秩、化标准形时两者都能用
、、 的三角性 中 单位下三角、 不单位; 中 、 都单位,主元全在 里
等价 vs 相等等价是"只差一组换基",几乎不要求元素相同;相等要求逐元素相同

相关笔记

  • 2-3-用矩阵进行消元——消元矩阵 的定义与乘法的结合律,本篇的 直接建立在其上。
  • 2-4-矩阵运算与逆矩阵——转置与求逆的运算法则、,与 是同一套"顺序颠倒"逻辑。
  • 附录-矩阵分解总览——把 、、、 放在一起对比,本篇是这张总表的第一行。
  • 11-1-数值稳定性与LU——部分选主元、浮点误差与 LU 的工业实现。
  • 3-1-向量空间——对称矩阵与上三角矩阵作为 的子空间,维数分别为 。
  • 2-2-消元法的思想——"行变换保持同解"的原始版本;本篇 3.13 把它写成 ,并说明为什么列变换没有这个性质。
  • 5-1-行列式的性质——初等变换如何改变行列式、;本篇"主元之积 = 行列式"的下一站,也是理解 的地方。
  • 3-4-线性无关基与维数——秩、主元列与极大线性无关组;本篇"等价 同秩"正是那里"秩是唯一完全不变量"这一说法的证明。
  • 6-4-对称矩阵与正定矩阵 与 6-5-二次型与标准形——合同关系与惯性定理,把本篇 3.12 的"等价 / 合同 / 相似"对比表接到二次型理论上。
  • 6-2-矩阵的对角化 与 8-2-线性变换的矩阵表示——相似与基变换: 与 的几何来源都是"换一组基"。
  • 7-1-SVD的构造与几何意义——用两组正交矩阵把 化成对角形,是等价标准形的数值稳定版;11-2-范数与条件数 讨论这种"稳定"到底意味着什么。
  • 8-3-相似矩阵与基变换——相似标准形(Jordan 形)与本篇的等价标准形对照阅读,可以看清"找完全不变量"这套方法在全书中的统一形态。

参考来源

  • Strang, Introduction to Linear Algebra, 5th Edition, §2.6 "Elimination = Factorization: "、§2.7 "Transposes and Permutations":https://math.mit.edu/~gs/linearalgebra/ila5/indexila5.html
  • MIT OCW 18.06 Linear Algebra, Spring 2010(Lecture 4: Factorization into A = LU;Lecture 5: Transposes, Permutations, Spaces ):https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/
  • SciPy 官方文档 scipy.linalg.lu(部分选主元的 约定与示例):https://docs.scipy.org/doc/scipy/reference/generated/scipy.linalg.lu.html
  • Strang, Introduction to Linear Algebra, 5th Edition, "Matrix Factorizations" 附录(各类分解一览):https://math.mit.edu/~gs/linearalgebra/ila5/lafe_Matrix.pdf
  • 同济大学数学系《线性代数》第六版,第二章"矩阵的转置"、第三章"矩阵的初等变换"(文字参考)。
  • 同济大学数学系《线性代数》第六版,第三章"矩阵的初等变换与线性方程组"(矩阵等价、等价标准形、初等变换与秩的关系、用初等变换求逆与求秩)(文字参考)。