1-3-矩阵入门
一句话概括
矩阵就是一排列向量; 是这些列的线性组合, 的每一列是 的列的线性组合。
本篇覆盖:矩阵的列视角与行视角、 的两种读法(列组合为主、行点积为辅)、矩阵乘法的四种理解、单位矩阵与置换矩阵、结合律与交换律、转置、分块矩阵的初步(分块加法、分块乘法、分块对角矩阵,国内教材特有)、线性方程组的矩阵写法、独立与相关向量的直观。
2.9 节「自学导读」回答四个「为什么」(乘法为什么这样定义、去掉结合律会怎样、转置为什么要反序、交换律失效会导致什么错误),供零基础读者先读。
一、定义
1.1 矩阵
定义(矩阵,matrix) 一个 矩阵( 行 列)是 个数排成的矩形阵列:
其中 表示第 行第 列的元素(先列后行读作「第 行第 列」,本库统一: 的第一个下标是行,第二个是列)。
时称为方阵(square matrix); 时是列向量, 时是行向量。因此向量是矩阵的特例。
1.2 按列看与按行看
按列分块(column picture): 是 个列向量横排在一起
其中 是 的第 列,即 的第 个列向量。
按行分块(row picture): 是 个行向量竖着叠起来
( 表示 的第 行,即一个 维行向量。)
同一个矩阵,两种分块。 矩阵也可以看成一列「 维向量」,或一行「 维向量」。选哪种取决于要回答的问题。
1.3 矩阵与向量的乘积
定义() 设 为 矩阵,,则 ,其第 个分量为
即 的第 个分量是 的第 行与 的点积。维数规则:
内侧的 必须相等,外侧的 是结果的行数。
1.4 矩阵乘法
定义() 设 为 矩阵, 为 矩阵,则 是 矩阵,其第 行第 列元素为
即 的第 行与 的第 列的点积。
维数规则:
内侧的 必须相等。 有定义不代表 有定义(甚至当 时 根本不合法)。
1.5 单位矩阵与置换矩阵
定义(单位矩阵,identity matrix) 阶方阵 满足主对角线元素为 、其余为 :
它的列正是标准基向量 。核心性质:(对任意 ),且 (当维数匹配时)。
定义(置换矩阵,permutation matrix) 每行每列恰好有一个 、其余全为 的方阵,称为置换矩阵。 阶置换矩阵共有 个。
例( 阶):
左乘置换矩阵 = 交换行: 把 的第 、 行互换。右乘置换矩阵 = 交换列: 把 的第 、 列互换。
1.6 转置
定义(转置,transpose) 把 的行与列互换得到的 矩阵记作 :
例:
转置的列就是 的行(转置把行空间与列空间互换角色,见 3-5-四大子空间的维数)。
定义(对称矩阵,symmetric matrix) 若 ,即 ,称 为对称矩阵。对称矩阵必须是方阵。
1.7 线性方程组的矩阵形式
方程组
可以写成矩阵形式
其中 是系数矩阵, 是未知数向量, 是右端向量。等价的增广矩阵写法是 。
1.8 分块矩阵的初步
前面已经用过「按列分块」与「按行分块」。国内教材进一步把这件事一般化:用横竖两条线把矩阵切成若干小块,把每块当成一个「元素」来看待。这个操作叫分块(partition / block decomposition)。
定义(分块矩阵) 用若干条横线与竖线把 矩阵 切成若干个小矩阵,称为 的子块(block)。把子块按位置排成阵列,就得到分块矩阵:
其中 是位于第 块行、第 块列的子块。
分块的硬性要求
同一块行中,各子块的行数必须相同;同一块列中,各子块的列数必须相同。 否则子块之间参差不齐,连「加法」都写不出来。用「切豆腐」的图像记忆:横切的位置一旦确定,每一大行的厚度就都定死了。
常见的分块方式:
| 分块方式 | 形状 | 典型用途 |
|---|---|---|
| 按列分块 | 是列的线性组合、列空间、秩 | |
| 按行分块 | 的分量逐个算、行图像 | |
| 分块 | 左上、右上、左下、右下 | 分块乘法、分块求逆、Schur 补 |
| 分块对角 | 非对角块全为零 | 解耦:把大问题拆成独立小问题 |
| 分块三角 | 对角块之一为零 | LU 分解、递推求解 |
定义(分块加法) 设 同型,且采用完全相同的分块方式,则
与数乘一样:
定义(分块乘法) 设 为 、 为 。把 按列分成 组,把 按行分成同样的 组(即 的列分组宽度与 的行分组高度逐组相等),则
注意三件事:
- 写法和普通 矩阵乘法一模一样——这就是分块的意义:把大矩阵降级成小矩阵来算。
- 相乘的次序不能交换:写的是 而不是 ,因为矩阵乘法不交换。
- 「切法匹配」是硬性条件: 的列分组必须与 的行分组逐组相等。否则 里内侧维数不相等,乘法无定义。
为什么分块乘法是对的
直接按求和验证。设 的列被分成 (前 列一块、后 列一块), 的行被同样地分成 行一块、 行一块。则
第一组正是 (取决于 落在 的哪一列块),第二组同理。求和可以按指标分组相加,这就是分块乘法的全部理由——它和第 1-1 篇讲的「双重求和交换次序」是同一件事的两个侧面。
定义(分块对角矩阵,block diagonal matrix) 若方阵 的分块中,非对角块全为零矩阵:
其中每个 都是方阵,则称 为分块对角矩阵。它有三个极好用的性质:
- 乘法解耦:
大问题被拆成两个互不干扰的小问题。
- 行列式相乘(第 5 章会证明):。
- 可逆性: 可逆 每个对角块 都可逆;此时
(第 2 章会用到。)
为什么分块对角这么重要? 因为它对应解耦。方程组 自动拆成两个互不相干的方程组 与 。工程上「把大系统拆成小系统」是性能的关键,而分块对角就是「可拆」的代数标志。反过来,第 6 章的对角化 就是把矩阵变成分块对角(对角块都是 )的极致情形。
一个具体的分块对角例子:
三个性质的验证:
用消元法独立验证:由于第 1、2 行只在第 1、2 列有非零元,第 3、4 行只在第 3、4 列有非零元,消元时两块互不干扰,所以 的四个主元就是两块各自的主元。
对 : 得 ,主元是 与 。
对 : 得 ,主元是 与 。
四个主元之积:
与 完全一致 ✓。这是「主元的乘积等于行列式」这条重要结论(第 5 章)的一个实例。
手算分块对角行列式时的两个坑
1. 不要把 误算成「对角元之积」。上面 ,而「对角元之积」——非对角元 会通过消元影响主元,绝不能忽略。若误算成 ,就会得到 ,与正确答案 相差甚远。
2. 不要以为「分块对角」就等于「对角矩阵」。分块对角允许每个对角块内部有非零的非对角元(如 里的 与 );对角矩阵是「块都是 」的极端情形。
用消元后的主元乘积独立验算一遍行列式,是防止这类错误最有效的手段。
再验证乘法解耦:取
则按分块乘法
逐元素复核第 3 行第 4 列: 的第 3 行是 , 的第 4 列是 ,点积为 ✓。结果正确。
二、几何直观
2.1 矩阵是「一排列向量」——本篇第一主线
把 竖起来看:
这是 Strang 全书最重要的视角转换。 矩阵不是一个「数字表格」,而是一组方向(列)。 矩阵把 中 个向量搬到 中:
- 每个列向量 是 中的一个点/箭头;
- 所有 构成的集合就是这些列的张成空间,记作 ,称为列空间(column space);
- 列空间的维数就是 的秩(rank):。
图形描述:把 的三列画在 里。如果三支箭头不共面,它们就撑起整个空间;如果三者落在同一张过原点的平面里,它们只撑起那张平面。
2.2 的两种读法
读法一(列的组合,主线):
的每个分量告诉我们对相应的列「取几倍」,然后把得到的向量首尾相接加起来。
读法二(行的点积,辅助):
其中 是 的第 行。这给出 的每个分量。
| 读法一:列的组合 | 读法二:行的点积 | |
|---|---|---|
| 输入视角 | 是系数 | 是被测向量 |
| 输出视角 | 是一个向量(列的组合) | 的分量逐个算出 |
| 几何 | 在 中还是不在 | 每个方程是一个超平面 |
| 本库态度 | 主线,优先使用 | 验算与手算时用 |
两种读法必须同时会
列读法告诉你「能不能解」(可解性),行读法告诉你「解是多少」(计算)。 Strang 强调列读法,是因为它直接回答「 是否在列空间里」这个几何问题,而这正是第 2、3、4 章的全部内容。行读法在 时才画得出图,因而无法推广。
回到与 1-1-向量与线性组合 的呼应:那一篇确立了 是列的线性组合;本篇把这个事实升级为矩阵的视角——矩阵就是列向量的集合,乘法的意义就是「用系数把列组合起来」。
2.3 矩阵乘法的四种理解
这是本篇第二主线。设
并且把 按列分块、按行分块、按元素、按块分别看,就得到四种等价的理解。
理解一:列的组合(最推荐)
的第 列是 的列的线性组合,系数是 的第 列:
而由读法一,。
这条性质是全篇的核心结论:
推论:( 的列空间含于 的列空间)。这个包含关系在第 3 章讨论秩时非常有用:。同理按行看, 的每一行是 的行的线性组合,故 。合起来就是秩不等式
理解二:行的点积
即 的第 行与 的第 列做点积。这是手算时最方便的定义,也是考试中最常用的算法。
理解三:列乘行之和(外积形式)
把 按列分块、 按行分块:
( 表示 的第 行。)
其中每一项 是 的秩一矩阵(外积)。所以
这条视角在第 7 章 SVD 里是绝对主角:,即任何矩阵都是秩一矩阵的加权和。
理解四:分块乘法
把 切成小块,只要切法匹配( 的列分组与 的行分组一致),就按普通矩阵的规则相乘:
分块乘法让大矩阵的计算能并行化,也是计算机实现矩阵乘法(分块缓存优化)的理论依据。
四种理解汇总表:
| 理解 | 公式 | 典型用途 |
|---|---|---|
| 一、列的组合 | 列空间、秩、可解性(Strang 主线) | |
| 二、行的点积 | 手算、编程实现 | |
| 三、列乘行之和 | SVD、低秩逼近、外积分解 | |
| 四、分块 | 块按矩阵规则相乘 | 并行计算、LU 分解的块算法 |
2.4 用具体矩阵把四种理解演一遍
取
理解二(最快):
理解一(列的组合): 的列是 ,。 的第一列是 ,所以
的第二列是 ,所以
与理解二的结果一致。注意这里 ,包含关系取等号(因为 可逆、秩为 )。
理解三(外积之和): 的列 、; 的行为 、。
相加:
每个外积都是秩一矩阵(两行成比例、两列成比例),它们的和才升到秩 。
理解四(分块):取 分块本身就是整体;若取 的块,分块乘法退化为理解二。可以验证 矩阵按 的块划分时结果一致(此处从略,见练习题 5)。
2.5 单位矩阵与置换矩阵的几何意义
的几何作用是什么都不做:,对应恒等变换。它的列是标准基。
置换矩阵 的几何作用是坐标轴的置换(在 中交换两个坐标轴,相当于对空间作一次镜像式的重排)。关键性质:
置换矩阵的逆就是它的转置:
验证(以 为例):
(交换两次就回到原状,这在几何上一目了然。)
置换矩阵是第 2 章 分解的关键工具:消元时若主元为零,需要交换行,交换行就是用 左乘。
2.6 结合律成立,交换律不成立
结合律:。几何意义:三个变换连续作用,先做哪个「括号」不影响最终结果——因为矩阵乘法本质上是线性变换的复合,而函数的复合天然满足结合律(第 8 章会详细解释)。
交换律一般不成立:。几何意义:先剪切再拉伸,与先拉伸再剪切,得到的是两个完全不同的图形。这是线性代数与普通数运算最本质的差别。
反例(必须记住的一个):取
算 ( 的第一列为 ,第二列为 ,按列的组合读):
算 (此时 的第一列为 ,第二列为 ):
于是
几何解释: 表示「先剪切、再拉伸」, 表示「先拉伸、再剪切」。对单位正方形而言,两条路径把右上角顶点 送到不同的位置—— 送它到 , 送它到 。顺序换了,结果就换了。
另一个「零因子」反例(与交换律是不同的现象)
交换律失效与「零因子」是两件事,都要知道。取
则
而 、。矩阵世界有零因子,不能像实数那样由 推出 或 。 与 都不可逆(),这正是「零因子」与「不可逆」的等价性来源(第 2、5 章)。
2.7 独立与相关向量的直观
定义(线性无关,linearly independent) 向量组 线性无关,是指
只有零解 。否则称线性相关。
几何直观:
| 向量组 | 关系 | 张成什么 |
|---|---|---|
| 单个非零向量 | 无关 | 一条直线 |
| 两个不成比例的向量 | 无关 | 一张平面( 中即整个平面) |
| 两个成比例的向量 | 相关 | 一条直线(有一个是多余的) |
| 三个不共面的向量 | 无关 | |
| 三个共面的向量 | 相关 | 至多一张平面 |
| 中 个向量 | 一定相关 | 至多 |
「无关」的直观读法:每一个向量都带来了新方向,一个都不能丢。「相关」的直观读法:至少有一个向量落在其他向量的张成空间里,是「多余的」。
用矩阵语言表述(与 2.1 节的列视角完美衔接):把向量组按列排成矩阵 ,则
即零空间只含零向量。反面:线性相关 存在非零的 使 零空间里有非零向量。秩—零化度定理给出精确的数量关系:
列无关() 零空间只有零向量。 详见 3-4-线性无关基与维数 与 3-5-四大子空间的维数。
2.8 分块矩阵的几何直观:把大空间拆成互不干扰的小空间
分块不只是「书写方便」,它有明确的几何内容。以 分块为例:
图像描述:把输入的 按列切成两段 ,把输出的 按行切成两段 。那么:
- 描述「输入第一段 → 输出第一段」的通道;
- 描述「输入第二段 → 输出第一段」的通道;
- 描述「输入第一段 → 输出第二段」的通道;
- 描述「输入第二段 → 输出第二段」的通道。
于是分块乘法公式 有了信息流的解释:从输入的一段走到输出的一段,有两条路——「先走 的第一段通道再走 的第一段通道」与「先走 的第二段通道再走 的第二段通道」——两条路的贡献相加。
如果 且 (即 是分块对角),两条「跨段」的路被切断,输入第一段只影响输出第一段。这就是解耦(decoupling):
两个子问题完全独立——可以并行计算,也可以分别求解。工程上大量算法(图像分块压缩、有限元的区域分解、神经网络的通道分组)都建立在这个观察上。
如果只有 (分块上三角):
此时输入第一段会影响输出两段,但输入第二段只能影响输出第二段——信息流是单向的。这种结构的好处是可以逐个击破:解方程 时,先由第二块方程 解出 ,再回代求 。这正是回代(back substitution) 的矩阵形式,也是 LU 分解能高效求解的原因(见 2-5-LU分解与转置置换)。
分块视角的三条用处
1. 计算加速:分块后每块都能塞进 CPU 的快速缓存,现代 BLAS 库的矩阵乘法就是分块递归实现的。这是「算法层面的分块」,与数值稳定性无关。
2. 结构识别:分块对角、分块三角、分块对称这些结构一旦看出来,问题立刻降维。这是「数学层面的分块」,例如 12-2-协方差矩阵 里把变量按组分开后,协方差矩阵自然呈现分块结构。
3. 理论证明:秩不等式、Schur 补、分块求逆公式都是分块记号下的简单推导。这是「证明层面的分块」。
2.9 自学导读:为什么这样定义?去掉条件会怎样?
问题一:矩阵乘法为什么要定义成「行点列」,而不是「对应元素相乘」?
「对应元素相乘」确实是一种合法的运算,叫Hadamard 积(逐元素积),记作 ,在数值计算与信号处理里很有用。但它不能用来表示线性变换的复合:若 、,我们想要一个矩阵 使 对一切 成立。逐元素积做不到这一点,而「行点列」的定义恰好做到:
乘法规则是被「复合」这个需求逼出来的,此外没有别的选择。Hadamard 积不满足结合律与「与复合对应」这两条,所以不能当矩阵乘法用。
问题二:如果去掉结合律会怎样?
结合律 是矩阵乘法能「连乘」的前提。没有它, 就无从谈起——必须每次说明括号在哪里, 个矩阵会有 Catalan 数条不同的计算路径。更严重的后果:
- 幂 无定义,于是第 6 章的矩阵幂方法(用 解差分方程、用 解微分方程、Markov 链的稳态)全部失效;
- 消元过程无法写成矩阵连乘: 依赖于结合律,从而 的整套理论崩塌;
- 与 的关系完全失控,连 都证不出来。
所以矩阵乘法的定义里,结合律不是「额外性质」,而是设计目标之一。它之所以自动成立,是因为「函数的复合天然满足结合律」——第 8 章会把这个观察讲成一句漂亮的话:矩阵乘法的结合律就是变换复合的结合律。
问题三:为什么 要「反序」?
从分块的角度看最清楚: 的列分组必须与 的行分组匹配。转置之后, 的列变成了行、 的行变成了列,原来的「匹配」关系被翻转,所以要反过来乘才能重新匹配。用 语言验证(设 为 、 为 ):
两者只差乘法的书写次序(实数乘法可交换),数值相同。「反序」不是记忆技巧,而是指标位置决定的必然结果。
问题四:如果把「交换律」当成理所当然,会犯什么错?
最容易踩的坑是「约分」。在实数里 且 可以推出 ;在矩阵里 不能推出 。反例:
(原因是 不可逆:, 的列相关, 与 的差别落在零空间里被 抹平了。)只有当 可逆时, 才能推出 ,把两边左乘 即可——见 2-4-矩阵运算与逆矩阵。
三、性质与定理
定理 1.1(矩阵乘法的运算律)
设维数使下列运算都有定义,则:
- 结合律:;
- 左分配律:;
- 右分配律:;
- 与标量交换:;
- 单位元:( 为 );
- 转置反序:。
注意第 6 条的「反序」:转置把乘法顺序颠倒,这一点极易写错。
证明(第 1 条结合律):逐个元素验证。设 为 , 为 , 为 。左边第 行第 列元素为
右边:
两个双重和只是求和次序不同,而有限和的次序可以交换(实数加法交换律与结合律),故两者相等。
证明(第 6 条转置反序):设 为 , 为 。 是 ,故 是 ; 是 , 是 ,故 是 ,维数一致。再逐元素:
两者相同(实数乘法可交换)。
适用条件:所有维数必须匹配。结合律在维数不为方阵时也成立(只要连乘合法)。
定理 1.2( 的列是 的列的线性组合)
设 是 矩阵, 是 矩阵,则
证明: 的第 列定义为 中列指标为 的那一列,其第 个元素是 。而 的第 个元素是 。两者相等。
推论 1.3(秩不等式):。
证明思路:由定理 1.2, 的每一列都在 中,故 ,子空间的维数不超过原空间,得 。再把 转置:,用同一论证得 (最后一步用了「转置不改变秩」)。取两者中较小者即得。
定理 1.4(交换律不成立,且存在零因子)
- 存在矩阵 使 ;
- 存在非零矩阵 使 。
证明:由 2.6 节的反例,取
已算得 ,第 1 条成立。
再取 2.6 节中的 与 ,已算得
而 、,第 2 条成立。
重要推论:矩阵不能像数一样「约分」。由 一般不能推出 (除非 可逆,见 2-4-矩阵运算与逆矩阵)。这是初学者最常见的错误来源之一。
定理 1.5(置换矩阵的性质)
设 为 阶置换矩阵,则:
- 的每一行、每一列恰有一个 ;
- ,即 ;
- 交换 的行, 交换 的列;
- 两个置换矩阵的乘积仍是置换矩阵。
证明:
第 2 条: 的列是标准基向量(顺序被打乱)。设 的第 列是 ,其中 是 的一个排列。则
因为 是双射,。故 。同理 。
第 3 条: 的第 行是 ,即 的第 行。所以 就是 的行按 重排。列的情形同理(转置后使用)。
定理 1.6(转置的运算律)
- ;
- ;
- ;
- ;
- 。
证明:第 1–3 条逐元素显然。第 4 条已由定理 1.1 证明。第 5 条对 归纳: 是第 4 条;设对 成立,则对 :
适用条件:第 2 条要求 同型;第 4、5 条要求连乘合法。
定理 1.7(列无关的等价刻画)
设 为 矩阵,下列命题等价:
- 的各列线性无关;
- 只有零解;
- ,即零空间维数为 ;
- 秩 (所有列都是主元列);
- 若 有解,则解唯一。
证明思路:
:按定义,,所以「只有零解」正是线性无关的定义。
:零空间的定义就是 的解集,故「只有零解」等价于「解集只含零向量」。
:秩—零化度定理 ,故 。
:若 、,相减得 ,由第 2 条 。反过来若解总唯一,特别地 的解既可以是 又只能是它,故第 2 条成立。
适用条件:只讨论 的列是否无关。行无关是另一回事(等价于 的维数为 )。
定理 1.8(分块加法的合法性)
设 为同型矩阵,且采用完全相同的分块方式,则 可以按块相加:
证明:按块的定义, 是 中行指标落在第 组、列指标落在第 组的那些元素组成的子矩阵。 的 元是 ,当 落在第 块时,它正是 与 对应位置元素之和,即 的相应元素。逐块相等,故结论成立。
适用条件:分块方式必须完全相同。若 在第二列切开而 在第三列切开,那么 与 的列数不同,无法相加。
「同型」不够,还要「同分块」
两个矩阵同型只保证「能相加」,不保证「能按块相加」。考试里常出这种陷阱:给出两个 矩阵,一个按 分块、另一个按 分块,问「能否按块相加」。答案是不能——必须先把其中一个重新分块,让两者一致。
定理 1.9(分块乘法的合法性)
设 为 、 为 。将 的列与 的行按同一个分组切成 组(即 , 的前 列构成第一列块, 的前 行构成第一行块,依此类推),则
其中 表示 的第 个列块, 表示 的第 个行块。写成 分块就是
证明:用双重求和。设 ,则对任意 :
关键一步是把求和指标按分组拆分(这是有限和的可加性)。右端第一项中, 取自 的第一列块、 取自 的第一行块,所以它等于 ;第二项同理等于 。于是
写成 的四块形式即得所示公式。
适用条件: 的列分组与 的行分组必须逐组相等。这是最常见也最容易忽略的条件。
推论 1.10(分块对角矩阵的三个性质) 设 为分块对角矩阵,各 为方阵,则
- ;
- ;
- 可逆 每个 可逆,且此时 。
证明思路:
第 1 条:由定理 1.9,乘积的第 块是 。由于非对角块全为零,当 时, 或 至少有一个成立,因此每一项 中至少有一个零块,贡献为零;当 时,只有 这一项非零,等于 。故乘积仍为分块对角且对角块逐个相乘。
第 2 条:对矩阵作块消元(只用「把某一行的倍数加到另一行」,不改变行列式)。由于非对角块为零,无需消元,直接按块展开即可得 。严格的证明用行列式的排列定义(5-2-排列与代数余子式):在 中,只有那些把每个块的行指标映射到同一个块的列指标的排列 才能给出非零乘积(因为其余情形下总会取到零元素),而这样的 恰是各块内部排列的组合。于是求和按块分解,得
(用到了「乘积与求和的相容性」,以及 。)
第 3 条:若每个 可逆,直接验证 与原矩阵相乘得 (用第 1 条),故可逆且逆矩阵就是它。反过来,若某个 不可逆,则存在非零向量 使 。取 只在第 段为 、其余段为零,则
,故 ,由定理 1.7 知 不可逆。
第 3 条的一般化:分块三角矩阵
若 (分块上三角),则行列式公式依然成立:
直觉:把 消掉需要「把第一块行的倍数加到第二块行」,而 在第一块行里——消去它不会改变行列式(第 5 章的「行倍加不变性」)。同理可逆性也只依赖对角块。这就是 LU 分解( 分块下三角、 分块上三角)能逐块推进的原因,见 2-5-LU分解与转置置换。
四、计算方法与步骤
4.1 计算 (两种方式互验)
- 列组合法(主线):写出 的各列 ,算 。
- 行点积法:逐行算 ,串成结果向量。
- 两法结果必须一致,不一致就回头查错。
- 检查维数:结果必须是 维。
4.2 计算 (推荐流程)
- 先检查维数: 的列数必须等于 的行数。写下结果维数 ,防止算错形状。
- 判断用哪种理解:
- 需要结果整体结构 → 用列的组合(理解一);
- 需要具体数值 → 用行点积(理解二),每个元素是「一行点一列」;
- 需要分解成简单矩阵 → 用外积之和(理解三)。
- 手算时对每个 位置写下「 第 行 · 第 列」的完整展开式,不要跳步。
- 验算:随机挑一列,用列组合法重算一次;或检查 的列是否都在 中。
- 若需要 ,先写 再算,不要算完 再转置(容易漏掉反序)。
4.3 判断向量组是否线性无关
- 把向量按列排成矩阵 。
- 对 做行化简(高斯消元),数主元的个数 。
- (向量个数) 线性无关; 线性相关。
- 相关时,由行化简后的方程解出具体的线性关系式( 的非零解即系数)。
- 快速判据:向量个数超过维数()时,一定相关,不必计算。
- 只含两个向量时,看是否成比例即可。
4.4 用置换矩阵交换行
- 确定要交换的两行(消元中遇到主元为零时)。
- 取 并交换同样的两行,得到 。
- 左乘: 即完成交换;需要恢复时再左乘同一个 (因为 )。
- 验算:。
4.5 分块矩阵的计算步骤
- 先看尺寸,再决定分块线。 是 、 是 ,分块线必须让「 的列块宽度」「 的行块高度」。
- 画出分块线(在草稿上画成田字格),把每块的行数列数标在旁边,例如 是 、 是 。标尺寸能避免 90% 的搭配错误。
- 按普通矩阵乘法写出块的组合式,例如 。
- 逐块计算,注意次序不能交换()。
- 验算:把结果块的尺寸加起来,应等于 的整体尺寸 。
- 分块对角的快速通道:若 、 都是分块对角且分块方式一致,直接令对应块相乘,非对角块写零即可,无需展开。
选择分块位置的三个原则
1. 顺着零元素切。矩阵里零多的位置就是天然的分界线,切出来的块越小越好算。
2. 顺着结构切。若矩阵中有明显的「独立小组」(例如前两列只与前两行耦合),就沿这组分界切开。
3. 尽量切成方阵。方形子块才能谈行列式、逆矩阵、特征值;非方块的用途有限。
4.6 自学检查清单
合上笔记,回答下面九个问题。全部答得出,才算把矩阵的「结构感」建立起来。
- 矩阵乘法为什么要定义成「行点列」,而不是「对应元素相乘」?
- 的每一列是什么?这个事实如何推出 ?
- 为什么 要反序?用分块的观点怎么解释?
- 结合律如果去掉,、 分解、矩阵指数 会怎样?
- 为什么 不能约去 ?反例是什么?什么条件下可以约?
- 置换矩阵为什么满足 ?
- 「分块加法」要求两个矩阵满足什么条件?「同型」够不够?
- 「分块乘法」对分块位置的要求是什么?为什么必须有这个要求?
- 分块对角矩阵的行列式、逆矩阵怎么算?分块上三角矩阵的行列式公式是什么?
五、例题
例题 1( 的两种读法与列空间,完整过程)
题:设
(1) 用列组合法算 ;(2) 用行点积法算 ;(3) 指出 的列张成 中的什么集合。
解:
第 1 步:维数检查。 是 , 是 ,内侧维数都是 ,合法,结果应为 。
(1) 列组合法。 写出 的三列:
按 的分量 组合:
逐项算出:
(2) 行点积法。 的两行是 、。
所以 ✓ 两法一致。
第 2 步:判断列的独立性。
前两列不共线。另外注意 (验证: ✓),所以三列线性相关,秩 。
(3) 列空间的结论。
因为前两列不共线,它们已经铺满整个 ,第三列是多余的。于是对任意 , 都有解(且有无穷多解,因为存在自由变量 )。
由本例得到的通用判据
矩阵 :若 (列数多于行数),则列一定相关,,零空间维数 ,故 必有非零解(齐次方程必有非平凡解)。这解释了下一条例题。
例题 2(矩阵乘法四种理解的完整演算)
题:设
(1) 算 ;(2) 验证 的第一列是 的列的线性组合;(3) 用外积之和重算;(4) 算 并说明 。
解:
(1) 用行点积法。
(2) 验证列组合。
的列:,。 的第一列是 ,于是
而 的第一列正是 ✓
的第二列是 ,于是
而 的第二列是 ✓
(3) 外积之和。
的列:,。 的行:,。
相加:
(4) 算 。
比较:
结论:矩阵乘法不满足交换律 ✓。几何解释:这里 先拉伸 方向再……实际上 与 都是可逆的线性变换(,),复合顺序不同结果不同。
一个有趣的对照
虽然 ,但行列式满足交换性:。验证:; ✓。而且 ✓。「乘积不可交换,但乘积的行列式可交换」 是第 5 章的重要结论。
例题 3(置换矩阵与转置,完整过程)
题:设
(1) 算 ,说明几何效果;(2) 算 (若合法);(3) 验证 。
解:
(1) 左乘。 是 , 是 ,内侧维数都是 ,合法,结果 :
逐行算: 第 行 第 行 的各列。 第 行是 ,它「挑出」 的第 行。
所以
几何效果: 正是把 的第 、 行互换的结果 ✓。
(2) 右乘。 是 , 是 ,内侧维数 , 无定义。这提醒我们: 合法不代表 合法。
若把 换成 阶置换矩阵 ,则 是 ,其效果是交换 的两列:
(3) 验证 。
( 是对称的,因为交换 、 这个置换是自己的逆。)验证:
第 行第 列:;第 行第 列:;其余同理(对角线为 ,非对角线为 ),故 ✓,即 。
顺便验证 的形状: 是 ,故 是 :
再验证转置反序律:。
而 ✓ 两种算法一致,转置反序律成立。
例题 4(矩阵乘法、转置与逆矩阵的数值计算)
题目
设
(1) 计算 与 ,验证 ;
(2) 计算 ,并用 复核;
(3) 验证 ;
(4) 求 ,并验证 ;
(5) 用 (4) 的结果解方程组 。
解:
(1) 两个方向的乘积。 先看清维数:、 都是 ,两个方向的乘积都合法,结果都是 。
算 (逐元素「 的行点 的列」):
算 :
比较:
用「列的组合」验算 的第一列: 的列为 、; 的第一列是 ,故
与上面算出的第一列一致。
几何解释: 与 都是可逆变换(、,均非零),复合顺序不同,作用在同一个图形上得到的像不同。「先 后 」与「先 后 」是两回事。
(2) 转置反序律。
直接转置:
用反序律复核:
两法一致,反序律成立。顺便验证错误写法:若误写成 :
注意这个错误结果恰好等于 (因为 )。这个对照能帮你记住反序: 对应的是 的转置,不是 的转置。
(3) 行列式的乘性。
而
顺便验证 : ✓,与 相同——乘积不可交换,但乘积的行列式可交换(第 5 章)。
(4) 求 。 二阶方阵求逆的公式:若 ,则
记法:「主对角线交换、副对角线变号、整体除以行列式」。对本例 ,:
验证 :
逐个算四个元素:
(5) 用逆矩阵解方程组。
所以 。
用列图像验证(这才是 Strang 体系里的验算法):
结果汇总:,;;;;。
用逆矩阵解方程组的三个注意事项
1. 先判可逆: 时 不存在,必须改用消元法讨论解的情况。
2. 只解一次方程时,消元法更快:求逆是 ,消元也是 ,但求逆的常数因子约大 倍。只有当右端 会变化多次时,预先求逆才划算。
3. 二阶公式只适用于二阶:三阶及以上的求逆要用 Gauss–Jordan 消元或伴随矩阵法,见 2-4-矩阵运算与逆矩阵。不要试图把二阶公式「类推」到三阶(例如以为三阶逆矩阵是「转置伴随矩阵除以行列式」的某个简单变体)——伴随矩阵法确实存在,但计算量远大于消元法。
例题 5(分块乘法的完整演算)
题目
设 矩阵
(1) 按「前两行 / 后两行、前两列 / 后两列」分成 块,写出四个子块;
(2) 判断分块方式下 是分块对角、分块上三角还是分块下三角;
(3) 设 ,用分块乘法算 ,并用逐元素法复核其中一个元素;
(4) 用分块方法求 。
解:
(1) 四个子块。 分块线画在第 行与第 列之后:
于是
尺寸检查: 都是 ,位于第一块行,行数一致 ✓; 也都是 ,位于第二块行,行数一致 ✓。 都是 ,位于第一块列,列数一致 ✓; 也都是 ✓。分块合法。
(2) 结构判定。 因为左下块 ,所以 是分块上三角矩阵(不是分块对角,因为右上块 ):
(3) 分块乘法。
先把 按同样的位置分块:
分块位置匹配检查: 的第一列块宽度是 , 的第一行块高度是 ✓;第二列块宽度是 , 的第二行块高度是 ✓。可以按块相乘。
按分块乘法公式:
逐块计算。 由于 、、,很多项直接消失:
左上块:
右上块:
算出这个 乘积的四个元素:
左下块:
右下块:
拼回整体:
逐元素复核第 1 行第 3 列: 的第 1 行是 , 的第 3 列是 :
再复核第 2 行第 4 列: 的第 2 行是 , 的第 4 列是 :
两处复核全部通过,分块乘法结果正确。
(4) 用分块求 。 由定理 1.10 第 2 条的推广(分块上三角):
用消元法独立验证:对 做消元,第 3、4 行已经是阶梯形(第 3 行主元在第 3 列,第 4 行主元在第 4 列),所以只需处理前两行。
:
四个主元是 ,乘积
与分块法的结果一致。而且注意主元恰好是各块的主元之积: 的主元是 ; 的主元是 。这正是「分块三角的消元互不干扰」的体现。
结论:、、、; 是分块上三角; 如上方所示;。
分块乘法为什么能省力
本题若逐元素算 ,需要算 个「四项点积」,共 次乘法。而分块法利用了 、、 三个零块,实际只需算两个 乘积( 次乘法)加上一个「乘以 」(免费的)。省力的关键是「顺着零元素切」。 这就是稀疏矩阵算法与分块缓存的共同思想。
例题 6(分块对角矩阵与解耦)
题目
设
(1) 把它写成 块的分块对角形式,写出三个对角块;
(2) 求 ;
(3) 判断 是否可逆;若可逆,写出 ;
(4) 解方程组 ,其中 。
解:
(1) 分块结构。 第 、 行只在前两列有非零元,第 、 行只在第 、 列有非零元,第 行只在第 列有非零元。所以按 分块:
尺寸检查: 是 , 是 。第一块行包含 ,行数都是 ✓;第三块行是 ,行数是 ✓。分块合法。
这是一个分块对角矩阵(三个非对角块全为零)。
(2) 行列式。 由定理 1.10 第 2 条:
逐个算:
用主元乘积独立验证: 已经是上三角矩阵(下三角部分全为零),所以主元就是主对角元 :
不一致!说明有问题——等等,检查一下 是不是真的上三角:第 4 行是 ,第 列的元素是 ,所以 不是上三角矩阵!主元不能直接读主对角元。
正确的消元:只在前两块内部消元(因为块间不干扰)。
第 块: 已是上三角,主元 。
第 块:, 得 ,主元 。
第 块:主元 。
五个主元:,乘积
与分块法的结果一致。这一步验算同时也提醒我们:「矩阵是分块三角」不等于「矩阵是三角」,主元要老老实实做消元才读得准。
(3) 可逆性与逆矩阵。 因为 , 可逆(等价地:三个对角块都可逆,因为 、、)。由定理 1.10 第 3 条,
求各块的逆(用二阶求逆公式「主对角交换、副对角变号、除以行列式」):
于是
验证 :
验证 :
(4) 解方程组。 由于 分块对角,方程组自动拆成三个互不干扰的小方程组。把 与 按同样的 分段:
于是 、、。
第一块:,即
由第二式 ;代入第一式 ,故 。得 。
第二块:,即
由第一式 ;代入第二式 ,故 。得 。
第三块:,故 。
合并:
用逆矩阵复核():
再直接代入原方程组验证第 3 行: 的第 3 行是 ,与 点积:
结论: 按 分块后是分块对角,三个对角块为 、、;; 可逆且 如上方所示;。
从这道题看「分块对角 = 解耦」
一个五元方程组被拆成了「二元 + 二元 + 一元」三个小问题,每个都能独立求解。这就是解耦的价值:
- 计算上: 次运算降为 次量级;
- 并行上:三个小问题可以同时算,互不等待;
- 理论上:特征值、秩、零空间都是各块的「拼装」(第 6 章会证明 )。
反过来,对角化 做的事情就是「通过换基,让矩阵变成分块对角」——在第 6 章(6-2-矩阵的对角化)你会看到,所有的「化简矩阵」技术最终都是为了让问题解耦。
例题 7(证明:分块乘法公式)
题目
设 为 矩阵、 为 矩阵,且把指标集分成两组:。相应地
其中 按「前 列 / 后 列」分列, 按「前 行 / 后 行」分行。证明
证明:
第 1 步:明确指标的分组。 记 、。类似地记 为 的前若干列、 为其余列。设 的行指标集为 (按分块的两块行划分)。
第 2 步:写出 的定义式。
第 3 步:把求和按分组拆开(这是全部证明的核心,用的是有限和的可加性)。
第 4 步:识别两项的块身份。
第一项 :这里 取自 的前 列, 取自 的前 行。
- 若 落在第一块行(),则 取自 ;此时若 落在第一块列(), 取自 ,于是第一项 ;若 ,则 取自 ,第一项 。
- 若 ,同理第一项 (当 )或 (当 )。
第 5 步:对第二项做同样的分析。 中 取自 的后 列、 取自 的后 行,得到 形状的项。
第 6 步:合并。 把两步按 种位置组合汇总:
第 7 步:把四个情形写成四块。 每个情形恰好对应 的一个子块;把四个子块按位置拼起来,即得所示的分块乘法公式。
推广:把两组分组换成 组(),完全相同的论证给出
即分块矩阵的乘法与普通矩阵乘法形式完全相同——这正是分块记号的价值所在。
这个证明为什么值得单独写一遍
因为它一次性地说明了两件事:
1. 分块乘法「看起来像」普通乘法不是巧合,而是「求和可以按指标分组」这个初等事实的直接结果;
2. 「 的列分组必须与 的行分组一致」这个限制从何而来——因为求和指标 必须被同一套分组切开,才能让两块分别识别为 的列块与 的行块。如果两边的分组不同,第 3 步的拆分就对不上, 这种乘积的内侧维数不一致,根本无法定义。
例题 8(证明:秩不等式)
题目
设 为 矩阵、 为 矩阵。证明
证明:
第 1 步:证明 。
把 按列分块:。由定理 1.2,
而每个 都是 的列的线性组合:
所以 的每一列都属于 ,即 。
第 2 步:由包含关系得维数不等式。
(子空间的维数不超过包含它的空间的维数——因为 的一组基可以扩充成 的基。)
第 3 步:对转置使用同一条结论。
由定理 1.1 第 6 条,。对 使用第 1 步的结论(把那里的 换成 、 换成 ):
第 4 步:用「转置不改变秩」。
转置只是把行与列互换,而 同时等于「 中极大线性无关行的个数」(行秩 列秩,见 3-5-四大子空间的维数)。因此
代入第 3 步得
第 5 步:取两者中的较小者。 既然 同时不超过 与 ,它就不超过两者中较小的那个:
等号能否成立? 一般不能取到等号。最简单的反例:
、,而
故 。
什么时候取等号?
- 若 可逆,则 (此时 ,因为 );
- 若 可逆,则 ;
- 一般的充分条件是「 的列空间与 的零空间只交于零向量」,即 ——这时 在 的列空间上是单射,维数不被压缩。
秩不等式的三个推论(考试常考)
1. 可逆时秩不变:,。所以左乘或右乘可逆矩阵是「保秩运算」——这是第 2 章用初等矩阵做消元却不改变秩的原因。
2. ( 为实矩阵)。证明思路: 得 ;反向要证 :若 ,左乘 得 ,故 。于是两个零空间相同,由秩—零化度定理得秩相等。这条结论是法方程 可解的理论保证(见 4-3-最小二乘逼近)。
3. 多个矩阵相乘秩不增:,反复用第 1 步即可。
六、应用
6.1 消元与 (第 2 章的预告)
高斯消元每一步都是「用一个矩阵左乘当前矩阵」。例如把第 行减去第 行的 倍,等价于左乘
而遇到主元为零时必须交换行,即左乘置换矩阵 。整套消元写成矩阵形式就是
若需要交换行则变成 。这就是矩阵乘法(尤其是左乘的「行操作」含义)最重要的工程应用。
6.2 图像与图形学中的变换
平面上图形的旋转、缩放、镜像都能写成 矩阵,例如逆时针旋转 :
注意 的列正是基向量被变换后的像——这解释了「矩阵的列记录了基向量的去处」,也是第 8 章「矩阵是线性变换的表示」的核心。加上平移时要使用齐次坐标( 矩阵),见 10-5-图形学与密码学。
6.3 神经网络的一层
一层全连接网络写成矩阵形式为
其中 是权重矩阵。按列读: 是 的各列按输入 的分量加权求和——即网络在做「特征的线性组合」。如果去掉非线性的 ,多层网络就是
由结合律,多层线性层等价于单层,这正是「深度网络必须有非线性激活函数」的数学原因。
6.4 网络与图(第 10 章的预告)
一张有 个节点、 条边的图对应一个 的关联矩阵(incidence matrix),每条边对应的列恰有两个非零元( 与 )。电路中的基尔霍夫电流定律就是 ,即 ——物理定律直接读成了零空间。详见 10-1-图与网络。
6.5 计算工具
import numpy as np
A = np.array([[1, 2, 3],
[4, 5, 6]])
x = np.array([1, 2, 3])
B = np.array([[2, 1],
[1, 4]])
print(A.shape) # (2, 3) 先看形状,防止维数错误
print(A @ x) # [14 32] 2 维 —— 与例题 1 一致
# AB 的每一列都是 A 的列的线性组合:验证第一列
A2 = np.array([[1, 2], [0, 3]])
AB = A2 @ B
print(AB[:, 0]) # [4 3]
print(B[0, 0] * A2[:, 0] + B[1, 0] * A2[:, 1]) # [4 3] —— 相同
print(np.allclose(AB, A2 @ B))
# 置换矩阵:左乘换行,右乘换列
P = np.array([[0, 1, 0], [1, 0, 0], [0, 0, 1]])
M = np.array([[1, 2], [3, 4], [5, 6]])
print(P @ M) # [[3 4] [1 2] [5 6]] —— 前两行交换
print(np.allclose(P.T @ P, np.eye(3))) # True
用
shape做「维数检查」矩阵计算里绝大部分错误都是维数错。写代码时养成习惯:每次乘法前先
print(A.shape, B.shape),确认内侧维数相等。这比事后调试快得多。
6.6 分块在工程中的三个身影
身影一:分块矩阵乘法(缓存优化)。 现代 CPU 的多级缓存容量有限,若按「行点列」的顺序直接扫描两个大矩阵,内存访问会频繁命中失败。工程做法是把矩阵切成 的小块( 取 或 ),对每对小块做乘法——每块都能完整装进缓存。这就是 BLAS 库(OpenBLAS、MKL)里最内层循环的写法。
import numpy as np
# 分块矩阵乘法:与 np.matmul 的结果完全一致
def blocked_matmul(A, B, bs=2):
m, n = A.shape
n2, p = B.shape
assert n == n2
C = np.zeros((m, p))
for i in range(0, m, bs):
for k in range(0, n, bs):
for j in range(0, p, bs):
C[i:i+bs, j:j+bs] += A[i:i+bs, k:k+bs] @ B[k:k+bs, j:j+bs]
return C
rng = np.random.default_rng(1)
A = rng.integers(-5, 6, size=(4, 4))
B = rng.integers(-5, 6, size=(4, 4))
print(np.allclose(blocked_matmul(A, B), A @ B)) # True —— 分块乘法正确
身影二:分块对角与稀疏系统。 大型工程问题(结构力学、电网潮流的简化模型)常呈现分块对角或分块三角结构,识别出来就能把 阶的方程组拆成几十个可并行的小系统。这就是第 11 章迭代法能收敛得比直接法还快的结构性原因(见 11-3-迭代方法与预条件)。
身影三:分块求逆与 Schur 补。 分块上三角矩阵的求逆公式为
验证:直接相乘
(要求 与 都可逆。)若把 中的 化成零块,中间会冒出一个量 ,称为 Schur 补(Schur complement)。它在统计学的分块协方差、控制理论、有限元里都是核心工具,也是 12-2-协方差矩阵 里讨论「条件协方差」的代数基础。
6.7 用矩阵乘法看「消元」与「对换」
前面 6.1 节已给出 的例子。这里把三类初等操作统一列表(第 2 章会系统展开,见 2-3-用矩阵进行消元):
| 行操作 | 左乘的矩阵 | 例子() |
|---|---|---|
| 把第 行的 倍减到第 行 | ||
| 交换第 、 行 | 置换矩阵 | |
| 第 行乘以 | 对角矩阵 |
注意 这个写法:把初等矩阵写成「单位矩阵 一个秩一矩阵」的形式,好处是逆矩阵可以直接写出:
验证(利用 与 ):
(这正是「 且 」这一「幂零矩阵」技巧的实例。)这就是 的元素为什么会是消元乘数的相反数——第 2 章的 由此而来,也是 2-5-LU分解与转置置换 的核心推导。
七、易错点
本篇九个高频错误
1. 与 混用。矩阵乘法不交换。写 时如果不小心写成 ,结果几乎一定是错的——正确是 (反序)。
2. 由 推出 或 。错。本篇定理 1.4 给出了两个非零矩阵乘积为零的反例。矩阵世界有零因子。
3. 由 直接约去 。错,除非 可逆。正确做法是把 转化为「 的每一列都属于 」。
4. 把 的下标顺序记反。「第 行第 列」是本库统一约定;转置之所以叫转置,就是因为 与 互换。
5. 忘记检查维数。 不合法; 合法且结果是 。内侧相等才能乘。
6. 以为 。一般不等。例如对 , 是 而 是 ,连形状都不同。但两者都是对称的,且 在最小二乘里是主角。
7. 把置换矩阵与初等矩阵搞混。置换矩阵只含 与 (每行每列一个 ),作用是重排;初等矩阵含非零非一的元素(如 ),作用是把某行的倍数加到另一行。
8. 认为「列相关」就是「有零列」。相关只要求存在不全为零的系数使组合为零,例如 与 都不含零元素却相关。
9. 在公式中写中文、用
\bm或漏写矩阵行的\\。本库 MathJax 约定:粗体用\mathbf{},矩阵行分隔写\\,`,。计算 与 ,说明 ,并用「对单位正方形右上角顶点 的作用」解释两者为何不同。 **基础题 2** 设 ,。用**列组合法**与**行点积法**分别算 ,比较结果;并判断 的两列是否线性无关。 **进阶题 3** 设 ,。 (1) 计算 ; (2) 验证 的第二列等于 的第二列作为系数对 的列作组合(写出完整式子); (3) 说明 与 的关系,并验证 。 **进阶题 4** 设">
A = \begin{bmatrix} 1 & 2 \\ 2 & 4 \end{bmatrix},
\qquad
B = \begin{bmatrix} 2 & -2 \\ -1 & 1 \end{bmatrix}
但 、; (2) 求 的列向量的一组线性关系,并求 ; (3) 说明本题为什么不能像实数那样「由 推出 或 」。 **进阶题 5** 用分块乘法验证:把下面的 按 分块,块分别为">
A_{11} = \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix},
\quad
A_{12} = \begin{bmatrix} 1 & 1 \\ 1 & 0 \end{bmatrix},
\quad
A_{21} = \begin{bmatrix} 1 & 1 \\ 1 & 0 \end{bmatrix},
\quad
A_{22} = \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix}
矩阵记作">
M = \begin{bmatrix} A_{11} & A_{12} \\ A_{21} & A_{22} \end{bmatrix}
N = \begin{bmatrix} 0 & I_2 \\ I_2 & 0 \end{bmatrix}
、 的具体元素,直接算出 ; (2) 用分块乘法算 ,验证与 (1) 一致; (3) 说明分块乘法为什么要求「 的列分组与 的行分组一致」。 **思考题 6** 设 是 矩阵, 是 矩阵。用「 的每一列都是 的列的线性组合」证明 ,并由此证明 。 **思考题 7** 证明:若 的列线性无关,则 蕴含 。 (提示: 说明 的每一列都属于 ,再用定理 1.7。) ### 八·补、增补练习(分块、转置与数值计算) > [!note] 使用建议 > C1–C6 是纯计算(**必须算完**),C7–C10 是证明与结构讨论,对应国内期末的矩阵大题。答案要点在括号里。 **C1(矩阵乘法与转置)** 设 ,。 (1) 求 与 ,验证 ; (2) 求 ,并用 复核; (3) 求 ,并与 比较。 (要点:(1) ,;(2) ,两法一致;(3) , ✓。) **C2(二阶求逆)** 设 。 (1) 求 与 ; (2) 验证 ; (3) 解方程组 。 (要点:,,。) **C3(幂与规律)** 设 。求 、、( 为正整数)。 (要点:,,归纳得 。用数学归纳法:假设 成立,则 。这类「求矩阵幂」的题在第 6 章会用对角化系统解决,见 [[6-2-矩阵的对角化]]。) **C4(分块加法与乘法)** 设">
A = \begin{bmatrix} 1 & 2 & 0 \\ 3 & 4 & 0 \\ 0 & 0 & 5 \end{bmatrix}, \qquad
B = \begin{bmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 2 \end{bmatrix}
分块写出 、 的子块; (2) 用分块乘法求 与 ; (3) 用分块法求 ,并用消元法验证。 (要点:(1) 、,、;(2) ,;(3) ;消元后主元为 ,乘积 ✓。) **C5(验证 的分块公式)** 设 (上三角)与 。 (1) 求 与 ; (2) 求 ,并与 比较; (3) 求 ,说明为什么 。 (要点:(1) ;;(2) ; (3) ,,而 ,两者不等。**行列式对加法没有线性性**(第 5 章的三条基本性质里没有「加法可拆」。) **C6(置换矩阵的复合)** 设">
P = \begin{bmatrix} 0 & 1 & 0 \\ 0 & 0 & 1 \\ 1 & 0 & 0 \end{bmatrix}, \qquad
Q = \begin{bmatrix} 0 & 0 & 1 \\ 0 & 1 & 0 \\ 1 & 0 & 0 \end{bmatrix}
与 ,它们都是置换矩阵吗? (2) 验证 与 ; (3) 求 、 与 ,并用转置反序律复核 (3) 的最后一个。 (要点:(1) ,,都是置换矩阵(每行每列恰一个 ); (2) 两列都是标准基向量,点积为 ✓; (3) ,, ✓。) **C7(证明: 的列是 的列的线性组合)** 用矩阵乘法的定义(行点列)证明: 的第 列等于 的各列按 的第 列的分量加权求和。 (提示:比较 与 的逐分量相等。) **C8(证明:分块对角的行列式)** 设 ,其中 为 阶、 为 阶。证明 。 (提示:用行列式的排列定义 。非零项要求 把前 个指标映到前 个指标(否则会取到零元素),因此 是「块内排列」的组合;把求和按块分解并用「乘积与求和的相容性」。完整证明见 [[5-2-排列与代数余子式]]。) **C9(证明:可逆矩阵不改变秩)** 设 为 、 为 阶可逆矩阵、 为 阶可逆矩阵。证明 且 。 (提示:由例题 8 的秩不等式,;另一方面 ,再次用秩不等式得 。两向夹逼即得。 的情形同理。**这条结论是消元法「不改变秩」的理论依据。**) **C10(讨论:什么时候可以用逆矩阵解方程)** 设 。 (1) 求 ,说明 是否可逆; (2) 分别取 与 ,讨论 的解的情况; (3) 说明为什么「求逆解方程」的做法在本题失效,正确的做法是什么。 (要点:(1) ,不可逆; (2) ( 的第一列),所以有解且有无穷多解:; 不在列空间(列空间是直线 ,而 不在这条直线上),故无解; (3) 不存在,必须回到消元法:把增广矩阵化为阶梯形,出现 ()即判无解,否则写出通解。**「能不能用逆矩阵」的前提是 **,见 [[2-1-向量与线性方程组]]。) --- ## 九、常见问题 FAQ **Q1:为什么矩阵乘法要定义得这么「奇怪」(行乘列)?** 不是奇怪,而是**为了表示线性变换的复合**。若把矩阵看成变换, 表示先作变换 , 表示再作变换 ,那么「行乘列」这条规则正是让 恰好表示「先 后 」的唯一选择。第 8 章会用基向量验证这一点: 的第 列 的第 列。**乘法规则是被「复合」这个需求逼出来的。** **Q2:既然 ,为什么还要两个都算?** 因为许多实际问题同时关心「行操作」与「列操作」。 左乘 交换行(消元需要), 右乘 交换列(变量重排需要)。另外在特征值问题里, 与 有**相同的非零特征值**——这是一个漂亮的定理(第 6 章),说明它们虽不相等,但「谱」有共同部分。 **Q3:矩阵的「秩」到底怎么理解?** 三种等价理解,都要会: 1. **列视角**: 的列向量中极大线性无关组的个数,即 ; 2. **消元视角**:行化简后主元的个数(也是非零行的个数); 3. **信息视角**:矩阵作为线性变换,把 映射到 的像空间维数——即「有多少独立方向被真正传过去了」。 详见 [[3-4-线性无关基与维数]]。 **Q4:置换矩阵为什么满足 ?** 因为置换是对行/列的一次重排,而重排的逆就是「按原路还原」。用矩阵语言说: 的列是标准基向量 ,正交且长度为 ,所以 的 元是 ,即 。**满足 的矩阵叫正交矩阵**,置换矩阵是最简单的一类正交矩阵(第 4 章)。 **Q5:为什么 中四个向量一定线性相关?** 因为 中最多只有 个独立方向(维数是 )。设四个向量排成 矩阵 ,则 是 个方程 个未知数的齐次方程组,必有自由变量(自由变量个数 ),因而存在非零解,即四列相关。**一般结论: 中任意 个向量必线性相关。** **Q6:分块到底有什么用?不能直接算吗?** 能直接算,但**分块做三件事**,每件都不可替代: | 用处分 | 具体收益 | 例子 | |---|---|---| | 计算加速 | 小块能装进 CPU 缓存,现代 BLAS 库全靠分块递归 | 6.6 节的 `blocked_matmul` | | 结构识别 | 一眼看出「可解耦」「可递推」,问题立刻降维 | 例题 6 把五元方程组拆成三个小问题 | | 理论证明 | 分块记号下的推导通常短一半 | 例题 7 的分块乘法、例题 8 的秩不等式 | **一条实用建议**:拿到矩阵先问「**它有没有明显的分块结构**」——零块在哪里、有没有成组的行或列。这个习惯能省下大量计算。 **Q7:分块乘法为什么要求「 的列分组与 的行分组一致」?** 因为分块乘法本质上是**把求和指标 按分组拆开**:">
(AB)_{ij} = \sum_{k=1}^{n}a_{ik}b_{kj} = \sum_{k\in I_1}a_{ik}b_{kj} + \sum_{k\in I_2}a_{ik}b_{kj}
$$
的列指标与 的行指标是同一个指标 (内侧指标)。既然要按 把它切开,两边的切法就必须一致。若 按 切而 按 切,那么 是 、 是 , 根本乘不起来。「切法匹配」不是约定,是维数规则逼出来的。
Q8: 和 有什么本质区别?
形状不同(前者 ,后者 ),但两者都是对称的,而且非零特征值完全相同(第 6 章的结论)。它们的用途分工很明确:
- 出现在最小二乘里,因为法方程是 ,而且 的列无关时 正定可逆(证明见本篇例题 8 的推论 2);
- 出现在投影矩阵里,;
- 两者的特征值平方根都是 的奇异值,这正是 SVD 的起点(7-1-SVD的构造与几何意义)。
一句话: 描述「列与列的关系」, 描述「行与行的关系」。
Q9:矩阵乘法能不能只靠「记住公式」学会?
不能,但也不难。必须同时掌握四种理解(2.3 节):
- 要判断可解性、谈列空间和秩 → 用列的组合;
- 要手算具体数字 → 用行的点积;
- 要做分解、谈 SVD 与低秩 → 用外积之和;
- 要看清结构、做并行与分块求逆 → 用分块。
考试里最常见的失分点是只用行点积硬算,遇到「证明某命题」或「讨论结构」的题就完全无从下手。建议每算完一道乘法题,都用列的组合重新解释一遍结果。
本篇小结
全篇核心结论
一句话:矩阵就是一排列向量; 是这些列的线性组合, 的每一列是 的列的线性组合。
九个必须记住的结论
- 的两种读法:列的组合 (主线,回答可解性);行的点积(辅助,回答数值)。
- 乘法规则与维数:,内侧必须相等。
- 四种理解:列的组合、行的点积、外积之和()、分块乘法。
- 列空间的包含关系:,由此得 。
- 结合律成立、交换律不成立: 但 ;另外矩阵世界有零因子( 推不出 或 )。
- 转置反序:,。
- 置换矩阵:每行每列恰有一个 ;左乘换行、右乘换列;。
- 分块运算:加法要求同型且同分块;乘法要求 的列分组与 的行分组一致,然后按普通矩阵规则相乘。分块对角矩阵的乘法、行列式、逆矩阵都能逐块进行。
- 列无关的五个等价刻画(定理 1.7):列无关 只有零解 有解时解唯一。
最容易混淆的七组概念
| 容易混的两件事 | 区别在哪里 | 典型反例 |
|---|---|---|
| 与 | 矩阵乘法不交换 | |
| 与「 或 」 | 矩阵世界有零因子 | |
| 与 | 只在 可逆时能约 | 例题 4 的 可逆时可以约;上面的零因子例子中不可约 |
| 与 | 前者是 | ,与 一般不同 |
| 置换矩阵与初等矩阵 | 前者只含 且每行每列一个 | 含 ,不是置换矩阵 |
| 分块加法要求「同型」与「同分块」 | 同型不保证同分块 | 一个按 切、一个按 切的同型矩阵不能按块相加 |
| 「列相关」与「有零列」 | 相关只要求有非零系数组合为零 | 与 都不含零元素却相关 |
五个高频易错点(详细版见前面的 [!warning])
- 忘记检查维数,写出 这种不合法的乘法。
- 把 的下标顺序记反(第一个下标是行)。
- 误以为 (连形状都可以不同)。
- 由 或 直接「约去」,忽略可逆性前提。
- 以为「分块三角」等于「三角」,于是直接从主对角元读出主元(例题 6 就踩过这个坑)。
通往后面章节的八个接口
| 本篇概念 | 在哪里被升级 | 升级成什么 |
|---|---|---|
| 的列是 的列的线性组合 | [[3-5-四大子空间的维数]] | 、秩不等式 |
| 置换矩阵与左乘换行 | [[2-5-LU分解与转置置换]] | |
| 初等矩阵 | [[2-3-用矩阵进行消元]] | 消元的矩阵表示、 |
| 可逆矩阵与 | [[2-4-矩阵运算与逆矩阵]] | Gauss–Jordan 求逆、可逆的等价条件 |
| 的外积之和 | [[7-1-SVD的构造与几何意义]] | |
| 矩阵作为变换的表示 | [[8-1-线性变换的思想]] | 为什么乘法规则必须是「行点列」 |
| 分块对角与解耦 | [[6-2-矩阵的对角化]] | ,把矩阵化简为分块对角 |
| 分块求逆与 Schur 补 | [[12-2-协方差矩阵]] | 条件协方差、多元高斯 |
相关笔记
- 1-1-向量与线性组合 — 线性组合与 的列图像(本篇的基础)
- 1-2-长度与点积 — 行点积 与
- 2-1-向量与线性方程组 — 用矩阵语言讨论解的存在性与唯一性
- 2-3-用矩阵进行消元 — 初等矩阵、消元矩阵 与矩阵乘法的结合律
- 2-4-矩阵运算与逆矩阵 — 二阶求逆公式、Gauss–Jordan 消元、可逆的等价条件
- 2-5-LU分解与转置置换 — 、置换矩阵与转置的性质、分块三角的行列式
- 3-4-线性无关基与维数 — 列无关的五个等价刻画与秩的定义
- 3-5-四大子空间的维数 — 、、、
- 4-3-最小二乘逼近 — 为什么是主角
- 5-2-排列与代数余子式 — 分块对角行列式公式的严格证明
- 6-2-矩阵的对角化 — 把矩阵化简为分块对角(解耦的极致)
- 7-1-SVD的构造与几何意义 — 外积之和
- 8-1-线性变换的思想 — 矩阵是线性变换的表示:为什么乘法规则必须如此
- 10-5-图形学与密码学 — 齐次坐标下的 变换矩阵
- 11-3-迭代方法与预条件 — 分块结构与并行计算
- 12-2-协方差矩阵 — 分块求逆与 Schur 补
- 关于本笔记库 — 本库的符号约定与写作规范
参考来源
- Gilbert Strang, Introduction to Linear Algebra, 5th Edition, Wellesley–Cambridge Press, 2016,第 1 章 §1.3「Matrices」、§1.4「Matrix Multiplication」(教材本身,无 URL)
- 同济大学数学系,《线性代数》第七版,高等教育出版社,第二章 §2.1「矩阵」、§2.2「矩阵的运算」
- MIT OpenCourseWare 18.06 Linear Algebra, Spring 2010(Lecture 3: Multiplication and Inverse Matrices;Lecture 2: Elimination with Matrices)— https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/
- Gilbert Strang 主页与教材配套网站 — https://math.mit.edu/~gs/linearalgebra/
- NumPy 官方文档
numpy.dot(二维数组的矩阵乘法语义,及推荐用matmul/@)— https://numpy.org/doc/stable/reference/generated/numpy.dot.html - SciPy 官方文档
scipy.linalg.lu(带部分选主元的 LU 分解,返回置换矩阵 满足 )— https://docs.scipy.org/doc/scipy/reference/generated/scipy.linalg.lu.html