3-5-四大子空间的维数
一句话概括
对一个 矩阵 ,只要知道它的秩(rank) ,就能立刻写出四个基本子空间的维数:、、、。
本篇覆盖:四大子空间(four fundamental subspaces)的完整定义与所属的欧几里得空间、四个维数公式、行秩等于列秩定理的完整表述与证明、求四个空间各自的基的标准流程、一个 秩为 2 的完整数值例子、四大子空间与 可解性/唯一性的关系,以及通往第 4 章正交分解的预告。
这是全库最重要的一篇:第 4 章的正交性、第 6 章的特征值、第 7 章的 SVD、第 10 章的图与网络,全部建立在这四个空间之上。
一、定义:四个子空间分别是什么
1.1 记号与基本约定
设 是 的实矩阵,即 。我们把 按列分块、按行分块:
其中每个 是第 列( 维),每个 是第 行转置成的列向量( 维)。回顾 的列图像:
也就是说, 永远是 的列的线性组合(linear combination)。这句话是理解列空间与零空间的钥匙。
1.2 四个子空间的定义
定义(四大子空间)
设 ,。
(1)列空间(column space) :由 的所有列的线性组合构成的集合,
(2)零空间(nullspace) :使 成立的所有 的集合,
(3)行空间(row space) :由 的所有行的线性组合构成的集合,等价地是 的列空间,
(4)左零空间(left nullspace) :使 成立的所有 的集合,
四个名字里只有「左零空间」需要解释:把 两边转置,得到 。也就是说 是从左边乘 得到零行向量的向量,故称「左零」。它在解方程组时的含义是: 的各行的一个线性组合等于零行。
必须先验证这四者都是子空间。 以 为例:若 、,则对任意标量 有 、,且 非空,故 对加法与数乘封闭,是子空间。 是若干向量的张成(span),张成必然是子空间(见 3-1-向量空间)。、 同理。
最容易搞错的地方:四个空间住在两个不同的欧几里得空间里
- 与 都是 的子空间(向量有 个分量)
- 与 都是 的子空间(向量有 个分量)
也就是说: 把 送进 ,于是与「输入侧 」有关的是 和行空间,与「输出侧 」有关的是列空间和左零空间。很多初学者写出「 与 正交」这种话——这两个空间里的向量分量个数都不同( 与 ),当 时连做点积的资格都没有,谈正交毫无意义。
1.3 四个空间的关系图
把 看成映射 ,可以用下面这张「文字示意图」记住四个空间的位置:
R^n (输入空间) R^m (输出空间)
┌──────────────────────┐ ┌──────────────────────┐
│ 行空间 C(A^T) │ │ 列空间 C(A) │
│ 维数 r │ --A--> │ 维数 r │
│ │ │ │
│ 零空间 N(A) │ │ 左零空间 N(A^T) │
│ 维数 n - r │ --A--> │ 维数 m - r │
└──────────────────────┘ └──────────────────────┘
两个子空间拼满 R^n 两个子空间拼满 R^m
r + (n - r) = n r + (m - r) = m
左侧两块的维数之和恰为 ,右侧两块的维数之和恰为 。这不是巧合,而是本篇的两个「守恒关系」;第 4 章还会证明它们不只是拼满,而是互相垂直地拼满(正交直和)。
二、几何直观:四个空间各自的图像
列空间 : 的「值域」。把所有可能的 输进去,输出的 能落在哪里?答案就是 。若 是 且秩为 2,则 是 中过原点的一个平面;若秩为 1,则退化成过原点的一条直线;若秩为 3,则填满整个 。 有解,当且仅当 落在这个「值域」里——这是第 3.3 节可解性条件的几何版本。
零空间 : 的「压平方向」。哪些输入被 压成了零?在 里,若 是一条直线,说明 把这条线上的所有输入都送到原点;如果 的秩为 1, 是一个平面,说明整个平面都被压成了原点。零空间是「被丢弃的信息」所在的方向。
行空间 :真正被 用到的输入方向。 有 行,但可能有很多行是其余行的组合(冗余)。行空间把所有行做线性组合能生成的方向收集起来,维数是 。它与零空间互补:行空间里的分量被 忠实地传输(单射),零空间里的分量被 全部杀掉。
左零空间 :行与行之间的冗余关系。 意味着 ,即找到了各行的一个「相关性」。消元时某一行为什么会变成全零行?就是因为它前面的行有这样一个组合关系。最后 个主元为零的位置,每一个都对应左零空间里的一个向量。
一个数值上的「手感」
对 矩阵(,),若 :
- 是 中过原点的平面(二维)
- 是 中过原点的直线(一维),且这条直线垂直于上述平面
- 是 中的二维平面
- 是 中的二维平面,与行空间垂直
在 里我们画不出图,但「两个二维子空间垂直拼成四维空间」这句话在代数上完全可以验证——只要验证两两内积为零、维数之和为 4。
三、性质与定理
3.1 四个维数公式
定理 3.5.1(四大子空间的维数)
设 ,,则
适用条件: 为任意实矩阵(对复矩阵把转置换成共轭转置同样成立)。
推论(两个守恒关系):
证明(零空间维数)。对 做消元化为行阶梯形 (reduced row echelon form,简化行阶梯形)。消元是可逆行变换,不改变 的解集,故 。
设 有 个主元(pivot),位于第 列;其余 列是自由列(free column)。对每一个自由变量取一组「一个为 1、其余为 0」的值,回代即可解出唯一的一组主变量,得到一个解向量。于是我们得到 个向量 。它们线性无关:因为第 个自由变量在 中为 1,而在其余 中为 0,任何线性组合 在每个自由分量上给出 。它们张成 :任取 ,设其自由分量为 ,则 的自由分量全为 0;而一个解若自由分量全为 0,回代得到主分量也全为 0,故该向量为 。因此 是 的一组基,
这正是秩—零化度定理(rank-nullity theorem) 。
证明(列空间维数)。消元不改变列与列之间的线性关系(关键事实,见 3.3 的说明),因此 的主元列与 的主元列一一对应,且主元列线性无关、其余列是主元列的线性组合。于是 的主元列构成 的一组基,恰有 个,故 。
证明(行空间维数)。消元是对行做可逆的线性组合,因此 的行空间与 的行空间相同:(这是消元区别于「列操作」的关键性质)。 的非零行恰有 个,且它们线性无关(第 个非零行在第 个位置有主元 1,而其余非零行在该位置为 0,与 3.1 中同款论证),故构成 的一组基,
证明(左零空间维数)。把 3.1 的结论应用到 上: 是 矩阵,且 (见 3.2 的定理),于是
3.2 行秩等于列秩
定理 3.5.2(行秩 = 列秩)
对任意矩阵 ,
即: 的行向量组的秩等于列向量组的秩,共同的值称为矩阵的秩 。等价说法:。
适用条件:任意实矩阵;这是「矩阵的秩」这个概念良定义的前提(否则「行秩」「列秩」是两个不同的量)。
证明思路(用消元后的 论证)。这是本篇最值得亲手推一遍的证明。
第一步:消元不改变行空间。 消元的每一步都是「把某一行的倍数加到另一行」,即对行做可逆变换。初等矩阵 可逆, 的行都是 的行的线性组合, 的行又是 的行的线性组合,两边的行空间互相包含,故相等:。
第二步:数 的非零行。 是简化行阶梯形,它的非零行恰有 个( 是主元的个数)。这 个非零行线性无关——第 个非零行在第 列是 ,而所有其他非零行在该列是 ;若有一个线性组合为零,读出第 个分量即得第 个系数为 0。于是它们构成 的基,
第三步:数主元列。 现在换一条路。 的 个主元列是 (前 个标准基向量所在的位置),它们线性无关。关键事实:消元是逐列进行的行变换,列与列的线性关系在消元前后完全一致。若 的第 列是主元列的线性组合 ,则同样的系数 使 的第 列等于相应主元列的同一组合(因为把两边「还原」只需乘以 ,而 作用在每一列上)。反之亦然。因此在 中,主元列也线性无关、其余列是主元列的线性组合,主元列构成 的一组基,
第四步:合并。 由 (3.5.1) 与 (3.5.2):
为什么这个证明值得反复读
它同时告诉我们两件实用的事:(a) 求行空间的基,直接用 的非零行(不能用 的行随便挑);(b) 求列空间的基,直接用 的主元列(不能用 的列,因为消元改变了列本身)。这两条正是下面 4.3 节求基流程的全部依据。
3.3 关于「消元不改变列关系、改变列本身」的精确说明
这是全节最微妙的一点,单独列出来。
设消元过程中 化为 ,存在可逆矩阵 使 。对任意系数向量 :
这证明 ,同时也就是「列与列之间的线性关系相同」: 展开是 , 展开是 ,同一个 同时成立。但列向量本身变了:一般来说 ,所以 。例如
是直线 , 是 轴,两者完全不同;但 ,行空间也相同(都是 )。
一句话记住
消元保「行空间」与「零空间」,不保「列空间」;它保的是列之间的关系,而关系足以让我们从 里认出 的哪些列是主元列。
3.4 与 可解性、唯一性的关系
定理 3.5.3(用四大子空间判断解的存在与唯一)
设 ,。
(1)可解性: 有解 。
(2)唯一性:若 有解,则解唯一 ( 的列线性无关)。
(3)解集结构:若有解且 是一个特解,则完整解集是仿射集 ,其中含 个自由参数。
(4)列满秩时:,则 可逆, 的投影分量由 给出(第 4 章)。
(5)行满秩时:,则对每个 方程都有解(列空间已是整个 ),且解不唯一(,除非 )。
证明思路。
(1)「 有解」按定义就是说存在 使 ,而 遍历的正是 。「」是同一件事的消元版本:增广列不带来新主元,意味着 落在原有主元列的张成里。
(2)若 都是解,则 ,即 ;反之对任意 , 仍是解。(3)即由此得。。
(4)(5)直接由维数公式读出。
秩 的四种极端情形(与 3-3-Ax=b的完整解 中的表格一致,此处用四大子空间的语言重述):
| 情形 | 条件 | 对 的影响 | ||
|---|---|---|---|---|
| 满秩方阵 | 整个 | 对每个 恰有一个解, 存在 | ||
| 列满秩(高瘦) | 中的 维子空间 | 有解时唯一;多数 无解,需投影 | ||
| 行满秩(矮胖) | 整个 | 维 | 对每个 都有解,且有无穷多解 | |
| 秩亏 | 维真子空间 | 维 | 部分 有解,有解时无穷多解 |
3.5 四个子空间总表
这是本篇最应该背下来的一张表。
| 列空间 | 零空间 | 行空间 | 左零空间 | |
|---|---|---|---|---|
| 定义 | ,所有列的线性组合 | 的解集 | 所有行的线性组合, | 的解集,即 |
| 所在空间 | ( 维) | ( 维) | ( 维) | ( 维) |
| 维数 | ||||
| 一组基怎么求 | 取 消元后 的主元列,回到 中取对应的列 | 由 给每个自由变量取 1、其余取 0,回代得 个特解 | 取 消元后 的 个非零行(或 的 个线性无关的行) | 解 ,即 中「全零行」对应的那组组合系数,共 个 |
| 典型用途 | 判断 是否可解 | 判断解是否唯一、写出通解 | 判断两方程组是否同解、求行最简形 | 找出各行的相关关系、最小二乘的误差方向 |
| 正交伙伴(第 4 章) | ||||
| 与谁拼满 | 与 拼满 | 与 拼满 | 与 拼满 | 与 拼满 |
四、计算方法与步骤
4.1 准备工作:把 化成 ,同时记录主元列
对 做高斯—若尔当消元(Gauss–Jordan elimination)得到简化行阶梯形 ,记录:
- 主元个数 ;
- 主元所在的列号 ;
- 自由列号(其余 列)。
实用提醒
只求秩与主元列时,化到行阶梯形(不必消成 )就够了;要求零空间的基、要看清自由变量,则化到 最省事。
4.2 求零空间 的基
- 写出 ,把主变量用自由变量表示。
- 对第 个自由变量取 、其余自由变量取 ,回代解出主变量。
- 得到的 个向量即为基,维数 。
4.3 求列空间 的基
- 从 4.1 得到主元列号 。
- 回到原矩阵 ,取第 列。
- 这 个列向量即为基,维数 。
千万不要把 的主元列当作 的基
的主元列是标准基向量 ,它们张成的是 而不是 。必须回到 取列。
4.4 求行空间 的基
- 方法一(推荐):取 的 个非零行。理由:消元是可逆行变换,行空间不变,且 的非零行线性无关。
- 方法二:取 中任意 个线性无关的行(即自由列对应的行可以剔掉——把 消元后看 的主元列,对应到 的主元行)。
- 维数 。
4.5 求左零空间 的基
有两条等价路线:
- 路线 A(推荐):把 当作新矩阵,重复 4.2——解 ,得 个基向量。
- 路线 B(与消元记录同步):在把 化为 时同时记录行变换,写成 。则 中对应 全零行的那几行,就是左零空间的一组基。原因是 的第 行给出 的第 行;若第 行全零,则 ,即 是左零向量。由于 可逆,这些行线性无关,恰有 个。
五、例题
例题 1(主例题):一个 秩为 2 的矩阵,求四大子空间各自的基并验证维数
设
第 1 步:消元求 与主元列。
,:
:
:
读出:主元在第 列,故 ;自由列是第 列,自由变量为 。
第 2 步: 的基与维数。
主元列为第 1、3 列,回到 取这两列:
两者不成比例,线性无关。故 。这是一个 中过原点的平面。
顺便求这个平面的方程
设平面的法向量 ,与两基向量都正交(即 ,见第 3 步)。由 与 解得 (比例任意)。于是该平面是 。
第 3 步: 的基与维数。
解 ,即 。从上面的消元过程看到 ,即 。直接验证:
也可直接解: 的三行给出 、(与第一式相同)、、。由第 1、3 式相减得 ,与第 4 式……为免混淆,改用系统办法:对 消元。
(第一步:、、;第二步交换 ;第三步 。)于是 、,取 得
写成 只是差一个符号,同样合法(基向量允许任意非零倍数)。
第 4 步: 的基与维数。
解 :
取 :。
取 :。
直接验证: ✓; ✓。
第 5 步: 的基与维数。
取 的两个非零行:
也可以取 的第 1、2 行作为行空间的基(它们线性无关),但不能把三行全放进去。
第 6 步:交叉验证。
(a) 维数守恒
(b) 正交性(第 4 章的结论,此处先验证)
的含义是: 的每个向量与 的每一行正交。 的三行分别是 、、。逐个验算:
六个点积全为零,验证通过。(这只是第 4 章定理的一个实例:之所以必然成立,是因为 的第 个分量就是「第 行与 的点积」。)
(b') 两个空间里的向量无法比较:、,向量分量个数不同,因此「 是否与 正交」这个问题本身没有意义——这正是本篇反复强调「注意所在空间」的原因。
(c) 的秩 —— 的列线性相关(),故 是 但不可逆,秩为 2。算一下 :
注意第 2 行恰为第 1 行的 2 倍,第 2 列恰为第 1 列的 2 倍——与 的列 1、2 成比例(第 2 列 = 2 × 第 1 列)完全对应。
例题 2:一个 是否有解?解是否唯一?
仍用上面的 。取 与 。
的情形:观察 的第 1 列就是 ,故 即是一个解,,有解。由于 ,解不唯一,通解为
(读者可自行回代验证:自由变量 、,则 、。)
的情形:若 ,则它应与法向量 正交(因为 的平面方程是 ):
故 ,无解。等价地看左零空间: 满足 ,而 ,说明方程组各行相加后左边为零、右边不为零,矛盾。
例题 2 的普适教训
可解 与 正交。这条判据不用消元、只看左零空间,是第 4 章正交性的直接应用。第 4 章会把它写成 。
六、应用
(1)判断方程组有没有解、有多少解。 拿到 先算 : 落不落在 里决定「有没有解」, 是不是零决定「有几个解」。工程上遇到超定方程组(观测多于未知量,)几乎必然无解,此时不追求精确解,而去 里找离 最近的点——这就是第 4 章的最小二乘。
(2)数据中的冗余与相关性分析。 若 的各列是若干传感器通道的测量序列,则 就是线性相关的通道数:这个数大于 0 意味着有 个通道的信息可以由其他通道线性表示,可以剔除而不损失信息。 的基向量直接给出了这些相关关系(哪些通道加起来等于哪个通道)。
(3)约束的相容性检测。 左零空间 的向量是「各行的一个组合等于零」的系数,对应到物理/经济模型中就是守恒律或冗余约束。若 而 ,说明数据本身不相容(例如一个封闭电路的若干支路电流之和不为零),可以直接报错而不是去解一个无解方程。
(4)网络与图(第 10 章预告)。 对图的关联矩阵 (每列表示一条边,两个非零元为 与 ), 的维数等于图中独立回路数, 的维数等于连通分量数减一(设图的顶点数为 、边数为 、独立回路数为 、连通分量数为 ,则 、)。于是秩—零化度定理直接给出欧拉公式的一个线性代数版本:
即「顶点数 边数 独立回路数 连通分量数」。四大子空间在这里有了电路与网络的物理意义。
(5)SVD 与降维(第 7 章预告)。 SVD 会为四个子空间同时给出标准正交基: 中, 的前 列是 的标准正交基、后 列是 的; 的前 列是 的、后 列是 的。到那时,本篇的维数公式就变成「 里有多少个非零奇异值」的问题。
(6)数值计算。 用 Python 的 SciPy 可以直接算零空间的标准正交基:
import numpy as np
from scipy.linalg import null_space
A = np.array([[1, 2, 3, 1],
[2, 4, 7, 3],
[3, 6, 10, 4]])
print(np.linalg.matrix_rank(A)) # 2
Z = null_space(A) # N(A) 的标准正交基
print(Z.shape) # (4, 2)
print(np.allclose(A @ Z, 0)) # True
print(np.allclose(Z.T @ Z, np.eye(2))) # True(标准正交)
数值上的注意
matrix_rank用奇异值分解并带容差判断,浮点误差下「理论上为 0 的奇异值」可能算出 量级的小数。判断秩时不要用== 0比较,要用容差;病态矩阵(条件数很大)的「数值秩」可能小于精确秩(见第 11 章)。
七、易错点
七个高频错误
1. 忘记四个空间住在两个不同的空间里。 、,当 时二者无法比较、更谈不上正交或相等。「 与 正交」是错误说法;正确说法是 、。
2. 把 的列当作 的基。 的主元列是 ,它们张成的是 。必须回到 里取对应的原列。反之,行空间的基可以直接用 的非零行(消元保行空间)。
3. 求行空间基时把 的 行全写上。 若 ,多写的行不独立,得到的不是基。行空间的基恰好 个向量。
4. 用「列的个数」代替秩来算维数。 是 不是 ;只有当列线性无关时才有 。同理 是 不是 。
5. 认为 。 正确的是 。当矩阵秩亏()时这两者完全不同。例如 秩为 2, 而不是 。
6. 把 的秩与 的秩混为一谈。 正确结论是 (证明见 4-1-四大子空间的正交性),但 是 矩阵、 是 矩阵,两者形状不同;且 只有在 (列满秩)时才可逆。
7. 混淆「有解」与「唯一解」。 只管有解;唯一性由 决定。四个极端情形见 3.4 的表。
八、练习题
基础题 1. 设 。求 、四个子空间的维数与各自的基。
基础题 2. 判断:若 是 矩阵且 ,则 、,且对每个 方程 都有解。这三句话哪些对、哪些错?
进阶题 3. 设 是 矩阵,。求 、、、,并说明 与 是否可能相等。
进阶题 4. 设 均为非零向量,( 外积)。不用计算,直接说出 、四个子空间的维数,并给出各自的基(用 表示)。再验证 。
思考题 5. 证明:。(提示:证明 ,再对 用秩—零化度定理。)由此说明为什么最小二乘的法方程 有唯一解当且仅当 的列线性无关。
思考题 6. 设 与 都是 矩阵且 。用四大子空间的语言解释这件事(提示: 的每一列都在 中),并证明 。
九、常见问题 FAQ
Q1:为什么行空间写成 而不写成 ?
因为「行空间」本质上就是 的列空间,用 可以让四个空间统一成「某个矩阵的列空间或零空间」两族,公式( 用 的秩)也能直接套用。Strang 教材与 MIT 18.06 均采用此记号。有些教材写作 或 ,含义相同,以授课教材为准。
Q2: 是不是说明这两个空间「一样大」?
它们在维数上相等,但一般来说不是同一个空间,甚至不在同一个空间里:、。只有 (方阵)时二者才是同一个 的两个子空间,此时它们依然是不同的子空间(例如 : 是 轴, 是 轴)。 对称()时才有 。
Q3:零空间的基一定要用「自由变量取 1、其余取 0」这种方式求吗?
不一定要,但这是最省事、最机械的做法,且得到的基向量含有很多 0 与 1,便于验算。任何 个线性无关的 中向量都可以做基;同一个空间有无穷多组基。要注意的是:基不唯一,维数唯一——这也是为什么本篇的四个维数公式如此有价值。
Q4:为什么说「秩一旦确定,四个空间的维数全部确定」?
因为四个维数都是 的简单函数:、、、。只要 的尺寸 与秩 定下来,不需要知道 的具体元素,四个空间的「大小」就全定了。这句话的实用价值在于:做任何问题前先算秩,秩是这四个空间的唯一自由度。第 4 章还会证明,这四个空间的相对位置(谁垂直谁)也完全由 决定,与 无关。
全篇总结
设 ,,则
- ,,基取 的主元列;
- ,,基取 的 个特解;
- ,,基取 的非零行;
- ,,基取 的解。
两个守恒关系 、 说明:输入侧被分成「有效传输」与「被压为零」两部分,输出侧被分成「能达到」与「达不到」两部分,而且两边的分布由同一个 控制。
第 4 章将进一步证明这两组分解都是正交的:、,从而把 的作用彻底看清:它在行空间上是一一对应(单射),把行空间正交地映满列空间,同时把零空间整个压成原点。
十、四大子空间与解的结构对照
10.1 术语对照表
| 本库(Strang) | 国内教材(同济版等)的等价说法 | 数学对象 | 维数 |
|---|---|---|---|
| 列空间 | 列向量组的张成(span),记作 或 ;也叫 的值域 | ||
| 零空间 | 解空间(齐次方程组 的解集),其基叫基础解系 | 的解集 | |
| 行空间 | 的行向量组的张成;也等价于 的列向量组的张成 | 行向量的所有组合 | |
| 左零空间 | 齐次方程组 的解空间;在解非齐次方程组时给出相容性条件(各行的组合系数) | 的解集 | |
| 列秩 (列向量组的极大无关组所含向量个数) | — | ||
| 行秩 | — | ||
| 行秩 列秩(定理 3.5.2) | 矩阵的秩定义良定义:「行向量组的秩 列向量组的秩,统称矩阵的秩」 | — | |
| 秩—零化度定理 | 「 元齐次方程组的基础解系含 个向量」 | — | — |
| 特解 零空间 | 通解 = 特解 + 齐次通解(非齐次解的结构定理) | 仿射集 | — |
| 第六章的直和分解 , | — |
术语互译的三个要点
1. 国内说「基础解系」,本库说「 的一组基」;「基础解系含 个解向量」就是「」。
2. 国内说「极大线性无关组」,本库说「一组基」;「向量组的秩」就是「张成空间的维数」。
3. 国内把「 的解集」直接叫解空间,而 Strang 叫零空间(nullspace)。两者是同一个集合,一个强调「方程的解」,一个强调「被 压成零的方向」。
10.2 解的结构定理(国内写法)与四大子空间的对照
定理 3.5.4(非齐次线性方程组解的结构,国内标准表述)
设 ,。
(1) 若 ,则 无解;
(2) 若 ,则 有解,且
- 时解唯一;
- 时有无穷多解,其通解为
其中 是一个特解, 是导出组 的一个基础解系。
与本库语言的逐句对照:
| 国内表述 | 本库表述 | 依据 |
|---|---|---|
| 无解 | 定理 3.5.3(1) | |
| 导出组的基础解系含 个解 | 定理 3.5.1 | |
| 通解 特解 齐次通解 | 解集 | 定理 3.5.3(3) |
| 时解唯一 | 定理 3.5.3(2) | |
| 相容性条件(各方程线性组合后右端为零) | 对一切 成立 | 推论 4.1.6 |
「 有解」与「 有解」是同一句话
前者是国内教材(消元视角),后者是第 4 章(正交视角)。它们之所以等价,正是因为 : 落在 里 与左零空间的每个向量正交。手算时前者更快(做一次消元),理论推导时后者更本质。
10.3 为什么国内强调「解空间」而 Strang 强调「四个空间」
国内教材的主线是解方程:给定方程组,问「有没有解、有多少解、解长什么样」。于是自然分成「 的解集」与「 的可解性条件」两条线,前者是零空间、后者由左零空间控制(相容性条件),而列空间与行空间只在讨论「秩」时一闪而过。
Strang 的主线是映射:给定 ,问「输入被分成了什么、输出被分成了什么」。四个空间恰好把两端各切成两块,于是同一个 同时控制两端的切法(、、、),第 4 章再证明这两刀都是正交的。
两套语言各自的优势
- 做题(判断解、求通解、求秩):国内语言快——消元一次,读出主元数 ,写基础解系,抄通解。
- 理解结构(为什么、几何图像、能不能推广):Strang 语言强——四个空间给你一张「输入 输出」的地图,正交性、投影、最小二乘、SVD 全部从这张图长出来。
- 本库的建议:做题用国内语言,思考用四大子空间。两套语言随时可以互译,对照表就在 10.1。
十一、新增例题(数字计算为主)
例题 3(主计算题):一个 秩为 2 的矩阵,求四个子空间的基与维数并验证解的结构
设
注意第 4 行与第 1 行完全相同,这已经预告了 。
第 1 步:消元求简化行阶梯形 。
先做 、、:
再做 :
最后 :
读出:主元在第 1、3 列,故
第 2 步:四个维数一次写出。
两个守恒关系核对:
先写维数再看基
这一步只用了一个数 ,却已经把四个空间的「大小」全部确定。先算维数,再求基:如果算出的基向量个数与维数不符,立刻知道某一步错了,不必等到最后验证。
第 3 步: 的基(回到 取主元列)。
两列不成比例,故线性无关, ✓。注意不要取 的主元列 、——它们张成的是 中的坐标平面,与 完全不同。
第 4 步: 的基(解 )。
由 的非零行:
依次取 、、:
逐个验证 (用列的组合,这是最快的验算法):
三个向量线性无关(第 2、4、5 三个分量上的「单位阵块」保证),故
第 5 步: 的基(取 的非零行)。
也可以取 中线性无关的两行,例如第 1、2 行 与 ——它们线性无关,与上面的基张成同一个空间(可自行验证第 1 行 第 1 个基向量 第 2 个基向量: ✓)。
第 6 步: 的基(解 )。
是 矩阵,解 即求系数 使 ( 是 的第 行)。
从消元过程已经能看到两个关系:
- 第 4 行 第 1 行 ,即 ;
- 第 3 行 第 2 行 第 1 行 ,即 。
直接验证第二个:
故
(第一个向量是「第 1 行 第 2 行 第 3 行」的系数 ;第二个向量是「第 1 行 第 4 行」的系数 。两者线性无关,故构成基。)
第 7 步:交叉验证正交性。
:只需验证 的每个基向量与 的每一行正交,即 ——这正是第 4 步已经算过的。第 个分量就是「第 行与 的内积」,所以 与「 与每一行正交」是同一句话。抽一个验证:
:验证左零向量与 的主元列正交:
第 8 步:用本题的 检验「解的结构」。
取 ——它就是 的第 1 列,故 ,有解,且 是一个特解。通解(国内写法的「特解 齐次通解」):
核对自由变量的取值:在这个通解中 、、,而主变量
把它代入 的第 1 行核对: ✓(等于右端的第 1 个分量 1);第 2 行: ✓(等于右端的第 2 个分量 0)。注意:这里的右端是 版本的右端,即 。
再取 。用左零空间的相容性条件判断:,而
再试第二个左零向量 :
故 ,方程组无解。 这条判据不必做任何消元:只要 的 4 行里有一组「加起来等于零」的组合,而对应的 分量不满足同样的关系,就立刻判定无解。
例题 3 的三条经验
1. 、 越大越要先算 :本题 ,四个维数只要算出 就全部到手。
2. 零空间的基用「 的列组合」验算最快: 展开就是「系数乘列相加等于零」,比矩阵乘法快得多。
3. 左零空间是「找行的关系」:消元时哪一行被消成零行,那个消元系数就是一个左零向量。本题第 4 行与第 1 行相同、第 3 行 第 1 行 第 2 行,正好给出两个左零向量。
例题 4:含参数的 矩阵——参数如何改变四大子空间
设
第 1 步:先算行列式(判断何时满秩)。
按第 1 行展开:
(分解 。)故
第 2 步:分情形讨论。
情形一: 且 。 ,,四个维数是
即 、:对每个 有唯一解。
情形二:。 此时
三行相同,消元做 、:
,主元在第 1 列。于是
基:
- (一条直线, 的主对角线);
- (同一个方向——因为 对称);
- :解 ,取 :
即平面 ;
- :,故 ,是同一个平面。
情形三:。 此时
做 、:
(第二步 。)再做 、:
,主元在第 1、2 列,自由变量 。于是
基:
- (取 的第 1、2 列);
- (取 的非零行);
- :由 、,取 :;
- : 对称,故 。
验证正交性(这一步在 时特别漂亮):
第 3 步:把三种情形列成表。
| 参数 | 的几何图像 | ||||||
|---|---|---|---|---|---|---|---|
| 平面 | |||||||
| 直线 |
例题 4 揭示的一般规律
参数变化时,四个维数同步变化,始终满足两个守恒关系:、。秩是唯一会变的量,其余三个维数都是它的函数。 另外注意 与 时 与 恰好相同——这是因为本题的 对称(),于是行空间 列空间、零空间 左零空间,两组配对「串」在一起(详见 4-1-四大子空间的正交性 3.2 节)。一般矩阵没有这个性质。
例题 5(证明题):为什么「 的列线性无关」等价于「」,并由此导出唯一的维数公式
题目:设 。证明以下四条互相等价:
(1) 的列向量组 线性无关;
(2);
(3);
(4)。
证明。 我们用「(1)(2)(3)(4)(2)」的循环来证。
(1)(2)。 按定义,。而由 的列图像,
(这一步是纯粹的矩阵乘法展开: 乘以列向量 ,第 个系数 乘第 列再相加。)于是
「列线性无关」的定义正是:上式只有零解 。故(1) 中只有 (2)。
(2)(3)。 由秩—零化度定理(定理 3.5.1 的证明,或直接引 3-4-线性无关基与维数):
(3)(4)。 由定理 3.5.1,,故(3)与(4)是同一句话的两种写法。
(4)(2)。 设 。 由 个向量 张成(按定义),而它的维数恰为 ,故这 个向量构成 的一组基,特别地它们线性无关(基的定义要求线性无关),于是回到(1),再由(1)(2)得(2)。
四条等价证毕。
由这个证明立刻得到的两条推论
推论一(列满秩时 的维数公式): 时 ,即 有解时解唯一;且此时必有 ( 个线性无关的向量住在 里,必须有 )——这是「线性无关向量个数不超过空间维数」的直接后果。
推论二(): 给出 ;列向量组只有 个向量,张成空间维数不超过 ,给出 。合起来 。这也解释了为什么「秩的最大值」是 ,以及为什么 矩阵在 时称为「满秩」。
证明里最容易含糊的一步
「」看起来是废话,其实是整个线性代数的枢纽:它把「矩阵乘法的计算」翻译成「列向量组的线性关系」。四大子空间的所有结论(零空间的基、主元列的选取、行秩等于列秩)都建立在这一次翻译上。写证明时不要跳过它,更不要写成「显然 就是线性相关的解集」——那没有说清是什么的线性相关。
例题 6(证明题): 的另一种证法(不引用行秩等于列秩)
题目:设 。只用「列空间维数 主元个数」这一事实,证明
证明。 设 ,并设 消元后得到简化行阶梯形 ,主元个数恰为 (这是 的内容,见定理 3.5.1 的第二段证明)。记消元对应的可逆初等矩阵乘积为 ,即 ,于是
现在做两个观察。
观察一:。 对任意 :
而 不是我们要的形式,改用另一条路:由 得 。设 ,即 。由于 可逆, 是 上的一一对应,于是
一一对应保持维数,故
(这一步是本题的技术核心:消元改变 的列,但不改变 的解空间的维数,因为变换是可逆的。注意这与「消元保行空间与零空间」是同一件事的不同侧面。)
观察二:数 的零空间维数。 有 个非零行(主元行)与 个全零行。 是 矩阵,它的列就是 的行,其中恰有 个非零列(因为 恰有 个非零行),其余 列是全零列。 的 个非零行线性无关(每个非零行在自己的主元列上取 ,其余非零行在该列为 ),故
对 ()用秩—零化度定理:
合并两个观察:
移项即得 。
这个证法为什么值得学
常规证法是「对 用秩—零化度定理」,但那要先知道 (定理 3.5.2),而那条定理本身要费一番功夫。本证法绕开了它:只数了 的非零行个数(),就直接读出 。
构造上它揭示了一件更本质的事: 的维数等于「消元时被消成零行的行数」,而每一行被消成零,就意味着这一行是前面某些行的线性组合——这正是「左零空间记录行与行的冗余关系」这句话的精确含义。
顺带地,把同一个论证用到 上(把 转置、行与列的角色互换),就能得到 ,即行秩等于列秩。两条守恒关系其实是同一个证明的两个方向。
本篇小结
一页纸回顾
核心公式(背下来):设 ,,则
| 子空间 | 所在空间 | 维数 | 基怎么取 |
|---|---|---|---|
| 列空间 | | | 的主元列 |
| 零空间 | | | 的 个特解(基础解系) |
| 行空间 | | | 的非零行 |
| 左零空间 | | | 的解 |
两个守恒关系:(输入侧),(输出侧)。
三条必须记住的「不」:
- 消元保行空间与零空间,不保列空间(列之间的关系保,列本身不保);
- 求 的基不能用 的列,必须回到 取主元列;
- 与 不能放在一起谈正交(当 时连内积都写不出),配对只有 – 与 –。
与国内教材的接口: 就是「齐次方程组的解空间」,它的基就是「基础解系」, 就是「基础解系含 个解向量」; 就是「行秩 列秩」。对照表见第十节。
下一步:4-1-四大子空间的正交性 证明这两组维数相加的分解不只是「拼满」,而是正交地拼满,于是每个向量都有唯一的正交分解——这是最小二乘、SVD、PCA 的共同起点。
相关笔记
- 4-1-四大子空间的正交性:证明本篇两组维数相加的分解是正交直和,并给出内积公理化、正交补与 ;本篇第十节的对照表在那里会变成正交关系的国内写法
- 4-2-投影与投影矩阵:把列空间与左零空间的正交分解变成可计算的投影矩阵 与法方程
- 4-4-标准正交基与Gram-Schmidt:为四个子空间构造标准正交基(不用消元、也不用每列单独取),是「基不唯一、维数唯一」的构造性版本
- 3-4-线性无关基与维数:基与维数的定义、秩—零化度定理,本篇的维数公式直接建立在其上
- 3-2-零空间与阶梯形:零空间、主元与自由变量、 的解法,是本篇求基流程的来源
- 3-3-Ax=b的完整解:可解性条件与秩 的四种极端情形,本篇 3.4 节是其子空间版本
- 3-1-向量空间:子空间的定义与判定, 是第一个例子
- 4-1-四大子空间的正交性:本篇的续篇,证明四个空间两两正交地拼满 与
- 7-1-SVD的构造与几何意义:SVD 为四个子空间同时给出标准正交基
参考来源
- MIT OpenCourseWare,18.06 Linear Algebra(Spring 2010),Gilbert Strang,第 10 讲 "The Four Fundamental Subspaces":https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/
- Gilbert Strang,Introduction to Linear Algebra,第 5 版,Wellesley–Cambridge Press,第 3.5 节 "Independence, Basis and Dimension" 与第 3.6 节 "Dimensions of the Four Subspaces"(教材,纸质/电子书)
- Gilbert Strang,Linear Algebra and Its Applications,第 4 版,第 3.6 节 "Dimensions of the Four Subspaces"(教材)
- 同济大学数学系,《线性代数》,第六章「线性空间与线性变换」、第四章 §3「向量组的秩」与 §4「矩阵的秩」(教材)
- SciPy 官方文档,
scipy.linalg.null_space(用 SVD 求零空间的标准正交基):https://docs.scipy.org/doc/scipy/reference/generated/scipy.linalg.null_space.html - MIT 数学系 Gilbert Strang 教材主页(第 5/6 版配套资源):https://math.mit.edu/~gs/linearalgebra/