4-1-四大子空间的正交性
一句话概括
第 3 章证明了四个基本子空间的维数由秩 决定;本篇证明它们的相对位置也完全确定:、,于是
也就是说,四个子空间把输入空间与输出空间各做了正交直和分解(orthogonal direct sum decomposition)。
本篇覆盖:正交向量与正交子空间的定义、正交补 的定义与维数关系 、两条核心定理的完整证明、 与 的具体例子、为什么 与 不一定正交、唯一分解定理,以及它对最小二乘的意义(预告 4-3)。
国内读者请先读第十节:那里有内积的公理化定义与欧氏空间、柯西—施瓦茨不等式的判别式法证明、三角不等式、度量矩阵与标准正交基,以及四大子空间与国内教材「解空间」「行空间」术语的完整对照表。
一、定义
1.1 正交向量(orthogonal vectors)
定义 4.1.1(正交向量)
设 。若它们的内积(点积,dot product)为零
则称 与 正交,记作 。
补充约定与直觉:
- 与任何向量正交()。
- 由 可知:两个非零向量正交 夹角 。
- 勾股定理(Pythagorean theorem):若 ,则 。证明:
(交叉项 消失。)这条恒等式是整章「正交分解」的代数核心,请记住它。
- 零向量是唯一与自身正交的向量:。这条小结论在后面的证明里反复用到。
1.2 正交子空间(orthogonal subspaces)
定义 4.1.2(正交子空间)
设 是同一个 的两个子空间。若对每一个 与每一个 都有 ,则称 与 正交,记作 。
定义里的「每一个」不能弱化
判定两个子空间正交,必须验证任意搭配都正交,而不是「各取一组基,基向量之间正交」——虽然后者恰好够用(见下面定理 4.1.1),但直觉上一定要理解为「每一个与每一个」。反例: 中的 轴与直线 ,取基向量 与 ,它们不正交,所以这两个子空间不正交(也没错)。但更微妙的是: 中 平面与 轴正交;而 平面与直线 不正交,因为 。
定理 4.1.1(用基判定正交)
设 、 是同一 的子空间。则
证明。「」显然。「」任取 、,则
因为每个 。
实用价值:验证两个子空间正交,只需验证一组基与另一组基两两正交,计算量从无穷降到 个点积。
1.3 正交补(orthogonal complement)
定义 4.1.3(正交补)
设 是 的子空间。 的正交补定义为与 中每个向量都正交的所有向量构成的集合:
(读作: 的正交补由所有与 中每个向量都正交的向量组成。)
一定是子空间(在同一个 内):若 ,则对任意 有 、,且 ,故封闭。
定理 4.1.2(正交补的维数关系)
设 是 的子空间,则
更精确地:若 是 的一组基,把它们按行排成 矩阵 (即 ),则 ,于是由第 3 章的维数公式
证明的细节。 是 、行向量是基、行满秩()。对 :
最后一步用了定理 4.1.1(与基正交即与整个 正交)。故 ,。
正交补的两个常见误解
误解一:。 错。并集不是子空间(除非其中一个为 )。例如 中 轴与 轴,它们的并集只有两条坐标轴上的点,而 还有 这样的点。正确的分解是「和」:每个向量都写成「一块在 里 + 一块在 里」(定理 4.1.5)。
误解二:。 错。零向量既在 里又正交于一切,故 ,即交集是 (不能有别的:若 ,则 ,,)。
记忆口诀:「正交 + 维数相加 = 直和」。 且 ,合起来才等价于 。
1.4 正交直和
定义 4.1.4(正交直和)
若 是 的子空间,满足(i),(ii),则称 是 与 的正交直和(orthogonal direct sum),记作
此时每个 都能唯一地写成 ,其中 、。
由 与 立刻得到 。特别地,(正交补是「对合」的:)。
二、几何直观
2.1 在 与 里看图
。 取 轴。则 轴, ✓。平面被两条互相垂直的直线「拼满」:任一向量 唯一地分解成 ——这正是「水平分量 + 垂直分量」。
。 有两大类情形:
- 是一条过原点的直线() 是过原点且垂直于它的平面()。 ✓。
- 是一个过原点的平面() 是它的法线()。 ✓。
- 极端情形:;。
注意: 永远是过原点的。子空间必须含原点,所以「不经过原点的平面」不是子空间,谈不上正交补。这也是为什么投影问题里的子空间总是过原点的(第 4.2 节)。
2.2 四个子空间的正交图像(本节的核心图)
对 矩阵 ,秩为 :输入侧 被切成两块互相垂直的板,输出侧 也被切成两块互相垂直的板。
R^n 维数 n R^m 维数 m
┌───────────────────────────┐ ┌───────────────────────────┐
│ │ │ │
│ 行空间 C(A^T) │ │ 列空间 C(A) │
│ 维数 r │ │ 维数 r │
│ ── 被 A 一对一送走 ─────┼── A ──►│ ── A 的值域 ── │
│ │ │ │
├──────── 正交 ─────────────┤ ├──────── 正交 ─────────────┤
│ │ │ │
│ 零空间 N(A) │ │ 左零空间 N(A^T) │
│ 维数 n - r │ │ 维数 m - r │
│ ── 被 A 全部压成 0 ─────┼── A ──►│ ── b 达不到的方向 ── │
│ │ │ │
└───────────────────────────┘ └───────────────────────────┘
R^n = C(A^T) ⊕ N(A) R^m = C(A) ⊕ N(A^T)
读图三句话:
- 左半部分(行空间)是 的「有效输入」。 限制在行空间上是一一映射,且恰好映满列空间: 是同构(维数都是 )。
- 左半部分的下方(零空间)被整个压成原点,它对输出没有任何贡献。这就是「 丢掉了 维信息」的精确含义。
- 上下两块互相垂直:横跨两块走的两条路互不干扰。这条正交性使得我们可以「分离变量」——把问题拆成「在行空间上求解」与「在零空间里加任意解」两部分(最小二乘的全部秘密都在这里)。
关于「正交」的严格性
图中「正交」不只是示意: 与 在 内正交(定理 4.1.3), 与 在 内正交(定理 4.1.4)。这两条合起来是本章最重要的事实。
三、性质与定理
3.1 两条核心定理
定理 4.1.3(零空间 行空间)
对任意 矩阵 ,
即零空间是行空间的正交补:,。
适用条件:任意实矩阵(复矩阵用共轭转置 )。
证明(完整)。 设 ,即 。把 按行写出:
于是 对每个 成立。也就是说 与 的每一行都正交。由于 中的任意向量都是这些行的线性组合 ,由
可得 与整个行空间正交。故 。
反向包含(其实可由维数立刻得出,但也可以直接证):若 ,特别地 与 的每一行正交,即 对一切 ,则 ,故 。
两边互相包含,,特别地二者正交。
也可以用维数一句话收尾
已证 ,而
维数相同且一个包含另一个,故相等。
定理 4.1.4(左零空间 列空间)
对任意 矩阵 ,
即左零空间是列空间的正交补:,。
证明(完整)。 把定理 4.1.3 应用于 (它是 矩阵,注意此时「输入侧」是 ):
也可以直接验证:设 ,即 。对任意 ,
由于 中的向量都形如 ,故 与整个列空间正交。
定理 4.1.5(正交直和分解 / 唯一分解定理)
对 矩阵 ,
即:任何 可唯一地写成
且 ;任何 可唯一地写成
证明(存在性)。 把 关于 作投影(第 4.2 节会构造出投影矩阵 ),令 、。投影的定义保证误差 与 正交,故 (定理 4.1.3)。
证明(唯一性)。 设 ,其中 、。则
左边属于 ,右边属于 ,故这个向量同时属于两个空间,即属于它们的交集:
(用了「」。)故 、,分解唯一。
存在性的一种「不依赖投影」的证法
由 与 ,直接由线性代数基本结论「维数相加等于全空间维数且交集为零 直和」得到存在性。这条路线完全用第 3 章的维数公式,不需要 4.2 节的投影。两种证法都要会。
3.2 为什么 与 不一定正交
这是本节最容易被问倒的问题,单独讲清。
结论
与 一般不正交,而且当 时这句话本身没有意义——因为 、,两个空间里的向量分量个数不同,无法做点积。
(1) 时:无法比较。 例如 ():、。谈「正交」无从下手。
(2)即使 (方阵),二者一般也不正交。 举例:
(两列独立),,此时正交(零空间平凡)。换一个:
、,恰好正交——这是巧合(因为此 对称!,于是 ,定理 4.1.3 就变成了 )。
再看一个不对称的例子:
不正交。 而 确实成立:, ✓。
一句话记忆
「零空间只跟行空间玩,列空间只跟左零空间玩。」 配对关系是
只有当 对称时两组配对才「串」在一起(),此时 也正交。
3.3 由正交性得到的几条实用推论
推论 4.1.6( 可解性的正交判据)
有解 ,即 与 的每个解 正交。
几何说法: 只要能「通过」垂直于左零空间的检验,就落在列空间里。
推论 4.1.7(,即 )
对任意实矩阵 ,
因此 可逆 的列线性无关()。
证明。一方面,,故 。
另一方面,设 ,即 。两边与 作内积:
故 ,。
两向包含给出相等。由秩—零化度定理:。
关键技巧: 是本章最常用的恒等式,请务必记住。它也是最小二乘法方程可解性的基础(见 4-3)。
推论 4.1.8( 与 的关系)
。事实上由 与 的维数为 ,可知二者维数相同,故
这条结论说明:用 做计算不会丢掉行空间的信息,这是法方程 可解的原因( 无论是什么,右端 必在 中)。
四、计算方法与步骤
4.1 验证两个子空间正交(数值做法)
- 分别求 、 的基 、(可用第 3 章的方法)。
- 对每一对 计算 。
- 全部为零 (定理 4.1.1)。
4.2 求一个子空间的正交补
- 求 的一组基 。
- 把它们作为行排成 矩阵 。
- 解 ,其解空间就是 ,维数为 。
特例(最常用)
- 时,把 的列转置成行即得 ,于是 。
- 时,,于是 。
4.3 把一个向量正交分解
要求把 写成 (关于 与 ):
- 求出 的基( 的非零行)与 的基( 的特解)。
- 设 ( 为行空间基),利用 列出方程:
这是 个未知量、 个方程的线性方程组(正是法方程!),解出 。
- 。
- 验证: 且 (零空间分量被 杀掉)。
这就是最小二乘
上面的第 2 步方程组就是法方程 的一般形式。第 4.3 节会把 换成一般的右端向量、把行空间换成列空间,得到同一条方程。最小二乘 = 正交分解 + 在列空间里解方程。
五、例题
例题 1:用一个 矩阵看清四个空间
第 1 步:消元求秩与主元列。
(。)主元在第 1 列,。第 2 列 第 1 列。
第 2 步:四个空间。
- , ✓ — 中的一条直线。
- :解 ,得 , ✓。
- , ✓。
- :解 ,即 、,得 , ✓。
第 3 步:验证正交性。
第 4 步:验证 与 不正交。
这正说明配对关系必须搞清楚: 与 正交,而不是与 正交。
第 5 步:正交直和分解。 由于 、两个一维子空间正交,。取 ,设 。解方程:
验证:
以及 ;,两者相同——零空间分量被 完全消去 ✓。
例题 2:用一个 秩为 2 的矩阵在 中画出四个空间
这个矩阵不对称(),因此它的行空间与列空间是 中两个不同的平面——正是展示四个空间各自独立身份的最佳例子。
第 1 步:消元求 。
依次做 、:
(第二步 。)再做 、:
读出:主元在第 1、2 列,;自由列是第 3 列;第 3 行 第 1 行 第 2 行(、、 ✓),这就是左零向量的来源。
第 2 步:—— 中的一个平面。
主元列是第 1、2 列,回到 取列:
第 3 步:——垂直于该平面的一条直线。
先直接解 :,由「行 3 = 行 1 行 2」知 是解。验证:
再用叉积复核(对 秩 2 的情形, 自动垂直于整个列空间):
于是
它同时给出 的平面方程:法向量 与列空间正交,故平面为
(用主元列核对: ✓、 ✓。)
第 4 步:——另一条直线。
由 :、。取自由变量 :
第 5 步:——另一个平面。
取 的两个非零行:、, ✓。它们的法向量是
——正是 的基向量(符号与倍数可任意)。故行空间是平面
(用基向量核对: ✓、 ✓。)这与 是它的法线完全一致。注意行空间的基应取 的非零行 ,而不是 的原行 ——后者虽然也张成同一个行空间( 的第 3 行 第 1 行 第 2 行),但与前者是不同的基。
第 6 步:验证正交性(逐个点积)。
:
:
与 是否正交?只需检查两个基向量:
不正交——正如 3.2 节所预言。 中的几何图像是:行空间与列空间是两个斜交的平面,而两条直线分别是它们的法线。
- 行空间是平面 ,其法向量正是 ,故 就是这条法线——与 一致 ✓
- 列空间是平面 ,其法向量正是 ,故 是另一条法线——与 一致 ✓
- 两条法线互不平行( 与 不成比例),因为两个平面斜交;而 ,说明行空间的法线并不垂直于列空间,这正是「 与 不正交」的几何含义。(若 对称,两个平面会重合,两条法线也随之对齐。)
第 7 步:四个空间与两个正交分解的总览。
| 子空间 | 中的图像 | 维数 | 平面/直线方程 |
|---|---|---|---|
| 平面 | 2 | ||
| 直线 | 1 | 由 张成 | |
| 平面 | 2 | ||
| 直线 | 1 | 由 张成 |
第 8 步:把 唯一分解。
设 ,其中前两块属于行空间、最后一块属于零空间。列出线性方程组:
由第 1 式 ,由第 2 式 ,代入第 3 式:
于是 、、,从而
也就是说, 本身就落在行空间里(用行空间方程核对: ✓),零空间分量为零。这是一个「分解退化为自身」的正常情形。
验算(两步走,缺一不可)。 第一步,检查正交性: ✓(平凡成立)。第二步,检查 (这是分解正确的最快判据,因为 ):
两者一致,分解正确。(提醒: 必须把「系数 × 行空间基向量」的和先算成具体向量 ,再用 左乘。 作用的对象是向量,不是系数三元组;行空间基不是标准基时,「系数」与「坐标」完全不是一回事。这是本节最容易翻车的一步。)
再补一个非平凡的分解:取 ,它满足 ,故有非零零空间分量。设 ,分量方程:
由第 1 式 、第 2 式 ,代入第 3 式:,,。于是
验算: ✓;内积 ✓; ✓,故
直接算 —— 等等, 就是 的第 3 列,即 ,与 差一个因子 。检查 的计算:,故
上面漏掉了 项(这正是「」式错误的具体后果:行空间基的系数 与 的坐标不是一回事)。补上:
与 完全一致 ✓。(三个分量分别用了分母 的通分:、、。)
两条教训:(i)用系数组合基向量时,一定把结果算成一个具体向量再代回 ;(ii) 恒成立,因为 ——这条恒等式本身就是检查分解是否算对的最快手段。
例题 2 附带的三条教训
1. 列是「上下读」的,行是「左右读」的。矩阵对称时才可混用;本例 , 不对称,混用立刻出错。
2. 而不是 。本例中 与 的第二个基向量点积为 ,明确不正交;行空间与列空间是两个斜交的平面。
3. 维数结论比基的具体形状更稳健。本例四个维数是 ,它们只依赖 ,与基向量怎么选无关——这也是「先算秩」最高效的原因。
例题 3:数值验证
仍用例题 2 的 (不对称,):
逐项计算(, 为 的列):
- ,,
- ,
检查秩:第 3 行 第 2 行 第 1 行 ,不为零行,说明 的三行看似独立?但定理 4.1.7 保证 ,必有行列式为零。验证:
行列式确为零,故 ✓。再验证零空间向量:
因此
因为 (列线性相关), 虽是 却不可逆。这正是推论 4.1.7 的实例:只有当 的列线性无关时 才可逆,而这恰是法方程有唯一解的条件(第 4.2、4.3 节)。
例题 4(国内风格计算题):验证一组公理化的内积,并算出长度、夹角与度量矩阵
在 上定义
第 1 步:把内积写成矩阵形式,认出度量矩阵。
把上式整理成二次型的样子:
逐项核对: 展开后 的系数是 (对应 )、 的系数是 、 的系数是 ,与题设完全一致 ✓。称 为这个内积的度量矩阵。
第 2 步:验证对称性与线性性。
对称性:(,其余非对角元为 ),故
(第一个等号后取转置是因为 是 矩阵,转置等于自身。)
对第一变元的线性性:对任意 与 ,
(这两条来自矩阵乘法的分配律与数乘交换性,与 的具体取值无关。)
对第二变元的线性性:由已证的对称性把两个变元交换即可, ✓。
第 3 步:验证正定性——这是本题的关键,必须用配方法。
要证 且等号只在 时成立。展开:
对前两项配方(把 看成关于 的二次式):
代回并合并 项:
三项系数 全为正,故 ✓。等号成立要求三项同时为零:
即 ✓。正定性验证通过,故 是 上的一个内积, 配这个内积成为一个欧氏空间。
第 4 步:等价地用顺序主子式验证正定(这是国内考试最常用的判据)。
的三个顺序主子式:
按第 3 行展开(只有 非零): ✓。
三个顺序主子式全为正 正定(Sylvester 判据,见 6-4-对称矩阵与正定矩阵)。两种做法结论一致。
第 5 步:由内积导出长度与夹角。
取 、。
长度(国内记作 ):
内积与夹角:
核验柯西—施瓦茨: ✓,且 ✓。
换内积就换了几何(一个精确的对照)
上面算出的夹角只对本题的内积有意义:同样的两个向量在标准内积下 ,长度也变成 、,夹角余弦是 (),与本题的 (约 )完全不同。
更尖锐的一点: 与 在标准内积下正交(点积为 ),但在本题的内积下
不正交!原因就是度量矩阵 的非对角元不为零。
结论:正交性是相对于内积而言的,换内积就换了几何——这是国内教材强调「先规定内积、再谈正交」的原因,也是第 12 章加权最小二乘里「投影矩阵不再对称」的根源(见 12-3-多元高斯与加权最小二乘)。
第 6 步:求这个内积下的一组标准正交基(用国内写法的施密特正交化)。
取自然基 、、(它们在标准内积下是标准正交基,但在本题的内积下不正交)。
先算所需的全部内积:
第一个向量:,长度 ,单位化:
第二个向量(减去在 上的投影):
更简单地:。故
逐项验证 :
的长度:,故 ,
验证 : ✓。
第三个向量: 已经与 、 都「正交」了吗?由 知
而 都是 的线性组合,由内积的线性性得 ,故
(这说明:与 对应的「坐标方向」本来就是正交的,因为 在第 3 行第 3 列以外的元全为 。)
最后统一验证::
故 是这个内积下的标准正交基(国内叫标准正交基或规范正交基)。
例题 4 的四条要点
1. 内积是「度量矩阵 」给的:,而 必须对称正定。对称性保证第一个公理,正定性保证第四个公理,线性性自动成立。所以「 上所有的内积」与「所有 阶对称正定矩阵」一一对应。
2. 正定性的两种验法:配方法(直接得到平方和)与顺序主子式(Sylvester 判据)。考试里配方更快,理论上顺序主子式更机械。
3. 长度与夹角都由内积导出:,。注意夹角公式需要 (两个向量都非零)。
4. 正交性相对于内积: 的非对角元不为零,就意味着「标准基不再正交」。做这类题时不要凭标准内积的直觉下结论,每一项都要用 算。
例题 5(主计算题):柯西—施瓦茨不等式的数值验证与等号条件
题目:在 的标准内积下,取
(1)计算 、、,验证柯西—施瓦茨不等式并算出「宽松程度」(即 与 1 的差);
(2)另取 ,判断柯西—施瓦茨是否取等号,并解释原因;
(3)用判别式 说明它与「二次函数 无正根」的关系。
第 1 步:逐项算内积。
第 2 步:验证不等式。
即 ,柯西—施瓦茨不等式成立。
第 3 步:算夹角与「宽松程度」。
故 严格不等号, 与 线性无关。顺便算 ,夹角是锐角(约 )。
第 4 步:判断 是否取等号。
仍然严格不等,故 与 不平行。直接看出:若 ,则 与 矛盾 ✓。这说明「等号」是一个很强的条件——随机取两个向量,等号几乎总是不成立。
现在主动构造一个取等号的例子:取 ,则
等号成立(,两向量共线)✓。
第 5 步:判别式法的逐步核对。
对一切实数 ,构造
(中间项用了内积的双线性性 ,所以两项合并为 。)由正定性公理 恒成立。把数值代进去(用 、 这一组):
配方验证它恒正: ✓(最小值在 处,等于 )。
判别式:
而一般公式给出
——这正是柯西—施瓦茨不等式 ✓。
再看等号情形(取 ):
判别式 ,且 在 处取零值,此时 ——正定性公理中的「等号仅当向量为零」正好解释了等号条件 ✓。
第 6 步:结论。
本题: 与 严格不等号(); 与 取等号。判别式 与「二次函数有实根」互相等价,而「有实根」又等价于「存在 使 」,即两者线性相关。
考试中的快速判断
要判断柯西—施瓦茨是否取等号,不必算三个内积:先看两个向量是否成比例。成比例 等号;不成比例 严格不等号。算内积只是为了验证不等式(有时题目要求「验证」,那就必须把三个数都算出来)。
例题 6(国内风格计算题):非标准内积下的正交补、直和分解与度量矩阵
在 上定义内积
取子空间 ,。
第 1 步:验证这是内积。
对称性: ✓。正定性:顺序主子式 、 ✓,故 正定。展开验证:
等号要求 且 ,即 ✓。(这个配方比上一个例题更漂亮:直接写成两个平方之和。)
第 2 步:求 (在本题内积下)。
。计算:
令其为零:,即 ,故
这里必须用 算,不能用点积
在标准内积下, 的正交补是 轴 。但在本题的内积下,正交补变成了 ——完全不同的直线。用点积验证一下差别:,所以在标准内积下 与 不正交;但在本题的内积下 ✓ 正交。
口诀:算正交补,先看内积是谁给的。 用错内积得到的是另一个子空间,后面的直和分解、投影全部会错。
第 3 步: 的验证与正交分解。
先验证交集为零:若 ,则 且 ,由正定性 ,故 ✓。维数相加 ✓,故 。
取 ,要求 。设
分量方程:
故
用内积验证正交:
用勾股定理验证长度分解(注意「长度」也是本题内积给的长度):
勾股定理在非标准内积下依然成立——因为它只用到「内积对称 + 双线性 + 正交项为零」这三条,与 的具体取值无关。
第 4 步:写出这组基的度量矩阵并观察它是不是单位阵。
取 的自然基 、,度量矩阵(国内叫度量矩阵,即 Gram 矩阵 ):
不是单位阵,说明自然基在这个内积下不是标准正交基:(不正交)、(不是单位向量)。
度量矩阵是「内积的身份证」
一组基的度量矩阵是单位阵 这组基是标准正交基。 这句话给出了标准正交基的等价刻画,也是国内教材反复算度量矩阵的原因:
- 若 是标准正交基,则任意 的坐标满足 (坐标 内积),且 (勾股定理的一般形式);
- 若基不正交,度量矩阵非对角,坐标必须解方程组 才能得到,长度也要写成 而不能写成 。
这正是 4-4-标准正交基与Gram-Schmidt 要把基「矫正」成正交基的全部动机:让度量矩阵变成 ,一切公式立刻简化。
例题 7(证明题):柯西—施瓦茨不等式的完整证明(二次函数判别式法)+ 三角不等式 + 等号条件
定理(柯西—施瓦茨不等式,Cauchy–Schwarz inequality)
设 是欧氏空间(实内积空间), 为其内积。则对任意 ,
等号成立 与 线性相关。
适用条件:只用到内积的四条公理(对称、双线性、正定),因此对任何内积空间成立——不限于 ,也不限于标准内积。
证明(判别式法,国内标准证法)。
第 1 步:构造关于 的二次函数。 固定 ,对任意实数 考虑向量 ,并定义
第 2 步:由正定性得 对一切 成立。 这是正定性公理的直接应用:任何向量与自己的内积非负。注意这里有一步容易忽略: 取遍一切实数,所以 取遍一条直线上的所有点, 在整个直线上非负。
第 3 步:展开成 的二次多项式。 用内积的双线性性(对每个变元分别线性):
第一变元拆开(用对第一变元的线性性):
再拆第二变元:
逐项用「数乘可以提出」与对称性 :
记 、、。
第 4 步:分两种情形讨论。
情形一:。 此时 (由线性性 ),,不等式两边都是 ,成立,且 与任意 线性相关( 有非零系数)✓。
情形二:。 此时 (正定性公理的另一半:只有零向量与自己内积为零),所以 是首项系数为正的真正的二次函数,且 对一切 成立。
一个首项系数为正的二次函数在整个实轴上非负,意味着它与 轴至多只有一个公共点(开口向上且不穿过轴;若有两个不同实根,两根之间函数值为负,矛盾)。因此它的判别式不能为正:
除以正数 :
两边开平方(两边都非负):
(不等式的证明完成)
第 5 步:等号条件。 我们要证
「」:若 (),则
两者取绝对值后相等: ✓。(若 则退化为情形一,也已成立; 与 中若有一个为零向量,两者必线性相关,且两边都是 。)
「」:设等号成立。
- 若 ,则两者线性相关 ✓,无需再证。
- 若 ,则 ,,于是 有唯一实根 。在该点
由正定性公理()得 ,即 ,两者线性相关 ✓。
两种情形合起来,「」成立。
这个证明为什么是「国内标准证法」
它的全部依据只有三条:正定性公理( 与「」)、双线性性(展开 )、对称性(把交叉项合并成 ,这一步少了对称性就只能得到 )。
换句话说:柯西—施瓦茨不等式不是关于 的事实,而是内积公理的逻辑推论。这正是国内教材先立公理、再证不等式的用意——证完一次,对所有内积空间同时生效( 的各种加权内积、函数空间 上的 、概率空间的协方差、第 12 章的马氏内积全部包含在内)。
与 1-2-长度与点积 中「用 的判别式」的证法是同一个套路;区别只在于那里内积是具体的点积,这里内积是公理化的,于是结论的适用范围大得多。
推论(三角不等式,triangle inequality)
对任意 ,
等号成立 与 非负线性相关(即存在 使 ,或其中一个为零向量)。
证明。两边都非负,故只需证平方后的不等式。用双线性性展开:
对中间项用柯西—施瓦茨(注意 ):
开平方即得 ✓。
等号条件:需要两处同时取等号——(i) ,即 ;(ii) 柯西—施瓦茨取等号,即 线性相关。合起来就是「线性相关且内积非负」,即存在 使 (或其中一个为零)。
三角不等式的几何含义与用途
几何上它说「三角形两边之和不小于第三边」:把 、 首尾相接,从起点到终点的直线距离不超过走折线的路程。等号成立意味着「折线退化成直线」——两个向量同向。
它是长度能称为「范数」的前提之一(第 11 章):只有满足三角不等式, 才能用来度量距离、才能谈收敛与误差界。数值分析里所有的误差估计()都建立在它之上,见 11-2-范数与条件数。
把定理用在例题 5 的数据上核对等号条件:、,(非负),但两者不线性相关,所以三角不等式严格成立。验证:
顺带核对恒等式 ✓。
再取一个等号例子:、():
反向的例子:():
所以「线性相关」还不够,必须「同向」才取等号——这是三角不等式与柯西—施瓦茨等号条件的唯一区别。
例题 8(国内风格计算题):正交矩阵的等价刻画与数值验证
设
第 1 步:验证 。
逐项算 的第 元(即 的第 列与第 列的标准内积):
- 第 1 列 ,第 2 列 ,第 3 列 。
- 、、;
- 、、。
故
的三列构成 的一组标准正交基(即标准基的一个置换),故 是正交矩阵。
第 2 步:由 推出 。
说明 是 的左逆;由于 是方阵,左逆即逆,故 ✓。直接核对:
第 3 步:。
按第 1 行展开(只有 非零,代数余子式符号为 ):
一般证明(对任意正交矩阵):由 取行列式,用 与 :
本题 ,故 是旋转(不是反射)。几何上它把 ,是绕主对角线方向的 旋转。
第 4 步:特征值的模为 1。
求特征多项式。按第 1 行展开 :
(符号: 位置符号 、 位置符号 、 位置符号 。)
故特征方程为 ,即 。因式分解:
验证模为 1:
(一般证明见 4-4-标准正交基与Gram-Schmidt 与 9-2-Hermitian矩阵与酉矩阵:若 且 ,则 ,由 得 。复特征值出现是正常的——正交矩阵在实数域内不一定有实特征值,本题 的三个实特征值只有一个 。)
第 5 步:保持内积与长度(数值验证)。
取 、。
长度不变:
内积不变:
一般证明只需一行:。
第 6 步:把 用在列空间的语言里(与本篇主线挂钩)。
的列是 ,它们构成 的一组标准正交基,因此
四个维数是 (),两个正交直和都是 的平凡分解 ✓。
正交矩阵「特征值模为 1」与「」都不是充分条件
- 不能推出 正交: 的行列式为 ,但它把 拉长成 ,不保长度。
- 「特征值模为 」不能推出 正交: 的特征值是 (模都为 ),但它不是正交矩阵。
- 「」只对实矩阵等价于「」;复矩阵的情形要换成酉矩阵 (见 9-2-Hermitian矩阵与酉矩阵)。
判定正交,永远用 。 其余性质都是它的推论,不能倒推。
例题 9(主计算题):把 分解为标准正交基上的分量( 与滤波)
正交矩阵的列(或任何标准正交向量组)做投影时有一个极大的简化:不需要解任何方程,坐标就是内积。本题用具体数字把这件事走完,并解释为什么它在信号处理里叫「滤波」。
取 的一组标准正交基
第 1 步:验证这确实是标准正交基。
三对点积全为零,三个长度全为 ,故 是正交矩阵()。
第 2 步:把 分解。
设 。因为基是标准正交的,直接取内积(不必解方程组):
验证: ✓(保长性在坐标下的样子:换标准正交基,坐标平方和不变,见 4-4-标准正交基与Gram-Schmidt)。
第 3 步:投影到 与到 。
误差(即到 的投影):
与坐标 完全对应:误差就是「被丢掉的那一个坐标 × 对应的基向量」。
第 4 步:验证正交性与勾股定理。
第 5 步:用 的形式写投影矩阵,并验证 。
到 的投影矩阵(因为是标准正交基,公式里没有 ):
先算两个秩 1 矩阵:
通分到分母 相加:
验证 :
验证 (设 ,则只需验证 ):
对称性使其余元素自动成立( 对称)✓。故 。
验证 :
第 6 步: 就是「滤掉前两个方向、只留第三个方向」的算子。
直接核对: ✓。
于是 ✓,与第 3 步一致。
例题 9 揭示的「标准正交基优势」
若基不正交,求坐标要解一个 方程组(即解 );基一旦标准正交,坐标就是内积,投影就是一串秩 1 矩阵之和:
这就是「保留某些方向、清除其余方向」的滤波器: 是保留部分, 是被滤掉的部分,而 就是「被滤掉的维数」。信号处理、图像压缩(保留前 个奇异方向)、PCA 降维全部用的是这套语言,见 4-4-标准正交基与Gram-Schmidt、7-2-图像压缩与低秩逼近 与 7-3-主成分分析PCA。
例题 10(证明题):、 与 的完整证明
题目:设 是 的子空间(有限维是这里的关键条件)。证明:
(1);
(2);
(3)(即每个 都能唯一地写成 ,、);
(4)若 ,则 (正交补反序)。
证明。
(1) 取 的一组基 (),把它们作为行排成 矩阵 :
的行向量组是 的基,故行满秩:。
对任意 :
最后一步到「」需要一次论证:任取 ,则
(这一步正是定理 4.1.1。)故 ,用秩—零化度定理(见 3-5-四大子空间的维数):
即 。
(2) 分两步:先证 ,再比较维数。
包含关系:任取 ,要证 ,即证 与 中每个向量正交。任取 ,由 的定义( 与 中每个向量正交,)直接得 ✓。由 的任意性,,即 。故
维数相等:把(1)的结论用到子空间 上(注意 本身也是 的子空间,可以直接套用):
两者维数相同且一个包含另一个,故 。
「」与「」的不对称
前者不需要任何有限维假设,也不需要用(1),是纯定义的推论;后者必须用维数相等(或等价地用「有限维」)。在无穷维内积空间里, 不一定成立(只能得到 ,当 不闭时可能真包含)。本题的结论依赖 是有限维——这是「去掉条件会怎样」的一个实例,见下面例题 11。
(3)存在性。设 。取 的一组基 ,再取 的一组基 (后者的个数由 (1) 确定为 )。把这两组基合起来写成一列:
这 个向量整体线性无关。理由:设 ,记左边 (、)。则 ,左边在 里、右边在 里,故 。而对 有 (因为 与 中每个向量正交,特别地与 自己正交),由「」得 ,即
于是 ,也就是 与 ,由两组各自的线性无关得所有 、 ✓。
个线性无关的向量构成 的一组基,于是每个 都能唯一地写成它们的线性组合,即
存在性 ✓。
(3)唯一性。设 ,、。两式相减:
左边 、右边 ,故这个向量 ,于是 、 ✓。故 。
(4) 任取 ,即 与 中每个向量正交。由于 , 中的每个向量都属于 ,故 也与 中每个向量正交,即 。由 的任意性得 ✓。
例题 10 的四句话总结
1. :正交补把维数「补满」(证明方法:把 的基排成行矩阵 ,则 ,用秩—零化度定理)。
2. :正交补是对合的(两次回到自己)。包含方向容易(不用维数),反方向需要维数相等或有限维。
3. :正交补是一个特别的补空间。一般子空间有无穷多个补空间(只要维数相加为 且交集为零),但正交补只有一个。
4. :正交补反序。小空间的正交补大(要求更少),大空间的正交补小(要求更多)。这条在4-2-投影与投影矩阵里解释 时用到。
把(2)用在四个基本子空间上,立刻得到本库最重要的两条对偶关系:
这两条就是定理 4.1.3 与 4.1.4 的另一种写法——「零空间的正交补是行空间」「左零空间的正交补是列空间」。
例题 11(证明题):去掉「有限维」条件会怎样?——对角线例子说明
题目:在平方可和实数列空间
中取子空间
(即「有限支撑」的数列全体)。证明:(1) 是 的子空间;(2);(3),从而例题 10(2) 的结论在无穷维下失效。
证明。
(1) 设 ,即存在 使 时 、 时 。取 ,则 时 ,故 ✓。对任意标量 , 时 ,故 ✓。零元 ✓。 对加法与数乘封闭且非空,是子空间(注意 中有限支撑数列的平方和显然有限,故 成立)。
(2) 设 ,即 对一切 。对每个固定的下标 ,取 (第 位为 ,其余为 )——它只有有限多个非零元(只有一个),故 。于是
故 ,即 ✓。
(3) 由(2),,而零空间的正交补是整个空间(任何向量都与 正交):
而 :例如 满足 ,故 ;但 有无限多个非零项,故 。
(包含关系 依然成立,只是严格包含。)
「去掉条件会怎样」的教训
例题 10(2) 的证明里,「」是纯定义的、永远成立;而反方向靠的是
这一步用了两次数:一次是例题 10(1) 的维数公式,一次是「维数相同 包含 相等」。无穷维时没有「维数相加等于 」这种有限维计数,整条路就断了。
于是 与 的差距恰好衡量了 有多「不闭」:在 里, 是 的闭包的推广(本例中闭包就是整个 )。这个现象在泛函分析里叫「 不是闭子空间」,也是量子力学中「可观测量的定义域要小心」的技术根源。
本库的 全是有限维,所以例题 10 的四条结论永远可用;这里给出反例只是为了说明「定理的适用条件不是装饰」——这也是本库反复强调「定理要给出适用条件」的原因。同样的现象在 1-2-长度与点积 里已经有伏笔:那里用「」定义夹角,靠的也是有限维 上的 Cauchy–Schwarz。
六、应用
(1)最小二乘与数据拟合(第 4.3 节的主线)。 当 无解时, 有非零的左零空间分量。正交分解 把「能达到的部分」与「达不到的部分」分开,而最小二乘解就是让 命中 的那个 。这解释了一条常被误读的事实:最小二乘并不是「让误差变小」,而是把误差强制压进 ——误差向量 必然与列空间正交。
(2)信号处理中的滤波与去噪。 把观测向量分解到「信号子空间」(列空间,由已知的波形基张成)与「噪声子空间」(其正交补)。噪声子空间方法(如 MUSIC 算法)就是利用 这一点:噪声只出现在左零空间方向,因此投影到左零空间可以「看到」噪声并估计其参数。
(3)约束最小化与拉格朗日乘子。 线性约束 要求 落在仿射集 上。由于 ,可行方向与「行空间的法方向」解耦,这是 KKT 条件(Karush–Kuhn–Tucker conditions)中「约束梯度与目标梯度共线」的线性代数原型。
(4)网络流与守恒律(第 10 章)。 对图的关联矩阵 : 的元素是「电位」型向量(顶点上的势), 的元素是「环流」,二者正交意味着环流的总势差为零——能量守恒。这正是电路分析中「基尔霍夫电压定律」的线性代数表述。
(5)统计学中的自由度与投影。 在线性回归中,把观测 投影到设计矩阵的列空间得到拟合值 ,残差 落在 中。自由度分解 直接对应「拟合所占自由度 + 残差自由度」,是 与 检验的代数基础。
(6)数值验证的正交性检查。 在数值代码里,投影之后的误差应当与子空间正交,这是判断实现是否正确的最快手段:
import numpy as np
A = np.array([[1., 2., 3.],
[2., 4., 7.],
[3., 6., 10.]])
b = np.array([1., 2., 4.])
# 最小二乘解与投影
x_hat, *_ = np.linalg.lstsq(A, b, rcond=None)
p = A @ x_hat
e = b - p
print(np.linalg.matrix_rank(A)) # 2
print(A.T @ e) # 三个分量均约为 0 -> e 与 C(A) 正交
print(np.linalg.norm(e)) # 残差长度,即 b 到 C(A) 的距离
# A^T A 的秩与 A 相同,但不可逆(列相关)
print(np.linalg.matrix_rank(A.T @ A)) # 2
print(np.linalg.det(A.T @ A)) # 约为 0(数值上可能是 1e-11 量级)
数值注意
np.linalg.det(A.T @ A)在理论上为 0,浮点运算下常算出 或更小但不为零的数。判断可逆性要看条件数或奇异值,不要依赖行列式是否恰为 0(见第 11 章)。
七、易错点
八个高频错误
1. 把 与 说成正交。 正确的是 、。当 时前者连定义都无法写(不同空间);即使 ,也只有 对称时才偶然成立。
2. 把「正交补」与「补空间」混淆。 任何子空间都有很多补空间(只要维数相加为 、交集为零即可),但正交补只有一个。正交补是补空间中最特殊的一个:它与原空间垂直。
3. 认为 。 应为 (直和,不是并集)。并集连子空间都不是。
4. 忘记 属于每个子空间。 于是 而不是空集;同时,「不过原点的平面」不是子空间,谈不上正交补。
5. 用「基向量互相正交」判定,却只检查了部分组合。 需要所有 对都正交(定理 4.1.1)。只验证 就下结论是错的。
6. 认为 中的 可以换成任意数。 这里 是整个空间的维数()。若 且 ,则 ;正交补是在同一个 里取的。
7. 以为 。 这是把 的列空间与零空间硬凑在一起——两者甚至可能不在同一个 里。正确的两个分解是 与 。
8. 混淆「」与「」。 前者判定 是否有解();后者一般没有意义(空间不对)。 对称时二者恰好等价,容易养成错误直觉。
八、练习题
基础题 1. 设 。求 的一组基与维数,并写出 的平面方程。
基础题 2. 设 。写出 、、、 的维数与基,并验证 与 。
进阶题 3. 设 是 矩阵且 。写出 与 的正交直和分解,说明每个分量的维数,并指出: 的每个向量与 的哪三个向量正交?
进阶题 4. 把 关于 做正交分解(即求出 与 ),并验证勾股定理 。
思考题 5. 证明:若 是 矩阵且 (反对称矩阵),则 什么?(提示:对 ,考虑 。)再证明反对称矩阵的对角元全为 0,且奇数阶反对称矩阵不可逆。
思考题 6. 设 是 的子空间且 。证明 ,并举例说明可以严格小于 。再证明:若 且 ,则 。
思考题 7. 用本篇的结论解释:为什么对任意 ,方程 一定有解?(提示:用推论 4.1.8 说明 。)
九、常见问题 FAQ
Q1:正交和线性无关是一回事吗?
不是。正交 线性无关(若非零向量组 两两正交,设 ,两边与 作内积得 ,故 ),但线性无关 正交: 与 线性无关,夹角 。正交是比线性无关更强的条件,代价是更难构造——这也是 Gram–Schmidt 正交化(第 4.4 节)存在的理由:把任意一组基「矫正」成正交基。
Q2:为什么正交补的维数恰好是 ,而不是更小?
因为「正交」只是 个线性约束。 的一组基给出 个方程 ,这 个方程线性无关(因为 线性无关),所以解空间的维数是 。直观上: 中的每个正交条件「砍掉一维」,砍 刀剩 维。
Q3:投影和正交分解是一回事吗?
本质上是。给定子空间 ,把 分解成 后, 就称为 在 上的投影, 是误差或垂直分量。本篇证明了这样的分解存在且唯一,第 4.2 节则给出怎么算它(投影矩阵 )。所以在逻辑顺序上:4-1 建立「存在唯一性」,4-2 给出「构造与算法」。
Q4:四个子空间的正交关系对复矩阵还成立吗?
成立,但要把转置 全部换成共轭转置 ,把内积换成 。此时四个空间变成 、、、,正交性与维数公式 、、、 完全不变。注意复情形下「对称」的角色由 Hermitian 矩阵()扮演,详见第 9 章。
全篇总结
- 定义:; 要求每一个与每一个正交(验证时只需验证基与基)。
- 正交补:,,,。
- 两条核心定理:、。
- 两个正交直和:、;分解唯一,且可以写成「有效分量 + 被抹掉的分量」。
- 不要写「」;配对只有 – 与 –。
- 通往 4-2 与 4-3:唯一分解给出了「投影」的概念;把 关于 分解,得到的 就是最小二乘的拟合值,而误差 与列空间正交——这正是法方程 的几何来源。
十、内积的公理化、欧氏空间与度量矩阵
本节要解决什么
前面九节用的都是标准点积 。国内教材的做法不同:先把「内积」该满足的性质写成四条公理,再从一个抽象内积出发定义长度、夹角、正交、正交补。这样做的好处是——所有结论一次性对所有内积成立(加权内积、函数空间的内积、概率空间的内积),而不必对每种内积重证一遍。
本节给出:内积四条公理与欧氏空间的定义、由内积导出长度与夹角、柯西—施瓦茨不等式的判别式法完整证明、三角不等式、度量矩阵(Gram 矩阵)的定义与四条性质、标准正交基的等价刻画、正交补与直和三定理、四大子空间与国内教材术语的完整对照表,以及三个配套例题(例题 4、6、7、10 就属于这一节的内容,请配合阅读)。
10.1 内积的公理化定义
定义 4.1.9(内积,inner product)
设 是实数域 上的线性空间。若对 中任意两个向量 ,都按某一法则对应一个实数,记作 ,且满足以下四条公理,则称 为 与 的内积:
(1)对称性(symmetry):对任意 ,
(2)对第一变元的线性性(linearity):对任意 与任意 ,
(3)对第二变元的线性性:由 (1) 与 (2) 自动成立,即
((2) 与 (3) 合起来称双线性性(bilinearity)。不同教材把两条线性性合并为一条「线性性」,以授课教材为准。)
(4)正定性(positive definiteness):对任意 ,
定义了内积的实线性空间 称为欧几里得空间(Euclidean space),简称欧氏空间。
为什么恰好是这四条
每一条公理都对应后面某一步推导的必需品,去掉任何一条都会立刻有结论失效:
| 去掉的公理 | 立刻失效的结论 | 反例 |
|---|---|---|
| 对称性 | 勾股定理 (交叉项变成 ,消不掉);柯西—施瓦茨的判别式法也失效 | 取 (不对称),则 但 |
| 线性性 | 投影公式 (「与 正交」不能化为一个线性方程);正交补不是子空间 | 取 (不正线性), 连加法都不封闭 |
| 正定性(非负) | 长度 可能取虚数;夹角余弦可能大于 | 取 (不定),则 |
| 正定性(等号仅零) | 例题 10 的 ;直和分解的唯一性 | 若存在 而 (「迷向向量」),则 ,交集非零 |
一句话:四条公理不是「数学家为了抽象而抽象」,而是「把点积里真正用到的东西原封不动地留下来」。
本库的两个记号
- :国内教材常用的内积记号(同济版即用方括号),本节与例题统一使用它,以便与国内教材对照。
- :Strang 路线的记号,在本库前九节与第 4.2、4.3 节使用。
在 的标准内积下两者完全一致:。但抽象的 比分量的点积更广: 上任何形如 ( 对称正定)的定义都是内积; 上 也是内积(见 10-4-傅里叶级数与函数空间)。读公式时先确认内积是谁。
10.2 由内积导出长度、距离与夹角
定义 4.1.10(长度、距离、夹角、单位向量)
在欧氏空间 中,对任意 :
长度(length/norm):
距离(distance):
夹角(angle):当 、 时,
单位向量: 的向量;把任意 单位化为 。
为什么夹角公式「有资格」定义
必须落在 内,否则「 存在」这句话就是假的。这个合法性恰好由柯西—施瓦茨不等式保证:
所以 10.3 节的柯西—施瓦茨不等式不是「顺便一提的结论」,而是夹角定义的前置条件——这也是国内教材把它排在正交性之前的根本原因。(1-2-长度与点积 已从「」这一几何事实出发讨论过同一件事;本节从公理出发给出不必依赖几何直观的证明。)
10.3 柯西—施瓦茨不等式与三角不等式(完整证明)
完整证明见上文例题 7(判别式法,含等号条件),三角不等式的证明也在例题 7 中给出。此处只把结论与「证明的三根支柱」再排列一遍,方便背记。
定理 4.1.11(柯西—施瓦茨不等式,Cauchy–Schwarz inequality)
在欧氏空间 中,对任意 ,
等号成立 与 线性相关。
证明的三根支柱:
1. 正定性给出 对一切 成立;
2. 双线性性把 展开成 ;
3. 对称性把交叉项合并成 (少了它就只有 ,无法配方)。
然后对开口向上的二次函数 用判别式法:。等号时 , 有唯一零点 ,由正定性得 ,即线性相关。
定理 4.1.12(三角不等式,triangle inequality)
在欧氏空间 中,对任意 ,
等号成立 非负线性相关(存在 使 ,或其中一个为零向量)。
与柯西—施瓦茨等号条件的区别(易错点):柯西—施瓦茨只要「线性相关」(可以反向),三角不等式要求「同向」。验证:、 线性相关,柯西—施瓦茨取等号( ✓),但三角不等式严格: ✓。
10.4 度量矩阵(Gram 矩阵)
定义 4.1.13(度量矩阵)
设 是 维欧氏空间 的一组基。称 阶矩阵
为这组基的度量矩阵(metric matrix),也叫 Gram 矩阵(Gram matrix)。
在 中,若把基向量按列排成矩阵 ,则 。
定理 4.1.14(度量矩阵的四条性质)
设 是基 的度量矩阵。
(1) 对称:(由内积的对称性公理)。
(2) 正定:对任意 ,。特别地 ,且 可逆。
(3)坐标下的内积与长度:若 、(即坐标向量为 ),则
(4) 这组基是标准正交基。
证明。
(1) ✓(对称性公理)。
(2) 设 ,令 。由于 是基, 只有在全部 时才成立,故 。于是
(第二、三个等号用了双线性性,最后一步用了正定性公理的「」。)故 正定 ✓。正定矩阵的行列式 (全部特征值为正),故可逆 ✓。
(3) 同样展开:
取 (即 )得 ✓。
(4) 「」:若基标准正交,则 ,故 ✓。
「」:若 ,则 ,即两两正交且皆为单位向量,正是标准正交基的定义 ✓。
度量矩阵的三个实用推论
1. 判断一组基是否标准正交,只看 是不是 ——这是国内考试最常见的用法(例题 6 第 4 步)。
2. 换了基,度量矩阵合同变换:若新基 (即 ),则新度量矩阵
这就是「合同」的定义(合同 = 同一个内积在不同基下的度量矩阵),也是第 6 章二次型理论的入口,见 6-5-二次型与标准形。特别地,若 是正交矩阵(即换的是标准正交基),则 ——标准正交性在正交变换下保持。
3. 坐标公式依赖度量矩阵:在非标准正交基下, 的坐标不能用内积直接读出;只有 时才有 。这正是 4-4-标准正交基与Gram-Schmidt 把基矫正为标准正交基的全部动机。
度量矩阵不等于协方差矩阵,但同一个东西
第 12 章的协方差矩阵 的 元是 ——在「随机变量视为向量、协方差视为内积」的观点下, 就是随机变量组 的度量矩阵(见 12-2-协方差矩阵)。于是「 正定 各分量线性无关(没有冗余)」与本节定理 4.1.14(2) 是同一句话:协方差矩阵的对称正定性,就是度量矩阵性质的统计学化身。同理,第 12 章的马氏距离 就是「在 给定的内积下」的欧氏距离(见 12-3-多元高斯与加权最小二乘)。
10.5 正交补与直和(国内写法与证明)
定理的完整证明见上文例题 10,这里给出适用于任何欧氏空间的表述与「三条等价刻画」。
定理 4.1.15(正交补的三条基本性质)
设 是 维欧氏空间, 是 的子空间,。则
(1) 是 的子空间(对加法与数乘封闭,含零向量);
(2) ,即 ;
(3) ,且 (正交直和);每个 有唯一分解
(4) ;且 。
适用条件: 必须有限维((4) 的反方向依赖维数计数;无穷维反例见例题 11)。
「直和」的判定三步(国内考试的标准动作)
要证 (不要求正交),标准做法是:
1. 证 中每个向量都能写成 (存在性);
2. 证 (交集为零);
3. 或者更省力:证 且 (维数相加 + 交集为零 直和)。
正交的情形多送一条:由 ,交集为零自动成立,于是只需检查「正交」+「维数相加」两件事。这就是本库反复说的口诀:「正交 + 维数相加 = 直和」。
10.6 四大子空间与国内教材「解的结构」对照表
本库与国内教材的术语对照(四大子空间版)
这张表把第 3、4 章的核心对象与国内教材(同济版等)的说法一一对上。第 3.5 节的对照表侧重「维数」与「秩」,这里侧重解的结构与正交关系。
| 本库记号 | 本库名称 | 国内教材名称与记号 | 数学对象 | 维数 | 由什么控制 |
|---|---|---|---|---|---|
| 列空间 | 的列向量组的张成 ;也叫值域 | 主元列的个数 | |||
| 零空间 | 齐次方程组 的解空间;其基叫基础解系 | 解集 | 自由变量的个数 | ||
| 行空间 | 的行向量组的张成;也叫行空间 | 行向量的组合 | 主元行的个数 | ||
| 左零空间 | 的解空间;在解方程时给出相容性条件 | 解集 | 消元中被消成零行的行数 |
正交关系的国内写法
本库的两条核心定理(定理 4.1.3、4.1.4)用国内记号写成:
翻译成中文句子:
- 「零空间的每个解向量与 的每一行正交」,而由「与一行组正交 与行空间正交」,得到「解空间 行空间」;
- 「 的每个解向量与 的每一列正交」,得到「 的解空间 列空间」。
用这两种语言各写一遍,就会发现它们说的是同一件事:
左边是国内语言(「解」,一行行看方程),右边是本库语言(「正交」,一列列看空间)。
解的结构定理的正交版本
国内教材的「通解 特解 齐次通解」在本篇的语言里是一次正交直和分解。对输入侧的 :
( 是行空间分量,被 唯一决定; 是零空间分量,即通解里可以任意变动的部分。)
于是「解的自由度」有了几何解释: 的维数就是解可以「自由动」的方向数,而 方向上的分量被 唯一决定(因为 在行空间上是一一映射)。这句话把「 个自由参数」从「数的个数」升级成「几何维度」,也是最小二乘「把 拆成能达到的部分 + 达不到的部分」的同一套逻辑。
输出侧的对应关系同样重要,对右端 :
( 是列空间分量,即「可解的右端」; 是左零空间分量,即「造成无解的那部分」。)
判据: 有解 与 的每个向量正交(推论 4.1.6)。
10.7 补:标准正交基的等价刻画与「坐标 内积」
定理 4.1.16(标准正交基的四个等价说法)
设 是 维欧氏空间 的一组基,。则以下等价:
(1) 两两正交且都是单位向量(标准正交基的定义);
(2) (Kronecker 符号);
(3) 度量矩阵 (在 中即 是正交矩阵);
(4) 对任意 ,坐标可直接用内积读出:,且 。
证明。(1) (2) 是定义的改写;(2) (3) 是定理 4.1.14(4);(3) (4):若 ,则
(求和里只有 的项存活,这是 的全部作用。)再由 ✓。
(4) (2):取 ,它在标准正交基下的坐标是 (这是「基」的含义: 是第 个基向量);由 (4) 的 ,故 ✓。
这条定理为什么是「整章的枢纽」
它把「几何条件(正交 + 单位)」⇔「代数条件( / )」⇔「计算便利(坐标 内积)」三者绑在一起。于是:
- 投影:若 的列标准正交(),则 ,且 ——法方程 退化成一步除法(见 4-4-标准正交基与Gram-Schmidt、4-3-最小二乘逼近);
- 傅里叶级数:函数空间里 的版本就是「正交函数系」,于是傅里叶系数 与内积公式完全一致(见 10-4-傅里叶级数与函数空间);
- 正交矩阵: 就是 为正交矩阵,它的性质(、特征值模为 、保内积与长度)全部是这条定理的推论,详见 4-4-标准正交基与Gram-Schmidt 与例题 8。
10.8 本节三个例题的索引
| 例题 | 主题 | 与本节哪一小节对应 |
|---|---|---|
| 例题 4 | 验证一组公理化的内积,算长度、夹角与度量矩阵,并做施密特正交化 | 10.1、10.2、10.4、10.7 |
| 例题 6 | 非标准内积下的正交补、直和分解与度量矩阵(含勾股定理验证) | 10.4、10.5 |
| 例题 7 | 柯西—施瓦茨(判别式法)与三角不等式的完整证明 + 等号条件 | 10.3 |
| 例题 10 | 、、 的完整证明 | 10.5 |
| 例题 11 | 去掉「有限维」条件后 的反例 | 10.5(适用条件的作用) |
本篇小结
一页纸回顾(分为「Strang 线」与「国内线」两栏,务必都能默写)
A. Strang 线(点积语言,前九节)
- 定义:; 要求每一个与每一个正交(判定时只需验基与基两两正交,定理 4.1.1)。
- 正交补:,,,。
- 两条核心定理:、。
- 两个正交直和:、;分解唯一,可读作「有效分量 + 被抹掉的分量」。
- 绝对不要写「」;配对只有 – 与 –。
- 关键恒等式:,它给出 、。
B. 国内线(公理化语言,第十节)
- 内积四条公理:对称性、双线性性、正定性(,等号仅零向量);配内积的实线性空间叫欧氏空间。
- 由内积导出:,,。
- 柯西—施瓦茨:,判别式法证明(构造 ),等号 线性相关。
- 三角不等式:,等号 非负线性相关(比柯西—施瓦茨的等号条件更强)。
- 度量矩阵:,、 正定、、 基标准正交;换基时 (合同)。
- 正交补三定理:;(有限维);、。
- 术语对照: = 解空间(基 = 基础解系), = 行空间, = 行秩 = 列秩。
C. 两线的接点(最容易考、也最容易混)
- 「」在本库就是「 与 拼满 」;
- 「 可解 」在国内语言里写的是「」,两者互为充要条件;
- 「正交性是相对内积的」——考试里给了内积矩阵就要全程用它;本库第十节与例题 4、6 就是为这件事准备的。
D. 通往下一节
唯一分解定理保证了「投影」的存在与唯一;4-2-投影与投影矩阵 给出怎么算(一维公式、法方程、 的两条刻画),并把「标准正交基的优势」变成 、 这样的具体算法。
相关笔记
- 3-5-四大子空间的维数:本篇的前置,四个子空间的定义、维数公式与求基流程;本篇第十节 10.6 的对照表是那篇第十节对照表的「正交版」
- 4-2-投影与投影矩阵:本篇「唯一分解」的构造性版本,给出投影矩阵 、法方程,以及用度量矩阵 做投影(本题内积非标准)的推广
- 4-4-标准正交基与Gram-Schmidt:施密特正交化的完整算法、正交矩阵的性质(、、特征值模为 、保内积与长度)与
- 1-2-长度与点积:正交与点积的定义、Cauchy–Schwarz 不等式与三角不等式的初等版本(具体点积、判别式法),本篇第十节把同一证法公理化
- 6-4-对称矩阵与正定矩阵:度量矩阵的对称正定性、顺序主子式判据(Sylvester)与二次型的正定理论,是 10.4 节的理论后盾
- 4-3-最小二乘逼近:把本篇的正交分解用于无解方程组的最近解
- 4-3-最小二乘逼近:把本篇的正交分解用于无解方程组的最近解
- 3-1-向量空间:子空间判定与 的基本性质
参考来源
- MIT OpenCourseWare,18.06 Linear Algebra(Spring 2010),Gilbert Strang,第 14 讲 "Orthogonal Vectors and Subspaces":https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/
- Gilbert Strang,Introduction to Linear Algebra,第 5 版,Wellesley–Cambridge Press,第 4.1 节 "Orthogonality of the Four Subspaces"(教材,纸质/电子书)
- Gilbert Strang,Linear Algebra and Its Applications,第 4 版,第 4.1 节 "Orthogonality of the Four Subspaces"(教材)
- 同济大学数学系,《线性代数》,第五章 §1「向量的内积、长度及正交性」、第六章「线性空间与线性变换」(教材)
- SciPy 官方文档,
scipy.linalg.null_space(验证零空间的标准正交基):https://docs.scipy.org/doc/scipy/reference/generated/scipy.linalg.null_space.html - MIT 数学系 Gilbert Strang 教材主页(第 5/6 版配套资源):https://math.mit.edu/~gs/linearalgebra/