4-2-投影与投影矩阵
一句话概括
第 4.1 节证明了任何 都能唯一分解成「子空间分量 + 正交补分量」,但没告诉我们怎么算。本篇给出算法:投影到由 张成的直线的公式
与投影到由 的列张成的子空间的公式(法方程)
并证明投影矩阵的两条刻画性质 、。
本篇覆盖:一维投影的完整推导、 的两条关键性质与「为什么这两条刻画了投影」、一般子空间投影与法方程的推导、 可逆的条件、 也是投影矩阵、一个投影到 中平面的完整数值例题(含 的矩阵、验证 、验证误差正交)、投影在最小二乘中的作用(预告 4-3),以及高维空间中投影的几何图像。
国内教材专题在第十节:施密特正交化的 写法与逐项验证、正交矩阵的定义与五条性质、度量矩阵下的投影公式 (此时 不再对称)、以及四大子空间与国内术语的对照表。
一、定义
1.1 投影的定义(几何定义)
定义 4.2.1(投影)
设 是 的子空间,。由第 4.1 节的唯一分解定理, 可唯一地写成
称 是 在 上的投影(projection),称 是误差向量(error vector)或垂直分量。
若 对一切 成立( 是一个矩阵),称 是到 上的投影矩阵。
等价刻画(「最近点」性质): 是 中离 最近的点。证明:对任意 ,把 拆成 ,其中 、,两者正交,故由勾股定理
等号仅在 时成立。故 唯一地最小化距离。这条性质是「投影 = 最佳逼近」的全部来源,也是最小二乘法的几何基础。
1.2 一维情形:投影到直线
设 , 是一条过原点的直线。设 ,我们要找 ( 是待定标量)使 。
定理 4.2.1(投影到直线)
设 。 在 上的投影为
对应的投影矩阵为
适用条件:(否则 ,公式失效)。注意 是标量、 是 矩阵。
证明(完整)。 设 。要求 与 正交:
展开:。由于 ,,可以除:
故 。
再把它写成矩阵乘向量的形式。注意 是标量,故
(标量可以移到任意位置。)因此 ,且 对一切 成立。
三个值得注意的细节
1. 不是 的分量,而是「 在 方向上的坐标」。当 时 ,即投影长度恰为内积;一般情形要除以 做「归一化」。
2. 是 的秩 1 矩阵(outer product),而 是一个标量。写反了维度就全错——这是本节的经典笔误。
3. 投影矩阵与 无关。 只由子空间决定;同一个 作用于任何 。这一点在下面「 是矩阵」的说法中是关键。
1.3 一般情形:投影到子空间
设 是 矩阵, 是由 的 个列张成的子空间。给定 ,要找 使 。
意味着存在 使 ( 是「组合系数」)。于是问题变成:求 使
定理 4.2.2(法方程 / normal equation)
设 是 矩阵,。 给出 在 上的投影 ,当且仅当
这条方程称为法方程(normal equation)。
适用条件:对任意 都成立(但解可能不唯一,见 4.2.3)。
证明(完整)。 「」按定义是说: 与 中的每一个向量正交。由定理 4.1.1,只需与 的每一列正交,即
把这 个标量方程叠成一个向量方程,左边正是 :
定理 4.2.3( 的可逆性与投影公式)
沿用上面的记号。
(1) 可逆 的列线性无关(即 , 列满秩)。
(2) 当 的列线性无关时,法方程有唯一解,且
(3) 当 的列线性相关时, 不唯一,但投影 仍然唯一(因为投影由 与子空间 唯一决定,与基无关)。
适用条件: 为任意实矩阵;(2) 中的公式要求 。
证明。
(1)由推论 4.1.7,。 是 矩阵,故
(这里「可逆 零空间平凡」对方阵成立。)
(2)列满秩时 可逆,法方程两边左乘 得 。再由 得投影公式;把 写成 的形式即得 (注意 是 矩阵,尽管中间的 是 )。
(3)设 都满足法方程,则 ,即 ,于是
故 唯一。
当 的列线性相关时怎么办
公式 不能再用( 不可逆)。两种处理办法:
1. 剔除冗余列:找出 的主元列组成新矩阵 (列线性无关),对 用公式。因为 ,投影不变。
2. 求「最小范数解」:在无穷多个 中挑长度最小的那个(即落在 中的那个),可由伪逆(pseudoinverse) 给出:,且此时仍有 。第 7 章的 SVD 会给出 的构造。
1.4 投影矩阵的两条关键性质
定理 4.2.4(投影矩阵的刻画)
设 是到子空间 上的投影矩阵,则
(1)幂等性(idempotence):
(2)对称性(symmetry):
反之,任何满足 与 的实矩阵都是到某个子空间上的正交投影矩阵(具体地,到 上)。
证明(1)。 对一切 成立(是投影)。而 中的向量投影到 上还是它自己,即 对一切 。于是对任意 :
故 。
证明(2)。 用 (列满秩情形;一般情形可对主元列这样做,结论相同)。利用转置的规则 ,并注意 对称故其逆也对称 :
反向命题的证明思路(为什么这两条就够)。 设 、,令 。对任意 :
- ✓(投影落在 里)
- :对任意 ,写 ,则
(用了 与 。)故 确实是 在 上的正交投影。
为什么是「这两条」而不是别的
幂等 单独只刻画斜投影(沿某个方向投影到 ,但不是垂直投影);再补上对称性 才把它限制为正交投影。一个典型反例: 满足 (验证: ✓)但 ,它是沿 方向斜投影到 轴的斜投影矩阵,不是正交投影。
实用价值:写程序时用
np.allclose(P @ P, P)与np.allclose(P.T, P)两条检查,就能验证一个矩阵是否为投影矩阵。
1.5 也是投影矩阵
定理 4.2.5(正交补上的投影)
若 是到 上的投影矩阵,则 是到 上的投影矩阵,且 。
证明。
- 幂等: ✓
- 对称: ✓
由定理 4.2.4, 是到 上的投影矩阵。而 正是 的垂直分量,落在 中;反之任何 满足 ,故 。于是 ✓。(也可由维数论证:。)
另外 :先投影到 ,再取垂直分量,结果为零——几何上显然,代数上一行。
一维情形的显式表达式:对 ,,故
这是「去掉 方向分量」的降噪算子:把 中沿 的成分清零。在信号处理中反复作用于一族正交方向 ,就得到投影到 的算子 (当 两两正交时,也可直接写成 )。
二、几何直观
2.1 二维与三维中的投影
投影到直线( 中)。给定过原点的直线 (方向 )与点 。从 向直线作垂线,垂足就是 。垂足把 拆成「沿直线的分量」与「垂直直线的分量」,两者构成一个直角三角形, 是斜边。这就是 、、。
投影到平面( 中)。给定过原点的平面 (法向量 )与点 。从 向平面作垂线(方向沿 ),垂足是 。此时:
- 在平面内, 沿法向量 方向(即 )
- 误差就是「 在法向量上的投影」,而投影 是「 减去这个法向分量」
- 若平面就是 (法向量 ),则
这是一个不用解方程就能写出 的捷径:用过法向量的一次投影即可(下面例题 2 会用列空间的办法算同一个 ,两种做法结果一致)。
投影到 中的直线: 一维、 是平面;此时 是秩 1 矩阵(), 是秩 2 的投影(投影到平面)。
2.2 高维空间中「投影」的图像(文字描述)
在 ()里我们画不出图,但几何直觉可以这样建立:
- 把子空间想成一张「过原点的平板」。 是 的所有列能「够到」的方向张成的平板,维数 就是这张平板的「厚度方向数」。 是直线、 是平面、 是「超平面」(余一维)。
- 投影 = 沿正交方向「垂直落到平板上」。 可以在平板内、可以在平板外、也可以有垂直于平板的分量。垂足 就是投影,落点与 的连线垂直于整张平板(不只是垂直于某一条线)。
- 「垂直于整张平板」= 垂直于平板的每一组基。这就是为什么法方程是 : 的列是平板的基,与每一列正交就与整张平板正交。
- 平板的「影子」与「高度」是正交的两块。 的长度平方等于「影子长度平方 + 垂直高度平方」(勾股定理)。这就是为什么残差平方和与回归平方和可以相加——方差分解的几何本质(第 12 章)。
- 投影矩阵 是「平板」这个几何对象的代数化身。同一张平板无论用哪组基描述( 还是 还是 ), 都不变。这就是 只依赖 而不依赖具体 的含义。
一个实用的「维数直觉」
若 是 且列满秩(),则 是 中的 维子空间,其正交补维数为 。投影把 压到 维平板上,丢掉了 维信息(即误差),这与第 3 章的 完全对应。(高瘦矩阵,如「样本数远大于特征数」)时,丢掉的信息很多,这正是最小二乘必须做投影的原因。
三、性质与定理
3.1 投影矩阵性质汇总
定理 4.2.6(投影矩阵的性质汇总)
设 是到 上的正交投影矩阵,,( 的列是 的一组基)。则
(1) (幂等)
(2) (对称)
(3) ,,故
(4) (矩阵的迹等于子空间的维数)
(5) 是到 上的投影矩阵,
(6) ,且
(7) 特征值只能是 或 ; 的重数为 , 的重数为
(8) 若 (子空间嵌套),则 (投影到小的再投影到大的,结果不变)
(9) 若 ,则 (正交子空间的投影矩阵可加)
(10) 是半正定的:对一切 ,
关键证明。
(3):一方面 对一切 ;另一方面 ,故 。合起来相等。
: 的投影为零 。
(4)用迹的循环性质 :
(把 移到末尾后, 是 单位阵。)再结合(3)的 ,得到 ——幂等矩阵的迹等于秩,这条小结论在很多地方(如自由度计算)非常有用。
(7)设 、。则 ,但 给出 ,故 ,。 可正交对角化(因为对称),且 上 (特征值 1,重数 )、 上 (特征值 0,重数 )。
由此得到一个漂亮的结论:,其中 。任何投影矩阵在适当的正交基下都只是「保留前 个坐标、把后 个坐标清零」——这就是投影的本质,见第 7 章的 SVD 与第 6 章的对角化。
(8)设 是到 的投影,。先证对任意 :
因为 ,而 与 在 上的投影分量相同:把两者都分解成「 分量 + 分量」,注意 (用了 ),故
于是 ,即 。两边转置(用 )得 ✓。(直觉:先投影到大的 再投影到小的 ,与直接投影到 一样——因为 已经「装下」了 。)
(9) 在 上的投影分解为两块之和,因为 时 到两子空间最近的点可以分别求。直接验证 (交叉项由 得 )。这就是下文例题 3 中 能拆成两个秩 1 矩阵之和的原因。
(10)(用了 与 )。等号当且仅当 。
3.2 投影与最小二乘的关系(预告 4-3)
当 无解时(),我们退而求其次:找一个 使 最接近 。由 1.1 节的「最近点」性质,最优的 就是 在 上的投影 ,而 由法方程给出。第 4.3 节将把它用于数据拟合(直线拟合、多项式拟合),并给出残差平方和最小化的完整写法。
三个「量」的层次
- :只依赖子空间(几何对象)
- :还依赖 (给定数据后的结果)
- :还依赖 的具体列(同一子空间的不同基给出不同的 ,但给出同一个 !)
最后一句话很重要:换一组基,系数变了,投影点不变。这就是定理 4.2.3(3) 的内容。
四、计算方法与步骤
4.1 投影到直线( 已知)
- 算标量 与 。
- ,。
- 若还需要 :(逐元素乘外积,除以标量)。
- 验证:、、、。
4.2 投影到子空间( 已知,列线性无关)
- 组装 (,列是子空间的基)。
- 算 ()与 ( 维)。
- 解法方程 (用消元或直接求逆; 较大时先做 QR 更稳,见第 4.4 节与第 11 章)。
- 。
- 若需要 :(; 很大时不要显式构造 ,只算 )。
- 验证:、、。
数值计算的两条实践建议
1. 不要显式求逆。程序中应写
np.linalg.solve(A.T @ A, A.T @ b)而不是np.linalg.inv(A.T @ A) @ A.T @ b;更稳的做法是用 QR 分解或np.linalg.lstsq(它内部用 SVD/QR,能处理列相关的情形)。2. 会放大条件数。,所以原始 病态时法方程更病态。这是第 11 章「为什么不要直接用正规方程」的核心论点。
4.3 投影到「由方程给出的」子空间(超平面)
若子空间由一个方程 给出( 是法向量,子空间 = ),则不必用 ,直接用
理由: 在 上的投影是 ,而到超平面的投影 = 减去法向分量 = 。这条公式在几何、图形学、机器学习(如「去掉某个方向的分量」)中极常用。
五、例题
例题 1(主例题):投影到 中的一个平面,算出完整矩阵
设平面 由两个向量张成:
即 。取 ,求 到 的投影 、 与投影矩阵 。
第 1 步:确认 的列线性无关。
两列不成比例,故 , 可逆 ✓(也可看 ,见下)。
第 2 步:算 与 。
✓,可逆。
第 3 步:解法方程。 ,故
第 4 步:求投影 。
第 5 步:验证误差与子空间正交。
。
误差与 的两条基都正交,故与整个平面正交 ✓。顺便看出 沿 方向——这正是该平面的法向量:,与 平行 ✓。
第 6 步:求投影矩阵 。
先算前两个因子:
再右乘 :
第 7 步:验证 。
第 8 步:验证 (完整算一遍)。
设 。则 ,逐项计算 :
- 第 1 行 × 第 1 列:
- 第 1 行 × 第 2 列:
- 第 1 行 × 第 3 列:
- 第 2 行 × 第 1 列:
- 第 2 行 × 第 2 列:
- 第 2 行 × 第 3 列:
- 第 3 行 × 第 1 列:
- 第 3 行 × 第 2 列:
- 第 3 行 × 第 3 列:
第 9 步:验证 。 直接观察 : 转置后不变(、、)✓ 对称。
第 10 步:其他验证。
应等于 (平面内的向量投影不变):
,其中 是平面法向量:
第 11 步:用「」解释几何。
。这是到 上的投影矩阵。直接检查:
即误差向量正是 到法线方向的投影 ✓。且 、,故 是一个正交分解:
例题 2:同一个平面,换一组基, 不变
仍取 为例题 1 的平面,但换一组基:用 与 ,即
第 1 步: 与 。
第 2 步:解 。
,,故
第 3 步:投影。
——与例题 1 的 完全相同 ✓。
第 4 步: 与 不同。 例题 1 中 ,本例中 。两者不同(因为基不同),但都给出同一个 。可验证它们的差在 ……更准确地说,两者的关系是坐标变换:( 的列是 的列的线性组合),故 ✓ 一致。
第 5 步: 也相同。 理论上 应等于例题 1 的 。验算 元素:
与例题 1 的 一致 ✓。(注意 的第 行第 元素是「 的第 行 × × 的第 行转置」,因为 的第 列就是 第 行的转置。写成 之类的错误在验算时极易发生。)
完整验算(读者可自行核对中间两步):
与例题 1 的 完全相同 ✓。(逐项:第 1 行 × 第 1 列 ;第 1 行 × 第 3 列 ;第 3 行 × 第 3 列 。)
例题 2 的结论
同一子空间的不同基给出不同的 ,但给出相同的投影 与相同的投影矩阵 。 这是「 只依赖子空间」的具体体现,也是第 1.2 节「投影与基无关」的验证。
例题 3:投影到直线(一维情形)
取 、,求 到 的投影与投影矩阵。
第 1 步:标量。
,。
第 2 步:投影。
,
第 3 步:验证误差正交。
, ✓。
第 4 步:投影矩阵。
第 5 步:验证 、、。
显然(矩阵对称)。 ✓。:因为 且 ,
第 6 步:。
✓。
一维情形的通用模板
恒满足 ,因为 。这是一个「不用算具体元素就能验证」的漂亮性质。注意 ——秩 1 投影的迹必为 1。
例题 4(主计算题):用施密特正交化造标准正交基,再做投影与 分解 取
第 1 步:确认三向量线性无关。
按第 1 行展开:
故三向量线性无关,可以做施密特正交化(若行列式为 ,过程中会出现零向量,必须停下来改用秩亏的处理办法,见 4-4-标准正交基与Gram-Schmidt)。
第 2 步:第 1 个向量——直接取,然后单位化。
第 3 步:第 2 个向量——减去在 上的投影。
先算内积:
注意这个 : 已经与 正交,所以这一步「要减掉的部分」恰好是零。为完整起见仍按公式写:
逐项验证正交: ✓; ✓。
第 4 步:第 3 个向量——减去在前面两个方向上的投影。
于是
逐项验证(两个内积都必须为零,一个都不能漏):
单位化:
第 5 步:总体验证——度量矩阵必须是单位阵。
把三个单位向量按列排成 ,计算 (这就是「度量矩阵」,见第十节):
逐个算(对称性使我们只需算 6 个):
故 ,即 是正交矩阵, 是 的一组标准正交基 ✓。
第 6 步:写出 分解( 的对角元就是各步的长度)。
施密特过程的系数关系是
代入数值:
验证 的第 3 列(最容易出错的一列):
用 交叉验证(见 4-4-标准正交基与Gram-Schmidt):
第 7 步:用标准正交基做投影(法方程退化为一步除法)。
取 ,求它在 上的投影。因为三列线性无关(),,投影就是 自己;但用坐标公式走一遍能看清结构:
这就是 的威力:若列标准正交,法方程 变成 ,不需要求逆、不需要消元。核对方程 :
再取一个真正需要投影的 :,求它在 (即 的前两列张成的平面)上的投影。
更清楚地写:
直接验证 ,故 ✓。误差恰好是 方向的分量(与例题 1 的结论一致:误差就是被丢掉的那个坐标乘对应的基向量)。
验证误差与平面正交:
勾股定理核对:,而
例题 4 的三条要点
1. 施密特正交化的每一步都要「减掉前面所有的投影」——本题第 4 步要减两次( 与 各一次)。少减一次得到的向量就不正交,而 会立刻暴露错误。
2. 的对角元是各步的长度:。这给出一个漂亮的验算 (行列式的绝对值 = 平行体的体积 = 各步「新增高度」之积,见 5-3-克莱姆法则与体积)。
3. 一旦造出来,投影就变成内积:、。这就是为什么数值上做最小二乘要用 QR 而不是直接解法方程(见本篇第十二节与 4-3-最小二乘逼近)。
例题 5(主计算题):对矩阵的列做施密特正交化,写出 分解并验证
设
三列记为 。
第 1 步:先算 (后面验算要用)。
逐项算 :
- ,,;
- ,,。
是否非零?按第 1 行展开:
故 的三列线性无关,,可以做施密特正交化 ✓。
第 2 步:第 1 列。
第 3 步:第 2 列——减去在 上的投影。
验证 :
第 4 步:第 3 列——减去在 、 上的投影。
逐项算:
(,因为 。)
逐项验证 与前面两个正交:
第 5 步:写出 与 。
注意 是 的「长矩阵」: 但 。 是 的秩 3 投影矩阵,投影到 。
验证 (三个对角元与三个非对角元):
第 6 步:验证 的每一列。
第 1 列: ✓。
第 2 列:
第 3 列:
(注意 ,这一步的通分是本题最容易算错的地方。)
第 7 步:验证恒等式 。
逐项:
- : ✓(与 的 一致)
- : ✓(,一致)
- : ✓(,一致)
- : ✓(,一致)
- : ✓(,一致)
- : ✓(,一致)
为什么必然相等: 且 ,故
的两条用途
1. 验算工具:不必做矩阵乘法就能核对 是否算对。本题 已在第 1 步算出,直接对照即可——这比逐列验算 快得多。
2. 数值意义:法方程 可以改写成 ,两边左乘 得
这是一个上三角方程组,回代即可解,且条件数从 降到 。这就是「用 QR 做最小二乘比直接解法方程稳定」的全部理由(见 4-4-标准正交基与Gram-Schmidt 与 11-2-范数与条件数)。
例题 6(计算题):正交矩阵的五条性质逐条数值验证
先看一个不是正交矩阵的反例,再看一个是的。
第 1 步:反例—— 与「特征值模为 」都不够。
设
三列分别是 、、。算内积:
不是正交矩阵 ✗:三列两两不正交(内积都是 ),长度也不是 (都是 )。但注意它的行列式:
不是 ,所以这个例子还没展示出「 但不正交」的陷阱。补一个更尖锐的例子:
若 正交,则必须 ,但 , ✗。故 推不出正交 ✓(这正是本节要提醒的陷阱)。
改动系数不是正交化的正确办法
有人会试着「把 的某一列减去另一列」来凑正交,例如 (把第 3 列减去前两列)。检查 的第 1、3 列: ✗ 仍不正交。
通用做法只有施密特正交化(或 Householder 变换)。凡是涉及正交化,都走例题 4、5 的标准流程,不要手凑系数。
第 2 步:正例——一个真正的正交矩阵。
三列:、、。
故 ✓, 是正交矩阵。注意第 2 列带负号: 也是单位向量(长度 ),正交性不受符号影响——正交矩阵的列允许带任意正负号。
性质一:。
故 , ✓。求逆的运算量从 降到零——转置只是换个读法。
第 3 步:性质二——。
按第 1 行展开(只有 非零,符号 ):
一般证明:由 取行列式,
本题 ,说明 含反射成分(它把 、、,其中「」那一步改变了定向)。
第 4 步:性质三——特征值的模为 。
按第 1 行展开(三项的符号依次为 ):
故特征方程 ,即 。三个根:
验证模:
顺便验证 :
与第 3 步的 一致 ✓。
一般证明:设 、。由 保持长度(下一条),
由 得 ✓。注意这个推理的依赖链:特征值模为 是「保长度」的推论,而「保长度」是 的推论。顺序不能反——这也是为什么「特征值模为 」只是必要条件(反例: 的特征值是 ,但它不正交)。
第 5 步:性质四——保持内积与长度。
取 、。
长度:
内积:
一般证明(一行): ✓。取 即得保长度 ✓。
第 6 步:性质五——正交矩阵的乘积与逆仍正交。
取另一个正交矩阵
(三列是 、、,两两正交且都是单位向量 ✓。)
逐行算( 的每行与 作组合):
- 第 1 行
- 第 2 行
- 第 3 行
验证它正交:
一般证明: ✓。
逆的正交性:由 与 得 也正交 ✓。
第 7 步:性质汇总表(附「是否为充分条件」的判断)。
| 性质 | 表述 | 与 是否等价 | 本题验证 |
|---|---|---|---|
| 1 | , | 是(定义) | ✓ 第 2 步 |
| 2 | 否(必要条件,非充分) | ✓ | |
| 3 | 特征值的模为 | 否(必要条件,非充分) | ✓ 与 |
| 4 | 保内积与长度:、 | 是(保长度 正交,见 [[4-4-标准正交基与Gram-Schmidt]] 的极化恒等式) | ✓ 第 5 步 |
| 5 | 、 仍正交 | 是(正交矩阵构成群) | ✓ 第 6 步 |
| 6 | 列(行)构成标准正交基 | 是(定义的重述) | ✓ 第 3 步 |
| 7 | 把标准正交基映为标准正交基 | 是(由 4、6 得) | ✓ 由第 5 步得 |
例题 6 的核心结论
正交矩阵的全部性质都从 出发,只有它才是判据;而 、特征值模为 都是推论(必要不充分)。考试里常见的陷阱是给一个 的矩阵问「是不是正交矩阵」——必须回去算 (第 1 步的 就是标准反例)。
另一条要记住的是保内积:由 ,正交变换不改变任何「由内积定义的量」——长度、距离、夹角、投影、最小二乘残差。这正是数值线性代数偏爱正交变换的根源(数值稳定性,见 11-1-数值稳定性与LU)。
例题 7(国内风格计算题):投影矩阵与正交矩阵的区别——把 与 放在一起看 设
第 1 步:算 与投影矩阵 。
✓,可逆,。
第 2 步:验证 (幂等)与 (对称)。
显然对称 ✓(、、)。设 ,验证 :
故 , ✓。两条刻画性质都满足, 确实是正交投影矩阵。
第 3 步:算 与特征值。
特征值:由 知 ;再由 ,特征值 的重数为 、 的重数为 ✓。验证 ( 不可逆):
故 , 不可逆(因为 ,存在非平凡的零空间)。
第 4 步:用 的列做施密特正交化,得到 ;并补成方阵。
验证 : ✓。
是 的长矩阵(,但 )。要想得到方阵且是正交矩阵,必须补上第三列——即 的方向。求 的法向量:,单位化:
验证它同时与前两列正交:
于是 是 的正交矩阵 ✓。
第 5 步:用 重算 ,验证与第 1 步一致。
与第 1 步完全一致 ✓。(这再次印证例题 2 的结论: 只依赖子空间,用哪组基算都一样。)顺便 ,因为 张成 :
第 6 步: 与 的全面对照。
| 对比项 | 投影矩阵 () | 正交矩阵 () |
|---|---|---|
| 定义式 | ||
| 幂等性 | ✓ | 一般 |
| 对称性 | ✓ | (一般) |
| 可逆性 | 不可逆(,除非 ) | 可逆() |
| 特征值 | 只能是 或 | 模为 (可为复数) |
| 对长度的作用 | 缩短: | 不变: |
| 对幂的作用 | 对一切 | 一般 ,但仍是正交矩阵 |
| 零空间 | (非平凡,维数 ) | |
| 典型用途 | 最小二乘、降维、滤波 | 坐标旋转、 分解、SVD |
最容易混的两句话
「 且 」与「」是完全不同的条件。
- 幂等 + 对称 是投影(把空间压到子空间上,丢信息);
- 是旋转/反射(不丢信息,保长度)。
一个最快的分辨方法是能不能算逆: 一般不可逆(), 一定可逆()。
判据速记:看到 想「投影、不可逆、特征值 、 秩」;看到 想「旋转反射、可逆、、保长度」。
另外要分清形状: 是 列满秩时, 是 (方阵), 是 (长矩阵);只有当 时 才是方阵、才是名副其实的「正交矩阵」。
例题 8(证明题):投影矩阵的三条结构性质——、、
题目:设 是 列满秩矩阵,。证明:
(1) 对一切 成立;
(2);
(3);
(4)对任意 :。
证明。
(1) 任取 ,按定义存在 使 。代入:
(中间用了 。这要求 可逆,即 列满秩。)几何意义:已经在子空间里的向量,投影之后还是它自己。
(2) 分两个包含。
:任取 ,存在 使
括号里是一个 维向量,故 是 的列的线性组合,即 ✓。
:任取 ,由(1),说明 是 的像,故 ✓。
两向包含给出 ✓。
(3) 先证 。
:设 ,则
故 ✓。
:设 。用下面的关键恒等式(它把 的二次型化成 的二次型):
记 。由于 正定(推论 4.1.7 保证 ,对称 零空间平凡 正定),其逆 也正定,故
而 给出 ,于是
两向包含给出 ✓。再由本篇定理 4.1.4 的结论 得 ✓。
(4) 「」:若 ,由(1) ✓。
「」:若 ,则 是 的像,由(2) ✓。
例题 8 的用途:把「投影」与「解方程」连起来
(4)说明 是「 已经落在子空间里」的判据—— 是一个「投影后不变」的检测器。立即可用的推论:
而 恰好是最小二乘的拟合值。所以方程可解时,「最小二乘解」与「精确解」给出同一个 (残差为零);不可解时残差非零,且 正是「超出列空间的那部分」。
再配合(3): 的零空间就是左零空间,这也是「 投影到 」的另一种说法(定理 4.2.5)。
最后提醒一个去掉条件会怎样的问题:若 的列相关( 不可逆),公式 失效,但结论(2)(3)(4)仍成立——只要把 换成它的主元列 ()即可。投影矩阵本身只依赖子空间,所以它「不怕列相关」;怕的只是那个求逆公式。
例题 9(证明题):与投影矩阵可交换的矩阵——可交换性、不变子空间与分块对角
题目:设 是 上的投影矩阵(、)。证明:
(1) 与 可交换,且 ;
(2)对任意与 可交换的矩阵 (即 ), 保持 与 不变(即 、);
(3)举反例说明: 与一般的对称矩阵不一定可交换。
证明。
(1)
故 ,即 与 可交换,且乘积为零。
(这条结论在「先投影到 再投影到 」的讨论里是关键前提:只有当两个投影矩阵可交换时,复合才是投影;否则 连幂等都不满足。见 3.1 节性质 (8)(9)。)
(2) 设 。
保持 :任取 ,即存在 使 。则
右边是 作用于向量 的像,故 ✓。
保持 :任取 ,即 。则
故 ✓。
(3) 取
不可交换 ✓。几何解释: 把 轴()映到 轴(),不保持这两个子空间——这正是(2)的逆否命题:不可交换 不保持。
例题 9 揭示的结构:投影把空间「分块」
三条结论合起来说:「与 可交换」「同时保持 与 不变」。在适当的正交基( 的标准正交基 的标准正交基)下,这样的 是分块对角的:
而 在这个基下就是 ——投影矩阵把空间「分块」,可交换的矩阵必须尊重这个分块。
这条结论在第 6 章「对称矩阵可正交对角化」与第 8 章「不变子空间」里会反复出现(见 8-3-相似矩阵与基变换)。
一个立即可用的特例: 自己、、(反射矩阵,见练习题 5)都与 可交换,它们分别对应「保留」「清零」「翻转」三种操作,且都是 的多项式。 的多项式一定与 可交换——这是(2)的一个免费推论。
例题 10(主计算题,非标准内积):度量矩阵 下的投影——算出的 竟然不对称 设
内积定义为 。求 在 上的投影(在 内积下)、投影矩阵 ,并验证 而 。
第 1 步:验证 对称正定(否则不是内积)。
✓。顺序主子式:、 ✓。故 正定, 确实是内积。
第 2 步:算 与 。
✓ 可逆( 列满秩, 正定)。
第 3 步:解法方程 。
第 4 步:验证误差与 在 内积下正交。
误差在 内积下与子空间正交 ✓。
但在标准内积下它不正交****
所以这个投影不是「通常意义下的垂直投影」,而是一个斜投影(垂直于子空间的方向由 决定,不由欧氏几何决定)。这正是 10.4 节强调「投影必须说明是哪个内积下的投影」的原因。
顺带对比:标准内积下 在 轴上的投影是 (因为 ),与这里的 完全不同。
第 5 步:写出投影矩阵 。
验证 :
第 6 步:验证 (幂等仍成立)。
(也可以从 出发做一般验证:(3) 的证明给出 对任何正定 都成立。)
第 7 步:验证 (对称性失效)。
关键观察: 幂等但不对称——这与本篇定理 4.2.4(「 且 刻画正交投影」)矛盾吗?不矛盾!定理 4.2.4 是在标准内积下陈述的;换了内积,「正交」的含义变了,刻画条件也跟着变。正确的说法是 10.4 节的 (4):
验证:
且 确实对称 ✓( 与 元都是 )。
第 8 步:验算其余性质。
特征值:由 知 ; 给出 的重数为 、 的重数为 ✓。求 的零空间:解 ,即 ,得
( 表示在 内积下的正交补。)验证它与 在 内积下正交:
在标准内积下它不正交:——这再次说明「零空间 」这条结论也必须指定内积。
第 9 步:与标准内积的结果对照(一张表看清差别)。
| 对比项 | 标准内积() | 本题的 内积 |
|---|---|---|
| 法方程 | ||
| 的值 | ||
| 投影 | ||
| 误差 | ||
| 与 的标准内积 | ✓(正交) | ✗ |
| 与 的 内积 | ✓ | ✓ |
| 投影矩阵 | (对称) | (不对称) |
| 对称性条件 | ||
| 的正交补 | 轴 | |
| 几何名称 | 正交投影(垂直投影) | 斜投影(垂直于 的方向由 决定) |
例题 10 的三条结论
1. 投影公式必须带上内积:。 时退回熟悉的形式;一般情形下 成对出现(法方程两边各一个 )。
2. 幂等性 与内积无关(它只依赖「投影两次 = 投影一次」的几何事实),但对称性与内积有关。这就是为什么「 且 」只在标准内积下刻画正交投影;一般内积下的刻画是「 且 」。
3. 「」也要指定内积:本题 ,而标准内积下的正交补是 轴。两个不同的子空间,但维数相同(都是 )——维数公式与内积无关,具体方向与内积有关。
应用提示: 就是加权最小二乘的权重矩阵(更常见的是取 , 是第 个观测的精度)。此时法方程 就是对精度高的数据点给更大权重。 不对称这件事在统计上是有实际意义的:它说明加权最小二乘对「拟合值」的作用不是简单的正交投影,而带有「把低精度点往高精度点方向拉」的斜向效果(见 12-3-多元高斯与加权最小二乘)。
六、应用
(1)最小二乘与数据拟合(第 4.3 节)。 给定数据点 ,要拟合直线 ,把方程写成 其中 的第 1 列全为 1、第 2 列为 。一般无解(点不在同一直线上),投影给出最优的 。本篇的 就是把观测向量投影到「所有直线构成的二维子空间」上的算子,残差 就是拟合误差,且 保证了「误差与自变量不相关」。
(2)信号处理中的干扰抑制。 若已知干扰方向 (如 50 Hz 工频干扰的模板),用 作用于信号即可完全去掉该方向的分量而保留其余成分。这就是自适应滤波(adaptive filtering)与波束形成(beamforming)中「零陷」的线性代数原理。
(3)统计中的回归与方差分解。 把观测 分解为拟合值 与残差 ,两两正交给出
这就是总平方和 = 回归平方和 + 残差平方和(SST = SSR + SSE),(去均值后)。统计学里最重要的方差分解,本质是一条勾股定理。
(4)图形学与机器学习的降维。 把高维数据投影到低维子空间(如 PCA 的主子空间,第 7 章)以压缩或可视化;投影矩阵的秩就是保留的维数,误差的范数就是丢失的信息量。图像压缩中「保留前 个奇异方向」等价于「投影到 维子空间」。
(5)数值求解与预条件。 迭代法中常用「投影到 Krylov 子空间」的思路(如 GMRES、共轭梯度,第 11 章):每一步在当前子空间里找使残差最小的解,其数学结构与法方程完全一致。
(6)代码实践。
import numpy as np
A = np.array([[1., 1.],
[1., 0.],
[0., 1.]])
b = np.array([1., 1., 1.])
# 法方程(小规模可用;大规模请用 lstsq 或 QR)
AtA = A.T @ A
x_hat = np.linalg.solve(AtA, A.T @ b)
p = A @ x_hat
e = b - p
print(x_hat) # [0.66666667 0.66666667]
print(p) # [1.33333333 0.66666667 0.66666667]
print(A.T @ e) # 约 [0, 0] -> 误差与 C(A) 正交
print(np.trace(P := A @ np.linalg.inv(AtA) @ A.T)) # 2.0,等于 dim C(A)
print(np.allclose(P @ P, P), np.allclose(P.T, P)) # True True
print(np.linalg.lstsq(A, b, rcond=None)[0]) # 与 x_hat 一致
# 用 I - P 去掉某方向分量
a = np.array([1., 2., 2.])
Pa = np.outer(a, a) / (a @ a)
print(np.allclose(Pa @ b, (b @ a) / (a @ a) * a)) # True
数值提醒
上面的例子用
np.linalg.inv只为演示 的构造;实际计算中应使用np.linalg.lstsq(基于 SVD)或 QR 分解,避免 条件数平方带来的精度损失(见第 11 章)。当 很大时更不要显式构造 的 ——只需 。
7.4 两种投影的对照 直线投影(秩 )与子空间投影(一般情形)是同一件事的两个层次,对照如下:
| 对比项 | 投影到直线(方向 ) | 投影到子空间( 的列空间) |
|---|---|---|
| 目标 | 在 上找离 最近的点 | 在 中找离 最近的点 |
| 投影点 | ||
| 投影矩阵 | ||
| 是否需要求逆 | 不需要(分母是标量) | 需要 ,是 的逆 |
| 的秩 | ||
| 与 | 都成立 | 都成立 |
| 误差正交于 | ,即 | |
| 失效条件 | 的列线性相关( 不可逆) |
把直线投影看成子空间投影的特例
取 (把向量当作只有一列的矩阵),则 是 矩阵,
代入 立刻得到 ——与直线投影公式完全一致。
这说明两套公式不是两个知识点,而是同一个公式在 时的退化情形。
七、易错点
十个高频错误
1. 把 与 搞混。 前者是标量(长度平方),后者是 矩阵(秩 1)。投影矩阵公式里分母必须是标量 ,分子必须是矩阵 。写反了维度直接报错。
2. 忘记投影子空间必须过原点。 子空间一定含 ;「不过原点的平面」不是子空间,投影到它需要先平移到过原点(这引出「带截距的回归要先中心化」)。本篇所有公式都假定 过原点。
3. 只验证误差与「某一列」正交就下结论。 必须与 的每一列正交,即 。这就是法方程的全部内容。
4. 把 当作投影。 是系数(在 中),投影是 (在 中)。两者维度都可能不同,物理意义也不同(一个是「参数」,一个是「拟合值」)。
5. 认为投影矩阵一定可逆。 除 (此时 )以外, 都不可逆(有非平凡零空间 )。 的特征值是 与 ,(除非 )。
6. 用 而不检查 的列是否线性无关。 列相关时 奇异,公式失效(会报奇异矩阵错误或给出垃圾结果)。必须先检查秩,或改用主元列/伪逆。
7. 混淆 与 的几何意义。 投影到 , 投影到 。在最小二乘里, 是拟合值、 是残差;写反了会得到「残差等于拟合值」的荒唐结论。
8. 以为投影矩阵是唯一的。 由子空间唯一确定(同一子空间给同一个 ),但子空间的基不唯一,所以 有无数种选法;好在 与 的选取无关(例题 2 就是证据)。若算出的 随换基而变,说明算错了。
9. 忘记 意味着「投影两次 = 投影一次」。 这不是显然的,而是几何事实的代数表达:已经在 里的向量再投影还是它自己。检验 是否算对, 是最快的判据。
10. 认为「 是多余的」。 去掉对称性后 只给出斜投影(见 1.4 的反例)。正交投影 = 幂等 + 对称,缺一不可。
八、练习题
基础题 1. 设 、。求 在 上的投影 与投影矩阵 ,并验证 、。
基础题 2. 求 在平面 上的投影(提示:用 或直接取 的形式,两种做法结果应相同)。
进阶题 3. 设 。判断 的列是否线性无关;若相关,找出主元列 ,并用 求投影到 的矩阵 ,验证与用 算出的 一致(可用 的伪逆)。
进阶题 4. 设 是到直线 的投影矩阵, 是到直线 的投影矩阵。计算 ,说明它是投影矩阵(投影到什么子空间?),并验证 、 是否成立。
思考题 5. 证明: 是投影矩阵 满足 且 (即 是「反射矩阵」,正交矩阵)。再解释 的几何意义: 是 关于子空间 的镜面反射。
思考题 6. 设 是投影矩阵。证明:对任意 ,,等号当且仅当 。(提示:用勾股定理与 。)
思考题 7. 设 是 列满秩矩阵,。证明 ,并说明为什么 (当 时)。再证明 的 个非零特征值全为 。
九、常见问题 FAQ
Q1:为什么投影要求 与子空间正交,而不是与某个向量正交?
因为我们要的是「 中离 最近的点」。若误差只与 中某个向量正交,就可以在 内沿另一方向移动 来进一步缩短距离(移动量在该方向上的分量不为零)。只有当误差与 中所有方向都正交时,任何移动都会增加距离(由勾股定理,移动量成为斜边的另一条直角边)。所以「正交」是「最近」的充要条件。
Q2: 为什么不是「显然」的?
因为它混合了两个不同层次的陈述:「 落在 里」是几何事实,而「对 中向量投影不变」是投影的定义性质。把两者合起来才有 。代数上验算 需要展开 ,中间出现 才会消掉——这一步依赖 可逆,也就是列线性无关。
Q3:投影矩阵会不会很大,计算上不划算?
会。 是 的;(百万样本)时显式存 需要 个数,完全不可行。所以实践中从不显式构造 ,而是:先解 的法方程( 是特征数,通常远小于 )得到 ,再算 。整个过程的代价是 量级,而不是 。本篇给出 是为了理解结构与性质,不是为了直接算。
Q4:投影与「正交化」(Gram–Schmidt)有什么关系?
关系非常直接。Gram–Schmidt(第 4.4 节)的第 步就是「把 减去它在前面 个向量张成子空间上的投影」。用本篇的记号:若 由前 个已正交化的向量组成,则新的正交方向是
所以「正交化 = 反复做投影并把投影分量减掉」。理解了投影,Gram–Schmidt 就只是它的迭代应用;理解了 ,也就能立刻看出「减掉的投影再减一次是零」()。
延伸:加权最小二乘(weighted least squares)还是投影吗
是,但内积变了。若误差的权重矩阵为 (正定),则「最近」应在 内积 下衡量,此时法方程变为 ,投影矩阵为 。注意这个 不是对称的(它是对 内积的「正交」投影,对普通内积而言是斜投影)。这解释了为什么加权最小二乘的 不再满足 ——对称性依赖于所用的内积。详见第 12 章。
全篇总结
- 一维:,;推导的唯一依据是「误差 子空间」。
- 一般情形:误差 等价于 ,即法方程 。
- 投影公式:,要求 的列线性无关( 可逆);列相关时投影仍唯一,但 不唯一。
- 两条刻画性质: 与 (幂等 + 对称 = 正交投影)。
- 正交补: 是到 的投影; 就是 的算子版本。
- 几何本质:投影 = 最近点 = 勾股定理 = 方差分解;投影矩阵在适当的正交基下只是「保留前 个坐标」的算子。
- 通往 4-3:把投影用到无解的 上,就得到最小二乘解 ;误差 属于 ,与列空间正交。
十、施密特正交化的 写法
本节要解决什么
上面九节与例题 4–9 已经把「投影怎么算」讲完了。但国内教材(同济版等)把这件事分成两半讲:先用施密特正交化把一组基「矫正」成标准正交基,再用正交矩阵的性质推出「标准正交基下投影 = 内积」。本节把这条路线补全,并用统一的内积记号 重写一遍公式,方便与国内教材逐行对照。
本节内容:施密特正交化的国内标准公式与逐项验证、正交矩阵的定义与五条性质(含完整证明)、正交补的三条结论、度量矩阵下的投影公式 (此时 不再对称)、以及四大子空间与解的结构对照表。
10.1 施密特正交化的国内写法
定理 4.2.7(施密特正交化,Schmidt orthogonalization)
设 是欧氏空间 的一组线性无关向量。按下面的递推式构造:
则 两两正交且都非零。再令
得到一组标准正交基 。
适用条件:输入的 必须线性无关。否则某一步会得到 (分母为零,无法单位化)——这时说明输入向量组相关,应跳过该列或改用带列主元的算法。
与 Strang 写法的区别:本库第 4.4 节用的是「先单位化再减投影」的写法(用 和 ),国内写法是「先正交化、最后一次性单位化」;两者的差别只在除法何时做,结果完全相同。国内写法的分母 就是「这一步要减掉的方向的长度平方」——记住这个分母,它就是「正交基」与「标准正交基」的差别所在(标准正交基时分母为 ,公式最干净)。
证明(正交性)。 对 归纳。
:把 与 作内积(用双线性性):
归纳步:设 两两正交且非零。对任意 :
由归纳假设, 当 、 当 。故求和里只有 一项存活:
这一步「只有一项存活」正是正交化的全部秘密:因为在构造 时前面的向量已经两两正交,所以 个条件分别独立地由一个系数负责,不需要解方程组。
证明()。 由递推式, 是 的线性组合,且 的系数为 。若 ,则 可以写成 的线性组合(把这一项移到等号另一边并除以 ):
(最后一步用了「每个 都是 的组合」。)这与 线性无关矛盾。故 ,单位化合法 ✓。
手算施密特的三条操作建议
1. 每一步算完立刻验证:把新的 与前面每一个 作内积,必须全为零。这是唯一能在过程中发现错误的地方(算到最后再查就晚了)。
2. 先不单位化,全部正交化完再一次性单位化(国内写法)。好处是 的表达式里只有整数与简单分数,不容易出现根号套根号。
3. 分母 是正数(正定性公理),可以放心除,不必讨论符号。
10.2 正交矩阵的定义与五条性质
定义 4.2.8(正交矩阵,orthogonal matrix)
设 是 阶实方阵。若
则称 为正交矩阵(orthogonal matrix)。
等价刻画: 的 个列向量构成 的一组标准正交基(即两两正交且长度全为 )。此时 的 个行向量也构成一组标准正交基(因为 )。
定理 4.2.9(正交矩阵的五条性质)
设 、 是 阶正交矩阵。则
(1) ,且 、 也是正交矩阵;
(2) ;
(3) 的特征值(可能是复数)的模全为 :;
(4) 保持内积与长度:对任意 ,
(5) 也是正交矩阵(正交矩阵的集合构成一个群,叫正交群 )。
适用条件:全部要求 是实方阵且 。注意 (2)(3) 是必要不充分条件——不能用来判定正交。
证明。
(1) 由 与「方阵的左逆即逆」得 ✓。再看 :
(用了 ,这对方阵成立。)由 与上一步得 也正交 ✓。
(2) 两边取行列式,用 与 :
(3) 设 、( 可能是复数, 可能是复向量)。由 (4) 的保长性(对复向量同样成立,只要把内积理解为 ):
由 (正定性公理)得 ✓。
(4) 直接展开:
取 得 ,开平方得保长性 ✓。
保长性的逆命题也成立(很重要)
若线性变换 保持长度( 对一切 ),则 的矩阵是正交矩阵。证明思路:长度平方是二次型,用极化恒等式
左边由保长性等于 ,于是内积也被保持;取 、 得「列两两正交」,取 得「列长度为 」,即 。详细的等价刻画见 4-4-标准正交基与Gram-Schmidt 定理 4.4.3。
意义:这给出正交矩阵的几何定义——「保持长度的线性变换」与「正交矩阵」是同一件事。于是正交矩阵的几何图像就是旋转、反射及其复合(刚体运动,不拉伸不压缩不改夹角)。
(5)
三个常见误判
1. 判定正交 ✗。反例 :,但 ,长度 ,不保长度,故不正交。
2. 特征值模为 判定正交 ✗。反例 :特征值 (模都是 ),但 ,长度 ,不正交。
3. 「列正交」判定正交 ✗。 的两列正交(内积为 ),但长度是 与 ,,不正交。正交矩阵要求「正交 + 单位」,两者缺一不可——这也是第 4.4 节把「正交基」与「标准正交基」严格区分的原因。
正交矩阵为什么在数值计算里如此重要
由性质 (4),正交变换不放大误差:若 有扰动 ,则 ,误差既不放大也不缩小。这给出两条立即可用的结论:
- 条件数最优:(第 11 章),是所有可逆矩阵中最小的;
- 分解稳定:用正交变换(Householder)做消元不会积累放大误差,而 LU 消元中的初等矩阵会(见 11-1-数值稳定性与LU 与 11-2-范数与条件数)。
这就是「最小二乘用 QR 而不用 」的根本原因(例题 5 第 7 步)。
10.3 正交补与直和(投影语言的版本)
正交补的定义、维数公式 、对合性 与直和分解 的完整证明见 4-1-四大子空间的正交性 例题 10 与第十节 10.5。这里只把与投影直接相关的三条重新列出,因为在投影的计算中它们每一步都要用。
定理 4.2.10(投影中的正交补三定律)
设 是 的子空间, 是到 上的正交投影矩阵。
(1) ,,故 ,;
(2) 是到 上的投影矩阵,且 、;这就是 的算子版本;
(3) 若 ,则 (反序关系 的算子后果)。
证明。 (1)见本篇定理 4.2.6(3)(4)。(2)见定理 4.2.5。(3)见定理 4.2.6(8)。三条的详细证明都在前文,此处只需强调它们与正交补的维数关系是一一对应的:
| 正交补的性质(空间语言) | 对应的算子性质(矩阵语言) |
|---|---|
| 且 | |
| 对一切 | |
10.4 度量矩阵下的投影:内积不是标准内积时怎么办
问题的提出
前九节的内积都是标准内积 。若内积由度量矩阵 (对称正定)给出:
那么「投影」(即「误差与子空间正交」)必须在这个内积下理解,公式要改写。国内教材讲内积公理化之后,这是必然要处理的情形;在应用上它对应加权最小二乘(各数据点精度不同,见 12-3-多元高斯与加权最小二乘)。
定理 4.2.11(度量矩阵下的投影与法方程)
设 是 列满秩矩阵,,内积由对称正定矩阵 ( 阶)给出:。
(1)法方程( 版本): 给出 在 上的投影 ,当且仅当
(2)投影与投影矩阵:
(3) 幂等但一般不对称:,但当 时一般 。
(4)对称性换成「-对称」:正确的对称关系是
也就是说 是对称矩阵。
适用条件: 列满秩(保证 可逆——由 正定与 可得); 对称正定。
证明。
(1) 「 与 在 内积下正交」按定义是对每个 ,。由定理 4.1.1(与基正交即与整个子空间正交,那里的证明只用到内积的双线性性,对 内积同样成立),只需与 的每一列正交:
把这 个标量方程叠成向量方程,左边正是 :
(2) 由(1),。先说明 可逆:若 ,两边与 作标准内积得 。由 正定得 ,再由 列满秩得 ,故 零空间平凡、可逆 ✓。于是
(3) 幂等性:
不对称性:当 时 (一般情形)。具体反例见例题 10。
(4) 直接算:
用 与「 对称故其逆也对称」:
(倒数第二步把 提到左边。)故 ,转置得 ,即 对称 ✓。
用错内积的后果
若内积是 ,却用标准内积的公式 ,会得到一个错的子空间投影——投影方向不再是「-垂直」,而是「普通垂直」。几何上这是把「斜投影」当成了「正交投影」(见例题 10 的具体数字)。
两条记忆锚点:
1. 每条法方程里, 后面都要跟一个 ( 取代 ),总共出现两个 (一个在左,一个在右);
2. 对称性从 变成 ——「-对称」而非「对称」。当 时退回 ✓。
顺带一个特例:若 的列在 内积下已经标准正交(即 ),则 ,且 ——这就是「加权内积下的坐标 = 加权内积」,是例题 4 第 7 步的推广。
10.5 四大子空间与解的结构对照表(投影视角)
| 本库记号 | 国内教材名称 | 本库的「投影」解释 | 维数 | 一句话说明 |
|---|---|---|---|---|
| 列向量组的张成、值域 | 投影的落点空间; 的列空间 | 「 能被 的列组合出来」的方向集合 | ||
| 齐次方程组的解空间(基 = 基础解系) | 的「压平方向」,与行空间正交 | 通解里可以自由变动的部分 | ||
| 的行向量组的张成(行空间) | 输入侧投影的落点空间: 落在这里 | 在这上面是一一映射(有效输入) | ||
| 的解空间(相容性条件) | 最小二乘残差的落点空间: | 「 达不到的部分」所在的方向 |
投影语言下的四条对照关系
用国内语言重述:「 的可解性由 在左零空间方向上的分量是否为零决定」(推论 4.1.6),而「解的自由度由解空间的维数 决定」。两项合起来,一个方程组的所有信息就全了。
一个实用的推论:最小二乘的残差一定落在左零空间里,所以检查残差是否满足 (等价地 )是验证最小二乘程序是否正确的最快手段。第 10 章的图与网络把这件事解释为「基尔霍夫电压定律」(见 10-1-图与网络),第 12 章解释为「残差与自变量不相关」(见 12-3-多元高斯与加权最小二乘)。
10.6 例题索引
| 例题 | 主题 | 与本节哪一小节对应 |
|---|---|---|
| 例题 4 | 施密特正交化( 写法)+ 投影 + | 10.1、10.2、10.3 |
| 例题 5 | 矩阵的 分解与 | 10.1、10.2 |
| 例题 6 | 正交矩阵五条性质的逐条数值验证(含两个反例) | 10.2 |
| 例题 7 | 投影矩阵与正交矩阵的全面对照 | 10.2、10.3 |
| 例题 8 | 、 的证明 | 10.3、10.5 |
| 例题 9 | 与 可交换的矩阵与不变子空间 | 10.3 |
| 例题 10 | 非标准内积(度量矩阵)下的投影, 不对称的具体数字 | 10.4 |
本篇小结
一页纸回顾
A. 三个公式(必须能默写并说明每个符号的维度)
- 一维投影():
- 子空间投影( 列满秩,):
- 标准内积换成 内积(, 对称正定):
B. 两条刻画性质(正交投影 = 幂等 + 对称)
缺一不可:只有 是斜投影(反例 ); 内积下对称性换成 。
C. 投影矩阵的九条性质(速记)
| 性质 | 内容 |
|---|---|
| 幂等 / 对称 | 、 |
| 值域 / 零空间 | 、 |
| 秩与迹 | |
| 特征值 | 只能是 ; 的重数 、 的重数 |
| 可逆性 | 除 外不可逆() |
| 补投影 | 投影到 , |
| 半正定 | |
| 保长度(缩短) | ,等号 |
| 标准正交基 | 若 列标准正交,则 、 |
D. 国内教材线的四个接口
- 施密特正交化:,最后单位化;分母是「长度平方」,标准正交基时分母为 。
- 正交矩阵:判定只有一条 ; 与「特征值模为 」都是必要不充分;核心用处是保内积与长度( 数值稳定,)。
- 正交补:,,(需有限维);投影语言下就是 。
- 术语对照: = 解空间(基础解系)、 = 行空间、 = 相容性条件;最小二乘残差必落在 中。
E. 三条最容易翻车的操作
1. (标量)与 (矩阵)写反——维度立刻错。
2. 误以为 对称是「永远成立」的——换成加权内积( 内积)就不对称了,正确的说法是 对称。
3. 不检查 的列是否线性无关就用 ——列相关时 奇异,必须先取主元列或改用伪逆/QR。
F. 通往下一节:把投影用到无解的 上,就得到最小二乘解 ;残差 与列空间正交——这就是 4-3-最小二乘逼近 的全部内容;而 QR 路线()是它在数值上的稳定版本(4-4-标准正交基与Gram-Schmidt)。
相关笔记
- 4-1-四大子空间的正交性:本篇的前置,唯一分解定理保证投影存在且唯一;第十节的内积公理化、度量矩阵与正交补定理是本节 10.4 节的理论基础
- 4-3-最小二乘逼近:把投影用于无解方程组,得到法方程与数据拟合;残差落在 是那一篇的核心结论
- 4-4-标准正交基与Gram-Schmidt:施密特正交化、正交矩阵的定义与等价刻画、;本篇 10.1、10.2 节是它在投影语言下的重述
- 3-5-四大子空间的维数: 与 的对应,以及 的维数
- 6-4-对称矩阵与正定矩阵: 与度量矩阵 的对称正定性、Sylvester 判据,是 10.4 节可逆性论证的后盾
- 12-3-多元高斯与加权最小二乘:度量矩阵 在统计里就是精度权重矩阵,本篇 10.4 节的公式与加权最小二乘完全一致
参考来源
- MIT OpenCourseWare,18.06 Linear Algebra(Spring 2010),Gilbert Strang,第 15 讲 "Projections onto Subspaces" 与第 16 讲 "Projection Matrices and Least Squares":https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/
- Gilbert Strang,Introduction to Linear Algebra,第 5 版,Wellesley–Cambridge Press,第 4.2 节 "Projections" 与第 4.3 节 "Least Squares Approximations"(教材,纸质/电子书)
- Gilbert Strang,Linear Algebra and Its Applications,第 4 版,第 4.2 节 "Projections onto Subspaces"(教材)
- 同济大学数学系,《线性代数》,第五章 §1「向量的内积、长度及正交性」(教材)
- SciPy 官方文档,
scipy.linalg.null_space(用 SVD 计算零空间,可用于验证 的值域):https://docs.scipy.org/doc/scipy/reference/generated/scipy.linalg.null_space.html - MIT 数学系 Gilbert Strang 教材主页(第 5/6 版配套资源):https://math.mit.edu/~gs/linearalgebra/