4-4-标准正交基与Gram-Schmidt
一句话概括
标准正交基(orthonormal basis)是"最好用的基":向量两两垂直、长度都为 。它带来的最大红利是——坐标不用解方程组,直接用内积算: 在基 下的第 个坐标就是 。列标准正交的矩阵 满足 ,于是 (转置就是逆!),投影与最小二乘的公式全部变简单:、。
那么"怎么把一组普通的无关向量变成标准正交基"?答案是 Gram–Schmidt 正交化(Gram–Schmidt orthogonalization):逐个减去在前面向量上的投影,再单位化。这个过程写成矩阵形式就是 分解, 是上三角矩阵且对角元是各步"剩余向量的长度"。
一、定义
1.1 正交与标准正交
定义 4.4.1(正交,orthogonal)
两个向量 称为正交的,若 ,记作 。零向量与任何向量正交(但零向量不能作为基的一部分)。
定义 4.4.2(标准正交,orthonormal)
一族向量 称为标准正交的,若它同时满足
1. 两两正交:,对一切 ;
2. 长度为 1(单位向量):,即 ,对一切 。
两条可合并为一个式子(Kronecker delta):
orthonormal = orthogonal + normal(normalized,已单位化)。中文教材译作"标准正交"或"规范正交"。注意:"正交向量组"只要求第一条,不要求长度为 1——这一点在比较公式时必须分清。
定义 4.4.3(标准正交基,orthonormal basis)
若 是 维空间 的一组标准正交向量,则它们自动线性无关(证明见定理 4.4.1),因而构成 的一组基,称为标准正交基。
1.2 正交矩阵
定义 4.4.4(正交矩阵,orthogonal matrix)
实方阵 称为正交矩阵,若它的 个列是标准正交的,即
对矩形矩阵()也常沿用这个条件:若 的列标准正交,则 成立,但 (它是秩 的投影矩阵)。此时称 为列标准正交矩阵(matrix with orthonormal columns)。Strang 教材对这两种情形都用同一个字母 ,读公式时要注意 是方的还是长的。
立刻得到一个惊人结论
若 是正交方阵,则由 知 就是 的逆:
求逆的代价从 降到零——转置不需要任何运算,只是换个读法。这是正交矩阵在数值计算中最值钱的性质。
二、几何直观
2.1 标准正交基 = 一把"互相垂直、刻度为一"的尺子
普通的基像一把歪斜的尺子:想读出某个向量的坐标,必须解一个方程组。标准正交基像一把直角坐标尺:每个方向互相垂直、每格正好是 个单位,于是"读坐标"就等于"量投影长度"。
三个典型图像:
- 里的 :最常见的直角坐标轴。
- 里把坐标轴整体旋转 :。轴还是垂直的,刻度还是 ,只是"朝向"变了——这就是旋转矩阵。
- 里把坐标轴重新排列():长度与夹角全不变,只是"谁是一号轴"变了——这就是置换矩阵。
这三类图像正好对应正交矩阵的三大来源:旋转、反射、置换。
2.2 为什么"垂直 + 单位长"能让坐标变得可算
设 。用 左乘两边:
其他项全部被内积"杀掉"了,只剩一项。 这就是标准正交基的全部魔力所在:正交性让交叉项消失,单位长度让剩下那项的系数恰好是 而不是 。
若换成一般的正交(非单位)基 ,同样操作得到 ,于是 ,多了个分母;换成完全一般的基,则内积后出现的是一整组耦合方程,必须解方程组。
2.3 正交变换是"刚性运动"
把 看作对空间的变换。因为 (定理 4.4.3),变换不改变任何向量的长度;因为 ,也不改变任意两向量的夹角。所以:
几何图像
正交矩阵所对应的是旋转、反射以及它们的复合——也就是不拉伸、不压缩、不剪切,只改变朝向的"刚性运动"(rigid motion)。 中 是纯旋转, 是含有一次反射的旋转(镜像)。 中同理。
三、性质与定理
3.1 标准正交向量组线性无关
定理 4.4.1(标准正交向量组线性无关)
若 标准正交,则它们线性无关。
证明。设
两边左乘 :
对每个 都成立,故 ,线性无关。
推论: 中任何 个标准正交向量自动构成一组标准正交基; 个数不能再多(否则必线性相关)。用矩阵语言:若 且 是 ,则 ,故 , 可逆。
3.2 坐标由内积直接给出
定理 4.4.2(标准正交基下的坐标)
若 是 的标准正交基,则任何 可唯一地写成
写成矩阵形式:,其中 。
证明。存在性与唯一性由"标准正交向量组线性无关且个数等于维数"保证( 个无关向量必张成 ,且表示唯一)。
现在把 两边左乘 :
与一般基的对比
- 一般基(列构成可逆方阵 ):坐标要解 ,即 ——要算逆矩阵。
- 标准正交基:坐标是 ——只做 次乘法(矩阵乘向量),不用求逆。
这就是为什么理论推导与数值算法都偏爱标准正交基。
3.3 正交矩阵的等价刻画
定理 4.4.3( 的五个等价说法)
对方阵 ,以下命题等价:
1. (列标准正交);
2. (行也标准正交,两边左乘 右乘 即可互推);
3. ;
4. 可逆且 也是正交矩阵;
5. 对一切 :(保持内积)。
证明(1 ⟺ 5 是核心)。
:
:取 (标准单位向量),左边等于 的第 列 的第 列,右边等于 。故 ,即 。
3.4 保长性
定理 4.4.4(正交矩阵保持长度)
若 ,则对一切 ,
证明。
两边开方(长度非负)即得。
推论:正交矩阵保持一切距离与夹角。对任意 ,
反过来也成立
若某个线性变换 保持长度( 对一切 ),则它的矩阵是正交矩阵。原因是长度平方是二次型:(极化恒等式),左边由保长性等于 ,于是内积也被保持,再用定理 4.4.3 的 即可。
3.5 正交矩阵的其他性质
性质汇总(每条都可快速验证)
1. 行列式为 :,而 (详见 5-1-行列式的性质),故 ,。
2. 两个正交矩阵之积仍正交:。
3. 特征值的模为 :若 且 ,则 ,故 (实矩阵的实特征值只能是 ,复特征值成共轭对落在单位圆上,见 9-2-Hermitian矩阵与酉矩阵)。
4. 的列、行都是 的标准正交基。
5. 不改变内积,因此不改变投影长度、不放大误差: 意味着 ——条件数最理想的矩阵。
3.6 三类例子
例 1:置换矩阵(permutation matrix)
每行每列恰有一个 、其余为 的矩阵。例如
作用: 把 的分量重新排列(这里是 第 2 位, 第 3 位, 第 1 位)。长度、夹角都不变。(偶置换为 ,奇置换为 ;这个 轮换是偶置换,)。
在消元里的角色: 中的 就是置换矩阵,用来做行交换(见 2-5-LU分解与转置置换)。
例 2:旋转矩阵(rotation matrix)
取 时 ,:两个单位基向量被整体转过 ,长度仍为 、夹角仍为 。。
注意:旋转矩阵一般不把"标准"基映到标准基的同一顺序上( 不再映到 ),但它把标准正交基映成另一组标准正交基。
例 3:反射矩阵(reflection matrix)
这是关于直线 的反射(把 ,并把 保持不变)。 表明它含有"镜像"成分——反映了空间的定向(orientation)被翻转。这类"对称正交矩阵"也叫 Householder 矩阵,是数值 QR 分解的主力工具(见第 7 节)。
例 4:不是正交矩阵的反例
这是剪切(shear)矩阵:它把 斜推,长度被改变(,长度从 变成 ),不是刚性运动。
3.7 投影与最小二乘在标准正交基下的大简化 回忆 4-2-投影与投影矩阵 的一般结论:
若 的列标准正交,即 且 ,则 ,逆矩阵整个消失:
定理 4.4.5(标准正交列时的简化公式)
设 的列标准正交(),则
1. 投影矩阵:(且 ,秩为 );
2. 最小二乘解:(无需解方程);
3. 投影向量:;
4. 残差平方和:。
证明。(1) 把 代入 得 。(2) 同理 。(3) 见定理 4.4.2。(4) 由勾股分解 与 。
秩 1 的特别情形(投影到一条直线)
若 是单位向量(),则
是一个秩 的 矩阵;而 是标量。乘法顺序决定结果,这是最容易出错的地方之一。
四、Gram–Schmidt 正交化
4.1 思路:一个一个地"减去前面所有投影"
给定一组线性无关的向量 (通常取某个矩阵的列)。目标:造出一组标准正交向量 ,并且保持每一步的张成空间不变:
这个"不改变张成空间"的条件很重要:它保证 与 的列空间相同,从而投影与最小二乘的结果不变。
递推公式(先用未单位化的 表述):
为什么这样能正交: 与前面每个 的内积是
为什么 :若 ,则 是 的线性组合,即 ,与" 线性无关"矛盾。所以 Gram–Schmidt 要求输入向量组线性无关;若中途出现 ,说明原向量组相关(这时要跳过 ,改用修正版处理秩亏情形)。
定理 4.4.6(Gram–Schmidt 正交化的正确性)
若 线性无关,则上述过程产生的 标准正交,且对每个 有 。
证明(归纳)。
: 是单位向量(线性无关保证 ),且张成同一个一维空间。
归纳假设 标准正交且张成 。
- 正交性:上面已算得 对 ,单位化不改变正交关系,故 与所有前面的 正交。
- 单位长度:。
- 张成相同: 是 减去前面 的线性组合,故 ;又 (否则 该空间,矛盾),所以在加入 后维数从 升到 ,恰好等于 的维数 。
4.2 手算步骤清单
- 写出 (若是矩阵的列,直接取列)。
- 算 (记得开方后化成最简根式)。
- 对 :先算所有内积 (),再算 。
- 单位化:。
- 逐条验证:、。若有一项不对,回到第 3 步重算内积——绝大多数错误出在内积符号或漏减一项上。
- 若还要 ,把内积 与长度 填进 (见下一小节)。
4.3 数值不稳定性与改进
经典 Gram–Schmidt 的数值问题
在浮点运算中,经典 Gram–Schmidt(CGS)算出的 之间会出现"正交性丢失":实际算得的 不是 量级,而可能放大到 倍( 是条件数)。当 与前面的 几乎平行时(例如 , 很小),投影相减会发生灾难性抵消(catastrophic cancellation):两个几乎相等的数相减,有效位几乎全部丢失,剩下的"残余"被舍入误差污染。
改进路线一:修正 Gram–Schmidt(Modified Gram–Schmidt, MGS)
不要在减之前一次性算完所有内积,而是减一次、重算一次:
数学上(精确算术下)与 CGS 完全等价,但在浮点下误差不再被条件数平方放大。MGS 的代价与 CGS 同阶( 次浮点运算),因此实际实现里几乎总是用 MGS 或下一类方法。
改进路线二:Householder 反射(Householder reflection)
不做"逐个投影相减",而是用一串反射矩阵把 直接化成上三角:
其中每个 是正交对称矩阵(有的文献记作 与 ,两者只差约定符号)。Householder 的每个 都精确正交,所以正交性保持到机器精度,是 LAPACK 的 geqrf 以及 numpy.linalg.qr、scipy.linalg.qr 在底层采用的方法。代价:约 次浮点运算,比 MGS 略贵,但数值上更稳。
预告
第 11 章 11-1-数值稳定性与LU 与 11-2-范数与条件数 会给出定量分析:CGS 的正交性误差 ,MGS 与 Householder 则为 的一次方(而不是平方);并且会解释为什么"用 QR 解最小二乘"比"用法方程解最小二乘"更稳——后者的误差被 放大,见 4-3-最小二乘逼近 的警告。
五、 分解
5.1 从 Gram–Schmidt 到矩阵分解
把 Gram–Schmidt 的中间结果反过来写:每个 都能用 表示。具体地,由
解出 ,其中
写成矩阵形式( 列):
定理 4.4.7( 分解)
设 的列线性无关()。则存在唯一分解
其中 的列标准正交, 是上三角矩阵且对角元
若约定 的对角元全为正,则该分解唯一(这称为"薄 QR"或 reduced QR;若允许 为 方阵,得到"完全 QR",此时 为 )。
要点解释:
- 的对角元 是第 步"扣掉前面所有投影后剩下的长度",也就是 到 的距离。这个量在几何上衡量"第 个方向带来了多少新信息"。
- 因为 (线性无关保证), 可逆,。
- 由 取行列式(方阵情形)得 ,而 ,故
这就是 5-1-行列式的性质 里"行列式的绝对值 = 体积"的一个具体算式(把 Gram–Schmidt 看成把平行体"扶正")。
5.2 的元素如何直接读出 只要在 Gram–Schmidt 过程中顺手记录两个量:
| 元素 | 来源 |
|---|---|
| 第 步剩余向量 的长度 | |
| () | 第 步减去的投影系数 |
| () | 恒为 (上三角) |
5.3 用 解最小二乘
由 4-3-最小二乘逼近,法方程是 。代入 :
于是法方程变成 。 可逆时两边左乘 :
这是上三角方程组,用回代即可求解,计算量 。整个流程:
- 对 做 QR 分解( 次运算);
- 算 ( 次运算);
- 回代解 ( 次运算);
- 残差平方和 (若 且 只取前 列,"剩余的 列"贡献了残差,需要用完全 QR 才能用这个公式)。
为什么这样做更稳
一般公式里要构造 并求逆,误差被 放大;QR 路线只用到正交矩阵()与上三角回代,误差被 放大。当数据尺度相差很大(多项式幂基、宽量程传感器)时,这个差别决定结果是否可用。
六、例题
6.1 例题 1: 的 Gram–Schmidt 完整过程
题目
对
的列做 Gram–Schmidt 正交化,求 与 ,并验证 。
第 1 步:取列向量。
三者线性无关(例如 ,且每列长度都是 ,显然不成比例)。
第 2 步:求 。
于是 。
第 3 步:求 。
先算投影系数
再减去投影:
手算小技巧
先把 一次算成一个普通向量(这里是 ),再相减;不要写成"分数套分数",容易错。
长度与单位化:
于是 。
第 4 步:求 。
两个投影系数:
减去两个投影:
先算第二项与第三项:,,两者相加得 。于是
长度与单位化:
于是 。
第 5 步:写出 与 。
第 6 步:验证正交性。
逐对做内积(分母化到 便于心算):
- ✓
- ✓
- ✓
- ✓, ✓, ✓
第 7 步:验证 。
只需检查第 1 列与第 3 列(第 2 列同理):
第 8 步:附带结论。
与 相符()。这也验证了""。
6.2 例题 2:把 QR 用到最小二乘(与 4.3 的例题对照)
题目
用 QR 分解重做 4-3-最小二乘逼近 的直线拟合问题:,,模型 。
解。设计矩阵
对 做"薄 QR"( 为 , 为 )。先正交化两列:
所以
( 的第 1 列是 ,第 2 列是 ;这是一个 的"薄" ,满足 但 。)
现在算 :
回代解 (未知量为 ):
得到 ,与 4.3 中解法方程的结果完全一致。
残差平方和:本题 , 只有 2 列(薄 QR),恰好张成整个列空间 ,所以仍可用
与 4.3 算出的 相符。(关键依据: 且 ,故 ;再用勾股分解 。)
对照小结
| 路线 | 需要求解的方程组 | 误差放大因子 |
|---|---|---|
| 法方程 | | |
| QR | | |
两者数学等价,后者数值更稳;而 的对角元 的乘积 正是 ,与 4.3 中 完全对得上。
6.3 例题 3:用正交矩阵做一次"坐标旋转"
题目
设 ,。求 在 方向上的投影与垂直于 的分量,并说明这组分解为什么"长度守恒"。
解。投影系数 ,投影
垂直分量
校验:;,,, ✓。
若取 ,则 是标准正交基,且
是正交矩阵(,是旋转 )。在新坐标下, 的两个坐标恰是 与 ,而 。这就是保长性在坐标下的样子:换一组标准正交基,坐标平方和不变。
七、应用
7.1 数值线性代数:QR 是"万能工具"
- 最小二乘/回归:,是所有统计软件求解线性回归的底层算法之一。
- 特征值算法:QR 迭代(QR algorithm)反复做 、, 收敛到上三角(Schur 形),对角元给出特征值。这是现代特征值计算的标准方法。
- 正交化与基变换:把病态的幂基 换成正交多项式基(Legendre、Chebyshev),是数值逼近与谱方法的基础。
- 随机化数值线性代数:先乘一个随机矩阵缩小规模,再做 QR 得到近似正交基,用于大规模数据的低秩近似。
7.2 正交基在信号与数据中的角色
| 场景 | 用到的正交结构 |
|---|---|
| 傅里叶级数 | 函数系 在 内积下正交,傅里叶系数由内积给出(见 [[10-4-傅里叶级数与函数空间]]) |
| 离散傅里叶变换 | DFT 矩阵是酉矩阵(复正交),有 ,见 [[9-3-快速傅里叶变换FFT]] |
| 主成分分析 | 用样本协方差矩阵的特征向量(一组标准正交基)重新表达数据,实现去相关与降维,见 [[7-3-主成分分析PCA]] |
| 小波与压缩 | 正交小波基让能量守恒;正交基下"保长性"使量化误差可控 |
| 数值 PDE | 伽辽金方法选正交基可使刚度矩阵变成对角或带状 |
7.3 可运行代码(Python + NumPy / SciPy)
运行环境
以下代码在 Python 3.13 + NumPy 2.3 下验证通过。最后一段需要 SciPy(本库的验证环境未安装 SciPy,该段会走到
except ImportError分支打印提示,不影响其余输出)。numpy.linalg.qr默认返回"reduced"(薄)QR: 为 , 为 ,其底层为 LAPACK 的dgeqrf/dorgqr,即 Householder 方法。
"""qr_gram_schmidt_demo.py —— Gram-Schmidt、QR 与正交矩阵演示
环境:Python 3.13,NumPy 2.3(多装的 SciPy 段可注释掉)
"""
import numpy as np
np.set_printoptions(precision=6, suppress=True)
A = np.array([[1., 1., 0.],
[1., 0., 1.],
[0., 1., 1.]])
# ---------- 1. 手写经典 Gram-Schmidt,与 numpy 对比 ----------
def classical_gram_schmidt(A):
"""返回 Q (列标准正交), R (上三角),逐列减去在前面 q 上的投影。"""
m, n = A.shape
Q = np.zeros((m, n))
R = np.zeros((n, n))
for k in range(n):
v = A[:, k].copy()
for i in range(k):
R[i, k] = Q[:, i] @ A[:, k] # r_ik = q_i^T a_k
v = v - R[i, k] * Q[:, i] # 减去投影
R[k, k] = np.linalg.norm(v) # r_kk = ||v_k||
Q[:, k] = v / R[k, k] # 单位化
return Q, R
def modified_gram_schmidt(A):
"""修正 Gram-Schmidt:减一次、重算一次内积(数值更稳)。"""
m, n = A.shape
Q = np.zeros((m, n))
R = np.zeros((n, n))
for k in range(n):
v = A[:, k].copy()
for i in range(k):
R[i, k] = Q[:, i] @ v # 注意这里用「更新后的 v」
v = v - R[i, k] * Q[:, i]
R[k, k] = np.linalg.norm(v)
Q[:, k] = v / R[k, k]
return Q, R
Q_cgs, R_cgs = classical_gram_schmidt(A)
Q_mgs, R_mgs = modified_gram_schmidt(A)
Q_np, R_np = np.linalg.qr(A)
print("手写 CGS 的 Q =\n", Q_cgs)
print("手写 CGS 的 R =\n", R_cgs)
print("numpy 的 Q =\n", Q_np) # 与手写结果可能差列的符号
print("numpy 的 R =\n", R_np) # R 的对角元可能为负(numpy 不保证正号)
print("Q^T Q - I (CGS) =\n", Q_cgs.T @ Q_cgs - np.eye(3))
print("A - Q R (CGS) =\n", A - Q_cgs @ R_cgs) # 应为 0
print("|det A| =", abs(np.linalg.det(A)),
" prod|diag R| =", np.prod(np.abs(np.diag(R_cgs)))) # 两者相等
print("R 的对角元 = 每步剩余向量的长度:", np.diag(R_cgs))
print("各列的原始长度:", np.linalg.norm(A, axis=0)) # 都是 sqrt(2),与 R 对角元不同
# ---------- 2. 用 QR 解最小二乘(与法方程对照) ----------
t = np.array([0., 1., 2., 4.])
y = np.array([1., 1., 3., 3.])
A2 = np.column_stack([t, np.ones_like(t)])
Q2, R2 = np.linalg.qr(A2) # 薄 QR: Q2 为 4x2, R2 为 2x2
x_qr = np.linalg.solve(R2, Q2.T @ y)
x_ne = np.linalg.solve(A2.T @ A2, A2.T @ y)
print("\nQR 解 =", x_qr) # [0.571429, 1.]
print("法方程解 =", x_ne)
print("R 对角元乘积 =", np.prod(np.abs(np.diag(R2))),
" sqrt(det(A^T A)) =", np.sqrt(np.linalg.det(A2.T @ A2))) # 都是 sqrt(35)
# ---------- 3. 正交矩阵的性质抽查 ----------
theta = np.pi / 6
Rot = np.array([[np.cos(theta), -np.sin(theta)],
[np.sin(theta), np.cos(theta)]])
Perm = np.array([[0., 1., 0.], [0., 0., 1.], [1., 0., 0.]])
x = np.array([3., -4., 12.])
print("\n旋转矩阵 det =", np.linalg.det(Rot),
" R^T R = I ?", np.allclose(Rot.T @ Rot, np.eye(2)))
print("置换矩阵 det =", np.linalg.det(Perm),
" 保长 ?", np.isclose(np.linalg.norm(Perm @ x), np.linalg.norm(x)))
u = np.array([1., 1.])
print("内积保持:", u @ x[:2], "==", (Rot @ u) @ (Rot @ x[:2]))
# ---------- 4. 经典 GS 的正交性丢失(病态例子) ----------
eps = 1e-9
Abad = np.array([[1., 1., 1.],
[eps, 0., 0.],
[0., eps, 0.],
[0., 0., eps]])
Qb, Rb = classical_gram_schmidt(Abad)
print("\n病态例子的 Q^T Q(非对角元应接近 0)=\n", Qb.T @ Qb)
# ---------- 5. SciPy 的 QR(可选) ----------
try:
from scipy import linalg
Qs, Rs = linalg.qr(A) # mode='full'(默认):Q 为 3x3
print("\nSciPy full QR: Q 形状", Qs.shape, " R 形状", Rs.shape)
Qe, Re = linalg.qr(A, mode='economic') # 薄 QR
print("SciPy economic QR: Q 形状", Qe.shape, " R 形状", Re.shape)
except ImportError:
print("\n(未安装 SciPy,跳过第 5 段)")
输出要点(本库验证环境下):
- 手写 CGS 得到 的第 1 列与 numpy 相差一个负号(numpy 不保证 对角为正),但两者都满足 、;
- 的对角元为 ,与手算一致;三者乘积 (注意三列原始长度都是 ,但 的对角元并不都等于 ——因为正交化过程中每列都被前面各列"扣掉"了一部分);
- QR 与法方程给出同一个最小二乘解 ,而 的对角元绝对值乘积 ;
- 保长性与内积保持性在旋转、置换矩阵上都成立;
- 在"病态例子"中,经典 Gram–Schmidt 的正交性丢失随 减小急剧恶化: 时 已经达到约 (完全失去正交性),而修正 Gram–Schmidt 仍在 量级,numpy 的 Householder 实现始终保持在 量级。
7.4 与前后章节的衔接
- 上一节 4-2-投影与投影矩阵 给出 ,本节说明"若列标准规则简化为 ";
- 上一节 4-3-最小二乘逼近 的法方程在本节获得更稳的解法 ;
- 下一章 5-1-行列式的性质 会用到 与 这两个结论;
- 6-4-对称矩阵与正定矩阵 中的 是把本章的"正交基"用到对称矩阵上的结果;
- 7-1-SVD的构造与几何意义 把 进一步推广为 :对 与 各做一次正交化就得到 SVD。
易错点
1. "正交矩阵"的名字会误导人。它的列互相正交,但矩阵本身的元素一点都不"正交";而且列还必须是单位向量。例如 的列正交但不是单位向量,它不是正交矩阵(它是"正交列但未归一化",)。
2. 与 只在方阵时等价。若 是 且 (列标准正交),则 成立,但 是 的投影矩阵(秩 ),绝不等于 。把 写成 是最常见的致命错误,会让最小二乘残差直接变成零。
3. Gram–Schmidt 必须"减去前面所有向量上的投影"。只减 上的投影会得到一组既不标准也不正交的向量。手算时逐条核对每个 都不能漏。
4. Gram–Schmidt 要求输入线性无关。若中途出现 ,说明输入相关,此时不能单位化(除以零)。正确的处理是:判定秩、跳过该列,或改用带列主元的 QR(
scipy.linalg.qr(..., pivoting=True))以暴露秩亏。5. 的对角元符号不唯一。 仍满足 ;不同的库(NumPy 用 LAPACK)可能给出 的结果。判断"是否等价"要比较 而非 本身。
6. 经典 Gram–Schmidt 在浮点下会丢正交性。数学上 ,实际算出来可能是 量级的非对角元。若条件数大,请用修正 Gram–Schmidt 或 Householder(即直接用
numpy.linalg.qr)。7. "正交基"与"标准正交基"要分清。前者的坐标公式带分母 ,后者才是干净的 。国内教材的施密特公式里那个分母就是这个区别的痕迹。
8. 只是必要条件,不是充分条件。例如 是正交的(,是反射);但 的行列式也是 ,却不是正交矩阵。判断正交必须用 。
八、练习题
练习 1(基础)
判断下列矩阵是否正交,并说明理由:
练习 2(基础)
用 Gram–Schmidt 对 正交化,写出 与 ,并用 与 对照。
练习 3(进阶)
设 是正交矩阵, 是任意向量。证明:
(a) ;
(b) ;
(c) 由此说明正交变换把标准正交基映成标准正交基。
练习 4(进阶)
设 列标准正交,。证明 满足 ,并求 与 。
练习 5(思考)
设 几乎平行(, 很小)。用经典 Gram–Schmidt 的公式说明为什么 在浮点计算中可能显著偏离 ,并解释修正 Gram–Schmidt 为什么能改善这一点。
九、常见问题 FAQ
Q1:为什么标准正交基下的坐标可以直接用内积算?
A:因为 把展开式中的所有交叉项都变成了 ,只剩 对应的一项。若基只是"正交"而没单位化,这剩下的一项是 ,坐标就要除以它;若基连正交都不是,内积后会留下一整组方程,必须解方程组。这就是"标准 + 正交"两个条件的全部作用。
Q2: 的列标准正交,是否意味着 一定可逆?
A:不一定。可逆只在 是方阵时成立(此时 推出 )。若 是 且 ,它的秩至多为 ,必然不可逆,此时 只能作为"保长的坐标映射"或投影工具使用。
Q3:Gram–Schmidt 得到的 是唯一的吗?
A:在要求 的对角元为正的约定下唯一。否则 与 都是合法分解(把某几列同时反号即可)。此外,若只要求" 的列标准正交且与 的列空间相同",那么 还可以差一个"列之间的正交变换",即 ( 正交)。
Q4:为什么 中的 一定是上三角?这个结构和消元有什么关系?
A:因为 Gram–Schmidt 是从左到右逐个处理列的:第 列的修正只用到前 列的信息,所以 只用 表示,转换矩阵自然上三角。这与 2-5-LU分解与转置置换 的 是同一种"顺序消元"思想: 用下三角初等矩阵把矩阵化成上三角, 用正交变换把矩阵化成上三角。区别在于 不是正交的(会改变长度),而 是(不改变长度)——这正是 QR 在最小二乘与特征值算法中更受青睐的原因。
十、施密特正交化与正交矩阵的判定
本节的定位
前面九节用的是 Strang 的语言:标准正交基 、矩阵 、分解 。国内教材(同济版一类讲法)用的是另一套记号:向量组 、正交化得到的 、单位化得到的 ,正交矩阵记作 ,单位矩阵记作 。
记号不同、结论完全相同。本节把国内这套写法与判定标准补齐,并给出两套记号的对照表——看国内教材时不要在记号上迷路。
10.1 施密特正交化的国内标准步骤
施密特(Schmidt)正交化:国内教材的标准表述
设 线性无关,令
则 两两正交且都非零;再单位化
就得到一组标准正交向量组 。
整个过程分两步:先正交化(),再单位化()。国内考试的标准答案必须写出这两步,不能只写一步。
与 Strang 记号的对照(同一件事的两套写法):
| 环节 | 国内记号 | 本库(Strang)记号 | 说明 |
|---|---|---|---|
| 输入向量组 | ( 的列) | 必须线性无关 | |
| 内积 | 或 | 同一个数 | |
| 正交化中间结果 | (不正交归一) | 注意: 未单位化 | |
| 正交化分母 | 中的 已单位化,故分母为 | 这是两套公式唯一的实质差别 | |
| 最终结果 | (标准正交) | ||
| 矩阵形式 | 以 为列得正交矩阵 | , | 同一件事 |
两套公式为什么长得不一样
Strang 用已单位化的 做投影,投影系数就是 ,分母是 ,所以公式干净。
国内教材先不单位化(少开方、少写根号),用未单位化的 做投影,分母必须写 。
两者在精确算术下给出同一组方向;只是"什么时候开根号"的选择不同。做国内题时若忘了分母,结果会整体错。
10.2 正交矩阵的国内判定与性质
国内教材的判定(与本篇定理 4.4.3 完全等价)
对 阶实方阵 ,以下说法等价:
1. 是正交矩阵;
2. (等价地 );
3. ;
4. 的 个列向量是 的一组标准正交基(行向量同理);
5. 对任意 有 (正交变换保持内积)。
三条必须会用的性质:
- :由 取行列式得 。反之不成立: 的行列式是 ,但它不是正交矩阵(见本篇易错点 8)。所以判正交只能用 ,不能用行列式。
- 两个正交矩阵的乘积仍是正交矩阵;正交矩阵的逆仍是正交矩阵()。
- 正交变换不改变向量的长度与夹角,因此也不改变"标准正交基"这个身份:若 标准正交,则 仍标准正交(把定理 4.4.3 的第 5 条用在每一对上)。
一个常考的"构造题"
已知一组线性无关的向量,要求"求一个正交矩阵 ,使 的前几列是给定向量组的正交化结果"——做法就是:先施密特正交化得到标准正交组,再把它补成 的一组标准正交基。补的方法:解方程找与已知向量都正交的向量,再正交化(或用"标准基 + 逐个正交化"的办法)。
10.3 去掉条件会怎样(四个"如果不这样")
| 若去掉/改动 | 会发生什么 | 结论 |
|---|---|---|
| 不单位化(只正交不正交归一) | 坐标公式变成 ,投影矩阵变成 | 数学上仍然正确,但公式处处带分母,数值上还要多算范数——这就是"标准"两个字的价值 |
| 不正交(普通的基) | 坐标必须解方程组 ,要算 ;投影矩阵失去 这种简单形式 | 计算量与误差都变大 |
| 输入向量组线性相关 | Schmidt 过程中某一步 ,无法单位化(除零);实际会得到"少列"的正交组 | 必须先判秩、跳过相关列,或改用带列主元的 QR([[3-4-线性无关基与维数]]) |
| 只减去前一个投影 | 与更早的 ()不再正交 | 结果既不标准也不正交,属于硬错误 |
十一、新增例题(5 道,含 2 道证明)
11.1 例题 4:对幂基 做正交化(离散 Legendre 多项式)
题目
取三个节点 。把函数系 在这三个节点上的取值向量记作
对 做 Gram–Schmidt 正交化,求出 与 ,验证 、,并用 核对 。
解。
第 1 步:先把三个向量看清楚。
,它的第 列是 。 的转置 正是节点 上的范德蒙德矩阵(5-2-排列与代数余子式),而 ,故
所以三列线性无关,可以正交化。
第 2 步:求 。
第 3 步:求 。
几何读法: 与节点 上的线性函数 成比例()。减掉常数项的投影后,"线性部分"剩下的就是中心化后的 ——这正是统计里"数据中心化"的线性代数原型。
第 4 步:求 。
第 5 步:写出 与 。
第 6 步:验证正交性(三对内积 + 三个长度)。
第 7 步:验证 (抽查第 3 列与第 1 列)。
第 8 步:用 核对 。
(这一步的普遍结论见例题 8 的第 (4) 部分;几何含义是"正交化把平行六面体扶正,体积不变"。)
11.2 例题 5:Householder 反射——把一个向量"转到坐标轴上"
题目
取 ,。令
求出 ,验证 、、、,并说明 的几何意义。
解。
第 1 步:算 。
第 2 步:算 与 。
第 3 步:验证 。
第 4 步:验证对称性与正交性。
第 5 步:几何意义(文字描述)。
是关于直线 的镜面反射(该直线的方向向量是 )。验证两件事:
- 被固定: ✓ ——镜面上的向量不动;
- 与镜面垂直的方向被反号:, ✓ ——垂直方向取反。
y
4 | * a=(3,4)
/
| / | 镜面 y = x/2
| / | /
| / | /
| / |/
1 | / (2,1) ← 镜面上的不动点方向
| /
0 +---|----|----|----|----→ x
1 2 3 4 5
Ha=(5,0) 在 x 轴上
把 关于镜面翻过去,正好落到 轴上的 ——长度不变(都是 5),只有一个分量被反号。这正是 Householder 反射在 QR 分解中的用途:用一次反射把某一列除第一个元素外全部打成零(本篇 4.3 节提到 numpy.linalg.qr 底层就是它)。
11.3 例题 6:在标准正交基下"直接读坐标"
题目
用例题 4 得到的标准正交基 ,求 在该基下的坐标 ,验证 与 ,并解释 的含义。
解。
第 1 步:用内积直接读坐标(定理 4.4.2)。
注意:全过程没有解任何方程组——这就是标准正交基的全部意义。
第 2 步:验证 。
第 3 步:验证保长性(坐标平方和 = 向量长度平方)。
第 4 步:解释 。
意味着 ,而 ,所以
核对: ✓。也就是说, 本来就落在那两列张成的平面里,第三个坐标自然为零——坐标的"零分量"标记了"这个向量在哪个子空间里",这是后续判断"向量是否落在某个子空间"的实用技巧。
11.4 例题 7(证明题):Householder 矩阵是对称正交矩阵,且行列式为
题目
设 ,
证明:(1) ;(2) (从而 );(3) ;(4) 的几何作用是"关于超平面 的镜面反射"。
第 1 步:证明 (1),对称性。 记 ( 是标量,可以放在分母)。由 与 是标量:
于是
第 2 步:证明 (2),正交性(先算 的两条性质)。
(中间把标量 提到前面即可;这个式子说明 是幂等的,即 ——它是到 的投影矩阵。)于是
所以 是正交矩阵;又由 (1) 对称,故 (这个矩阵等于自己的逆,是"反射两次回到原处"的代数表达)。
第 3 步:证明 (3),(沿 与 分解)。 先看两个特殊方向:
取 的一组基:,其中 是 的一组基。 在这组基下的矩阵是对角矩阵
即 ( 是以这组基为列的矩阵,可逆)。由行列式的乘法法则与"相似/基变换不改变行列式"(5-1-行列式的性质、8-3-相似矩阵与基变换):
(也可由 (2) 先得 ,即 ;再用 定出符号为负。)
第 4 步:说明 (4),几何意义。 把任意 沿 与 正交分解:
由上面两条计算( 是线性的):
"沿 的分量反号、与 垂直的分量不动"——这正是关于超平面 的镜面反射。 反映两次回到原处(),定向被翻转(),体积不变(),三条几何事实与三条代数结论一一对应。例题 5 就是 的具体例子("超平面"退化成一条直线 )。
11.5 例题 8(证明题):Gram–Schmidt 保持列空间,从而投影矩阵不变
题目
设 的列线性无关(), 是其(薄)QR 分解( 为 列标准正交, 为 可逆上三角)。证明:
(1) ;
(2) 投影矩阵相同:;
(3) 由此得到最小二乘的 QR 解法 ;
(4) 当 时 。
第 1 步:证明 (1),列空间相同。 由定理 4.4.6,Gram–Schmidt 的每一步都保持张成空间不变:
取 即得 。
第 2 步:证明 (2),投影矩阵相同(代数法)。 由 与 可逆得 。于是
(用了 与 逆的规则 )。另一方面
代入上式得 。
顺带得到一个"不用算的证明"
由 (1) 知 与 都是到同一个子空间 的正交投影矩阵;而"到给定子空间的正交投影矩阵是唯一的"(若 都是 到 的最近点,由定理 4.3.1 的唯一性得 ,对每个 成立即得矩阵相等)。两个矩阵相等这件事,可以靠几何唯一性"免费"证明。
第 3 步:证明 (3),QR 解法。 法方程 代入 :
可逆()故 可逆,两边左乘 :
这是上三角方程组,用回代求解即可。关键在于:法方程里的 与 都不需要显式算出来,误差放大因子也从 降回 。
第 4 步:证明 (4),。 当 时 都是 阶方阵。由乘法法则 ;由 得 ;由 是上三角得 (5-1-行列式的性质)。所以
又 ,不需要再加绝对值。几何含义: 是 的列张成的平行体的体积,而 是"第 列扣掉前面所有投影后剩下的长度",也就是每一步给平行体新增的"高"——体积 = 底 × 高 逐次相乘,正是这个等式的内容(5-3-克莱姆法则与体积)。例题 4 的第 8 步是这个结论的具体验算。
本篇小结
一页纸回顾
本章只有一条主线:正交 ⟹ 坐标可以直接"量"出来。把这条主线走完,得到四个层次的结果:
标准正交 坐标 , 。
(箭头上的字是英文,只是为了避免在公式里写中文;读作"投影"与"正交化"。)
逻辑链条(每一环都用上一环)
| 环节 | 命题 | 依据 |
|---|---|---|
| 1 | 标准正交向量组线性无关, 个就是一组基 | 定理 4.4.1 |
| 2 | 标准正交基下的坐标由内积给出: | 定理 4.4.2 |
| 3 | 方阵情形 ,求逆零代价 | 定理 4.4.3 |
| 4 | 正交变换保长、保内积、保夹角 | 定理 4.4.4 |
| 5 | 列标准正交时投影与最小二乘全部简化:, | 定理 4.4.5 |
| 6 | 任意无关向量组都能正交化,且不改变每一步的张成空间 | 定理 4.4.6 |
| 7 | 正交化的矩阵形式就是 , 是每步剩余长度 | 定理 4.4.7 |
| 8 | 最小二乘的稳定解法:; | 例题 8 |
必背公式清单 | 名称 | 公式 | 条件 |
| --- | --- | --- |
|---|---|---|
| 标准正交条件 | 正交 + 单位长,缺一不可 | |
| 正交矩阵 | 必须是方阵才有 | |
| 坐标 | , | 基必须标准正交 |
| 保长 / 保内积 | , | 对一切 |
| 投影(标准正交列) | , | |
| 最小二乘(标准正交列) | , | 勾股分解 |
| Gram–Schmidt | , | 输入必须线性无关 |
| 国内写法 | 分母不可漏 | |
| 的元素 | ,(),() | 约定 时分解唯一 |
| QR 解最小二乘 | (上三角回代) | 列无关 |
| 行列式关系 | , | 正交; 时后者成立 |
| Householder | :,, | 反射, |
四个"必须会动手做"的动作
- 手算一次 的 Gram–Schmidt:写清 、、、 四步,最后逐对验证内积为零。
- 写出 与 : 的对角元是各步剩余长度(不是列的原始长度!),非对角元是投影系数。
- 用 而不是行列式判正交,并分清 与 在长方形矩阵时的区别。
- 会用正交性"读坐标":给一组标准正交基与一个向量,直接用内积写出坐标,并用"坐标平方和 = 长度平方"自检。
自测清单
- 能否解释"为什么标准正交基下的坐标不用解方程",并说出"正交"与"单位长"各自的作用?
- 能否写出 Gram–Schmidt 的递推公式(Strang 写法与国内写法各一遍),并说明两者为什么分母不同?
- 能否证明"标准正交向量组线性无关"?证明里用到的关键一步是什么?
- 能否说出 是长方形且列标准正交时, 与 分别是什么(维数、秩、是否等于 )?
- 能否说明为什么用 QR 解最小二乘比用法方程更稳(条件数角度)?
- 能否举出三个正交矩阵的例子(旋转、反射、置换)并分别说出它们的行列式?
关联与后续用法
- 4-2-投影与投影矩阵:一般投影公式 与本章 的关系;例题 8 用"正交投影的唯一性"把两者划上等号。
- 4-3-最小二乘逼近:法方程的推导在那里;本章给出它的稳定解法 ,以及"列标准正交时法方程退化为 "。
- 4-1-四大子空间的正交性: 与 是一对对偶的正交投影,分别投向 与 。
- 5-1-行列式的性质:、、 都在那里证明,是本章例题 8 第 (4) 部分的依据。
- 5-2-排列与代数余子式:例题 4 用到的范德蒙德行列式在那里给出通项公式。
- 5-3-克莱姆法则与体积:把 读成"体积 = 逐步相乘的底×高",几何解释在那里展开。
- 3-4-线性无关基与维数:Gram–Schmidt 的前提是向量组线性无关;秩亏时如何判断与处置也在那里。
- 3-5-四大子空间的维数:、投影矩阵的迹等于子空间维数,用维数语言重新表述本章结论。
- 2-5-LU分解与转置置换:(下三角初等矩阵)与 (正交矩阵)是两种"化三角"的路线,对照看能看清"为什么要正交"。
- 9-2-Hermitian矩阵与酉矩阵:把实数域换到复数域,正交矩阵升级为酉矩阵, 升级为 ,全部结论保持。
- 10-4-傅里叶级数与函数空间:傅里叶系数就是"函数空间中的内积坐标",是本章定理 4.4.2 的无穷维版本。
- 7-3-主成分分析PCA:用样本协方差矩阵的特征向量作为新的标准正交基,实现去相关与降维——本章的正交基是它的骨架。
- 6-4-对称矩阵与正定矩阵:,把本章的正交矩阵用到对称矩阵的对角化上。
- 7-1-SVD的构造与几何意义: 的推广;对 与 各做一次正交化就得到 SVD。
- 11-1-数值稳定性与LU / 11-2-范数与条件数:Gram–Schmidt 的正交性丢失与条件数的定量分析。
- 附录-矩阵分解总览:、、、 的统一对比。
相关笔记
- 4-2-投影与投影矩阵 —— 一般投影公式 与本节 的关系
- 4-3-最小二乘逼近 —— 法方程的推导,以及"用 QR 解最小二乘"的动机
- 4-1-四大子空间的正交性 —— 正交补与 ,理解 与 两个正交投影
- 5-1-行列式的性质 —— 、 的证明依据
- 6-4-对称矩阵与正定矩阵 —— :用标准正交基对角化对称矩阵
- 7-1-SVD的构造与几何意义 —— 把 QR 推广为 ,四个子空间的标准正交基
- 11-1-数值稳定性与LU / 11-2-范数与条件数 —— Gram–Schmidt 数值不稳定性与条件数的定量分析
- 附录-矩阵分解总览 —— 、、、 的统一对比
- 3-5-四大子空间的维数 —— 用维数语言重述本章结论:,投影矩阵的迹等于子空间维数
- 5-2-排列与代数余子式 —— 例题 4 用到的范德蒙德行列式在那里给出通项,
- 5-3-克莱姆法则与体积 —— 把 读成"体积 = 逐步相乘的底 × 高",几何解释在那里展开
- 8-3-相似矩阵与基变换 —— 例题 7 中用"基变换不改变行列式"定出 ;正交矩阵是最特殊的一类基变换
参考来源
- MIT OpenCourseWare 18.06 Linear Algebra, Lecture 17: Orthogonal matrices and Gram-Schmidt —— https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/resources/lecture-17-orthogonal-matrices-and-gram-schmidt/ (2026-10-11 访问,HTTP 200)
- MIT OpenCourseWare 18.06 Linear Algebra(课程主页)—— https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/ (2026-10-11 访问,HTTP 200)
- Gilbert Strang, Introduction to Linear Algebra 官方网站 —— https://math.mit.edu/~gs/linearalgebra/ (2026-10-11 访问,HTTP 200)
- NumPy 官方文档
numpy.linalg.qr—— https://numpy.org/doc/stable/reference/generated/numpy.linalg.qr.html (2026-10-11 访问,HTTP 200) - SciPy 官方文档
scipy.linalg.qr(含mode与列主元参数说明)—— https://docs.scipy.org/doc/scipy/reference/generated/scipy.linalg.qr.html (2026-10-11 访问,HTTP 200) - Strang, Gilbert. Introduction to Linear Algebra, 5th ed. Wellesley-Cambridge Press, 2016, §4.4(Orthogonal Bases and Gram-Schmidt)。(教材,文字引用)
- 同济大学数学系《线性代数》第六版,高等教育出版社(施密特正交化、正交矩阵的定义与性质)。(教材,文字引用)