w wyl123ly 的博客
MD

4-4-标准正交基与Gram-Schmidt

88 KB 2026.10.11 原文件

4-4-标准正交基与Gram-Schmidt

一句话概括

标准正交基(orthonormal basis)是"最好用的基":向量两两垂直、长度都为 。它带来的最大红利是——坐标不用解方程组,直接用内积算: 在基 下的第 个坐标就是 。列标准正交的矩阵 满足 ,于是 (转置就是逆!),投影与最小二乘的公式全部变简单:、。

那么"怎么把一组普通的无关向量变成标准正交基"?答案是 Gram–Schmidt 正交化(Gram–Schmidt orthogonalization):逐个减去在前面向量上的投影,再单位化。这个过程写成矩阵形式就是 分解, 是上三角矩阵且对角元是各步"剩余向量的长度"。


一、定义

1.1 正交与标准正交

定义 4.4.1(正交,orthogonal)

两个向量 称为正交的,若 ,记作 。零向量与任何向量正交(但零向量不能作为基的一部分)。

定义 4.4.2(标准正交,orthonormal)

一族向量 称为标准正交的,若它同时满足

1. 两两正交:,对一切 ;

2. 长度为 1(单位向量):,即 ,对一切 。

两条可合并为一个式子(Kronecker delta):

orthonormal = orthogonal + normal(normalized,已单位化)。中文教材译作"标准正交"或"规范正交"。注意:"正交向量组"只要求第一条,不要求长度为 1——这一点在比较公式时必须分清。

定义 4.4.3(标准正交基,orthonormal basis)

若 是 维空间 的一组标准正交向量,则它们自动线性无关(证明见定理 4.4.1),因而构成 的一组基,称为标准正交基。

1.2 正交矩阵

定义 4.4.4(正交矩阵,orthogonal matrix)

实方阵 称为正交矩阵,若它的 个列是标准正交的,即

对矩形矩阵()也常沿用这个条件:若 的列标准正交,则 成立,但 (它是秩 的投影矩阵)。此时称 为列标准正交矩阵(matrix with orthonormal columns)。Strang 教材对这两种情形都用同一个字母 ,读公式时要注意 是方的还是长的。

立刻得到一个惊人结论

若 是正交方阵,则由 知 就是 的逆:

求逆的代价从 降到零——转置不需要任何运算,只是换个读法。这是正交矩阵在数值计算中最值钱的性质。


二、几何直观

2.1 标准正交基 = 一把"互相垂直、刻度为一"的尺子

普通的基像一把歪斜的尺子:想读出某个向量的坐标,必须解一个方程组。标准正交基像一把直角坐标尺:每个方向互相垂直、每格正好是 个单位,于是"读坐标"就等于"量投影长度"。

三个典型图像:

  1. 里的 :最常见的直角坐标轴。
  2. 里把坐标轴整体旋转 :。轴还是垂直的,刻度还是 ,只是"朝向"变了——这就是旋转矩阵。
  3. 里把坐标轴重新排列():长度与夹角全不变,只是"谁是一号轴"变了——这就是置换矩阵。

这三类图像正好对应正交矩阵的三大来源:旋转、反射、置换。

2.2 为什么"垂直 + 单位长"能让坐标变得可算

设 。用 左乘两边:

其他项全部被内积"杀掉"了,只剩一项。 这就是标准正交基的全部魔力所在:正交性让交叉项消失,单位长度让剩下那项的系数恰好是 而不是 。

若换成一般的正交(非单位)基 ,同样操作得到 ,于是 ,多了个分母;换成完全一般的基,则内积后出现的是一整组耦合方程,必须解方程组。

2.3 正交变换是"刚性运动"

把 看作对空间的变换。因为 (定理 4.4.3),变换不改变任何向量的长度;因为 ,也不改变任意两向量的夹角。所以:

几何图像

正交矩阵所对应的是旋转、反射以及它们的复合——也就是不拉伸、不压缩、不剪切,只改变朝向的"刚性运动"(rigid motion)。 中 是纯旋转, 是含有一次反射的旋转(镜像)。 中同理。


三、性质与定理

3.1 标准正交向量组线性无关

定理 4.4.1(标准正交向量组线性无关)

若 标准正交,则它们线性无关。

证明。设

两边左乘 :

对每个 都成立,故 ,线性无关。

推论: 中任何 个标准正交向量自动构成一组标准正交基; 个数不能再多(否则必线性相关)。用矩阵语言:若 且 是 ,则 ,故 , 可逆。

3.2 坐标由内积直接给出

定理 4.4.2(标准正交基下的坐标)

若 是 的标准正交基,则任何 可唯一地写成

写成矩阵形式:,其中 。

证明。存在性与唯一性由"标准正交向量组线性无关且个数等于维数"保证( 个无关向量必张成 ,且表示唯一)。

现在把 两边左乘 :

与一般基的对比

- 一般基(列构成可逆方阵 ):坐标要解 ,即 ——要算逆矩阵。

- 标准正交基:坐标是 ——只做 次乘法(矩阵乘向量),不用求逆。

这就是为什么理论推导与数值算法都偏爱标准正交基。

3.3 正交矩阵的等价刻画

定理 4.4.3( 的五个等价说法)

对方阵 ,以下命题等价:

1. (列标准正交);

2. (行也标准正交,两边左乘 右乘 即可互推);

3. ;

4. 可逆且 也是正交矩阵;

5. 对一切 :(保持内积)。

证明(1 ⟺ 5 是核心)。

:

:取 (标准单位向量),左边等于 的第 列 的第 列,右边等于 。故 ,即 。

3.4 保长性

定理 4.4.4(正交矩阵保持长度)

若 ,则对一切 ,

证明。

两边开方(长度非负)即得。

推论:正交矩阵保持一切距离与夹角。对任意 ,

反过来也成立

若某个线性变换 保持长度( 对一切 ),则它的矩阵是正交矩阵。原因是长度平方是二次型:(极化恒等式),左边由保长性等于 ,于是内积也被保持,再用定理 4.4.3 的 即可。

3.5 正交矩阵的其他性质

性质汇总(每条都可快速验证)

1. 行列式为 :,而 (详见 5-1-行列式的性质),故 ,。

2. 两个正交矩阵之积仍正交:。

3. 特征值的模为 :若 且 ,则 ,故 (实矩阵的实特征值只能是 ,复特征值成共轭对落在单位圆上,见 9-2-Hermitian矩阵与酉矩阵)。

4. 的列、行都是 的标准正交基。

5. 不改变内积,因此不改变投影长度、不放大误差: 意味着 ——条件数最理想的矩阵。

3.6 三类例子

例 1:置换矩阵(permutation matrix)

每行每列恰有一个 、其余为 的矩阵。例如

作用: 把 的分量重新排列(这里是 第 2 位, 第 3 位, 第 1 位)。长度、夹角都不变。(偶置换为 ,奇置换为 ;这个 轮换是偶置换,)。

在消元里的角色: 中的 就是置换矩阵,用来做行交换(见 2-5-LU分解与转置置换)。

例 2:旋转矩阵(rotation matrix)

取 时 ,:两个单位基向量被整体转过 ,长度仍为 、夹角仍为 。。

注意:旋转矩阵一般不把"标准"基映到标准基的同一顺序上( 不再映到 ),但它把标准正交基映成另一组标准正交基。

例 3:反射矩阵(reflection matrix)

这是关于直线 的反射(把 ,并把 保持不变)。 表明它含有"镜像"成分——反映了空间的定向(orientation)被翻转。这类"对称正交矩阵"也叫 Householder 矩阵,是数值 QR 分解的主力工具(见第 7 节)。

例 4:不是正交矩阵的反例

这是剪切(shear)矩阵:它把 斜推,长度被改变(,长度从 变成 ),不是刚性运动。

3.7 投影与最小二乘在标准正交基下的大简化 回忆 4-2-投影与投影矩阵 的一般结论:

若 的列标准正交,即 且 ,则 ,逆矩阵整个消失:

定理 4.4.5(标准正交列时的简化公式)

设 的列标准正交(),则

1. 投影矩阵:(且 ,秩为 );

2. 最小二乘解:(无需解方程);

3. 投影向量:;

4. 残差平方和:。

证明。(1) 把 代入 得 。(2) 同理 。(3) 见定理 4.4.2。(4) 由勾股分解 与 。

秩 1 的特别情形(投影到一条直线)

若 是单位向量(),则

是一个秩 的 矩阵;而 是标量。乘法顺序决定结果,这是最容易出错的地方之一。


四、Gram–Schmidt 正交化

4.1 思路:一个一个地"减去前面所有投影"

给定一组线性无关的向量 (通常取某个矩阵的列)。目标:造出一组标准正交向量 ,并且保持每一步的张成空间不变:

这个"不改变张成空间"的条件很重要:它保证 与 的列空间相同,从而投影与最小二乘的结果不变。

递推公式(先用未单位化的 表述):

为什么这样能正交: 与前面每个 的内积是

为什么 :若 ,则 是 的线性组合,即 ,与" 线性无关"矛盾。所以 Gram–Schmidt 要求输入向量组线性无关;若中途出现 ,说明原向量组相关(这时要跳过 ,改用修正版处理秩亏情形)。

定理 4.4.6(Gram–Schmidt 正交化的正确性)

若 线性无关,则上述过程产生的 标准正交,且对每个 有 。

证明(归纳)。

: 是单位向量(线性无关保证 ),且张成同一个一维空间。

归纳假设 标准正交且张成 。

  • 正交性:上面已算得 对 ,单位化不改变正交关系,故 与所有前面的 正交。
  • 单位长度:。
  • 张成相同: 是 减去前面 的线性组合,故 ;又 (否则 该空间,矛盾),所以在加入 后维数从 升到 ,恰好等于 的维数 。

4.2 手算步骤清单

  1. 写出 (若是矩阵的列,直接取列)。
  2. 算 (记得开方后化成最简根式)。
  3. 对 :先算所有内积 (),再算 。
  4. 单位化:。
  5. 逐条验证:、。若有一项不对,回到第 3 步重算内积——绝大多数错误出在内积符号或漏减一项上。
  6. 若还要 ,把内积 与长度 填进 (见下一小节)。

4.3 数值不稳定性与改进

经典 Gram–Schmidt 的数值问题

在浮点运算中,经典 Gram–Schmidt(CGS)算出的 之间会出现"正交性丢失":实际算得的 不是 量级,而可能放大到 倍( 是条件数)。当 与前面的 几乎平行时(例如 , 很小),投影相减会发生灾难性抵消(catastrophic cancellation):两个几乎相等的数相减,有效位几乎全部丢失,剩下的"残余"被舍入误差污染。

改进路线一:修正 Gram–Schmidt(Modified Gram–Schmidt, MGS)

不要在减之前一次性算完所有内积,而是减一次、重算一次:

数学上(精确算术下)与 CGS 完全等价,但在浮点下误差不再被条件数平方放大。MGS 的代价与 CGS 同阶( 次浮点运算),因此实际实现里几乎总是用 MGS 或下一类方法。

改进路线二:Householder 反射(Householder reflection)

不做"逐个投影相减",而是用一串反射矩阵把 直接化成上三角:

其中每个 是正交对称矩阵(有的文献记作 与 ,两者只差约定符号)。Householder 的每个 都精确正交,所以正交性保持到机器精度,是 LAPACK 的 geqrf 以及 numpy.linalg.qr、scipy.linalg.qr 在底层采用的方法。代价:约 次浮点运算,比 MGS 略贵,但数值上更稳。

预告

第 11 章 11-1-数值稳定性与LU 与 11-2-范数与条件数 会给出定量分析:CGS 的正交性误差 ,MGS 与 Householder 则为 的一次方(而不是平方);并且会解释为什么"用 QR 解最小二乘"比"用法方程解最小二乘"更稳——后者的误差被 放大,见 4-3-最小二乘逼近 的警告。


五、 分解

5.1 从 Gram–Schmidt 到矩阵分解

把 Gram–Schmidt 的中间结果反过来写:每个 都能用 表示。具体地,由

解出 ,其中

写成矩阵形式( 列):

定理 4.4.7( 分解)

设 的列线性无关()。则存在唯一分解

其中 的列标准正交, 是上三角矩阵且对角元

若约定 的对角元全为正,则该分解唯一(这称为"薄 QR"或 reduced QR;若允许 为 方阵,得到"完全 QR",此时 为 )。

要点解释:

  • 的对角元 是第 步"扣掉前面所有投影后剩下的长度",也就是 到 的距离。这个量在几何上衡量"第 个方向带来了多少新信息"。
  • 因为 (线性无关保证), 可逆,。
  • 由 取行列式(方阵情形)得 ,而 ,故

这就是 5-1-行列式的性质 里"行列式的绝对值 = 体积"的一个具体算式(把 Gram–Schmidt 看成把平行体"扶正")。

5.2 的元素如何直接读出 只要在 Gram–Schmidt 过程中顺手记录两个量:

元素来源
第 步剩余向量 的长度
()第 步减去的投影系数
()恒为 (上三角)

5.3 用 解最小二乘

由 4-3-最小二乘逼近,法方程是 。代入 :

于是法方程变成 。 可逆时两边左乘 :

这是上三角方程组,用回代即可求解,计算量 。整个流程:

  1. 对 做 QR 分解( 次运算);
  2. 算 ( 次运算);
  3. 回代解 ( 次运算);
  4. 残差平方和 (若 且 只取前 列,"剩余的 列"贡献了残差,需要用完全 QR 才能用这个公式)。

为什么这样做更稳

一般公式里要构造 并求逆,误差被 放大;QR 路线只用到正交矩阵()与上三角回代,误差被 放大。当数据尺度相差很大(多项式幂基、宽量程传感器)时,这个差别决定结果是否可用。


六、例题

6.1 例题 1: 的 Gram–Schmidt 完整过程

题目

对

的列做 Gram–Schmidt 正交化,求 与 ,并验证 。

第 1 步:取列向量。

三者线性无关(例如 ,且每列长度都是 ,显然不成比例)。

第 2 步:求 。

于是 。

第 3 步:求 。

先算投影系数

再减去投影:

手算小技巧

先把 一次算成一个普通向量(这里是 ),再相减;不要写成"分数套分数",容易错。

长度与单位化:

于是 。

第 4 步:求 。

两个投影系数:

减去两个投影:

先算第二项与第三项:,,两者相加得 。于是

长度与单位化:

于是 。

第 5 步:写出 与 。

第 6 步:验证正交性。

逐对做内积(分母化到 便于心算):

  • ✓
  • ✓
  • ✓
  • ✓, ✓, ✓

第 7 步:验证 。

只需检查第 1 列与第 3 列(第 2 列同理):

第 8 步:附带结论。

与 相符()。这也验证了""。

6.2 例题 2:把 QR 用到最小二乘(与 4.3 的例题对照)

题目

用 QR 分解重做 4-3-最小二乘逼近 的直线拟合问题:,,模型 。

解。设计矩阵

对 做"薄 QR"( 为 , 为 )。先正交化两列:

所以

( 的第 1 列是 ,第 2 列是 ;这是一个 的"薄" ,满足 但 。)

现在算 :

回代解 (未知量为 ):

得到 ,与 4.3 中解法方程的结果完全一致。

残差平方和:本题 , 只有 2 列(薄 QR),恰好张成整个列空间 ,所以仍可用

与 4.3 算出的 相符。(关键依据: 且 ,故 ;再用勾股分解 。)

对照小结

| 路线 | 需要求解的方程组 | 误差放大因子 |

|---|---|---|

| 法方程 | | |

| QR | | |

两者数学等价,后者数值更稳;而 的对角元 的乘积 正是 ,与 4.3 中 完全对得上。

6.3 例题 3:用正交矩阵做一次"坐标旋转"

题目

设 ,。求 在 方向上的投影与垂直于 的分量,并说明这组分解为什么"长度守恒"。

解。投影系数 ,投影

垂直分量

校验:;,,, ✓。

若取 ,则 是标准正交基,且

是正交矩阵(,是旋转 )。在新坐标下, 的两个坐标恰是 与 ,而 。这就是保长性在坐标下的样子:换一组标准正交基,坐标平方和不变。


七、应用

7.1 数值线性代数:QR 是"万能工具"

  • 最小二乘/回归:,是所有统计软件求解线性回归的底层算法之一。
  • 特征值算法:QR 迭代(QR algorithm)反复做 、, 收敛到上三角(Schur 形),对角元给出特征值。这是现代特征值计算的标准方法。
  • 正交化与基变换:把病态的幂基 换成正交多项式基(Legendre、Chebyshev),是数值逼近与谱方法的基础。
  • 随机化数值线性代数:先乘一个随机矩阵缩小规模,再做 QR 得到近似正交基,用于大规模数据的低秩近似。

7.2 正交基在信号与数据中的角色

场景用到的正交结构
傅里叶级数函数系 在 内积下正交,傅里叶系数由内积给出(见 [[10-4-傅里叶级数与函数空间]])
离散傅里叶变换DFT 矩阵是酉矩阵(复正交),有 ,见 [[9-3-快速傅里叶变换FFT]]
主成分分析用样本协方差矩阵的特征向量(一组标准正交基)重新表达数据,实现去相关与降维,见 [[7-3-主成分分析PCA]]
小波与压缩正交小波基让能量守恒;正交基下"保长性"使量化误差可控
数值 PDE伽辽金方法选正交基可使刚度矩阵变成对角或带状

7.3 可运行代码(Python + NumPy / SciPy)

运行环境

以下代码在 Python 3.13 + NumPy 2.3 下验证通过。最后一段需要 SciPy(本库的验证环境未安装 SciPy,该段会走到 except ImportError 分支打印提示,不影响其余输出)。numpy.linalg.qr 默认返回"reduced"(薄)QR: 为 , 为 ,其底层为 LAPACK 的 dgeqrf/dorgqr,即 Householder 方法。

"""qr_gram_schmidt_demo.py —— Gram-Schmidt、QR 与正交矩阵演示
环境:Python 3.13,NumPy 2.3(多装的 SciPy 段可注释掉)
"""
import numpy as np

np.set_printoptions(precision=6, suppress=True)

A = np.array([[1., 1., 0.],
              [1., 0., 1.],
              [0., 1., 1.]])

# ---------- 1. 手写经典 Gram-Schmidt,与 numpy 对比 ----------
def classical_gram_schmidt(A):
    """返回 Q (列标准正交), R (上三角),逐列减去在前面 q 上的投影。"""
    m, n = A.shape
    Q = np.zeros((m, n))
    R = np.zeros((n, n))
    for k in range(n):
        v = A[:, k].copy()
        for i in range(k):
            R[i, k] = Q[:, i] @ A[:, k]        # r_ik = q_i^T a_k
            v = v - R[i, k] * Q[:, i]          # 减去投影
        R[k, k] = np.linalg.norm(v)            # r_kk = ||v_k||
        Q[:, k] = v / R[k, k]                  # 单位化
    return Q, R

def modified_gram_schmidt(A):
    """修正 Gram-Schmidt:减一次、重算一次内积(数值更稳)。"""
    m, n = A.shape
    Q = np.zeros((m, n))
    R = np.zeros((n, n))
    for k in range(n):
        v = A[:, k].copy()
        for i in range(k):
            R[i, k] = Q[:, i] @ v              # 注意这里用「更新后的 v」
            v = v - R[i, k] * Q[:, i]
        R[k, k] = np.linalg.norm(v)
        Q[:, k] = v / R[k, k]
    return Q, R

Q_cgs, R_cgs = classical_gram_schmidt(A)
Q_mgs, R_mgs = modified_gram_schmidt(A)
Q_np, R_np = np.linalg.qr(A)

print("手写 CGS 的 Q =\n", Q_cgs)
print("手写 CGS 的 R =\n", R_cgs)
print("numpy 的 Q =\n", Q_np)          # 与手写结果可能差列的符号
print("numpy 的 R =\n", R_np)          # R 的对角元可能为负(numpy 不保证正号)
print("Q^T Q - I (CGS) =\n", Q_cgs.T @ Q_cgs - np.eye(3))
print("A - Q R (CGS) =\n", A - Q_cgs @ R_cgs)          # 应为 0
print("|det A| =", abs(np.linalg.det(A)),
      "  prod|diag R| =", np.prod(np.abs(np.diag(R_cgs))))   # 两者相等
print("R 的对角元 = 每步剩余向量的长度:", np.diag(R_cgs))
print("各列的原始长度:", np.linalg.norm(A, axis=0))          # 都是 sqrt(2),与 R 对角元不同

# ---------- 2. 用 QR 解最小二乘(与法方程对照) ----------
t = np.array([0., 1., 2., 4.])
y = np.array([1., 1., 3., 3.])
A2 = np.column_stack([t, np.ones_like(t)])
Q2, R2 = np.linalg.qr(A2)                  # 薄 QR: Q2 为 4x2, R2 为 2x2
x_qr = np.linalg.solve(R2, Q2.T @ y)
x_ne = np.linalg.solve(A2.T @ A2, A2.T @ y)
print("\nQR 解       =", x_qr)              # [0.571429, 1.]
print("法方程解    =", x_ne)
print("R 对角元乘积 =", np.prod(np.abs(np.diag(R2))),
      " sqrt(det(A^T A)) =", np.sqrt(np.linalg.det(A2.T @ A2)))   # 都是 sqrt(35)

# ---------- 3. 正交矩阵的性质抽查 ----------
theta = np.pi / 6
Rot = np.array([[np.cos(theta), -np.sin(theta)],
                [np.sin(theta),  np.cos(theta)]])
Perm = np.array([[0., 1., 0.], [0., 0., 1.], [1., 0., 0.]])
x = np.array([3., -4., 12.])
print("\n旋转矩阵 det =", np.linalg.det(Rot),
      " R^T R = I ?", np.allclose(Rot.T @ Rot, np.eye(2)))
print("置换矩阵 det =", np.linalg.det(Perm),
      " 保长 ?", np.isclose(np.linalg.norm(Perm @ x), np.linalg.norm(x)))
u = np.array([1., 1.])
print("内积保持:", u @ x[:2], "==", (Rot @ u) @ (Rot @ x[:2]))

# ---------- 4. 经典 GS 的正交性丢失(病态例子) ----------
eps = 1e-9
Abad = np.array([[1., 1., 1.],
                 [eps, 0., 0.],
                 [0., eps, 0.],
                 [0., 0., eps]])
Qb, Rb = classical_gram_schmidt(Abad)
print("\n病态例子的 Q^T Q(非对角元应接近 0)=\n", Qb.T @ Qb)

# ---------- 5. SciPy 的 QR(可选) ----------
try:
    from scipy import linalg
    Qs, Rs = linalg.qr(A)                  # mode='full'(默认):Q 为 3x3
    print("\nSciPy full QR: Q 形状", Qs.shape, " R 形状", Rs.shape)
    Qe, Re = linalg.qr(A, mode='economic') # 薄 QR
    print("SciPy economic QR: Q 形状", Qe.shape, " R 形状", Re.shape)
except ImportError:
    print("\n(未安装 SciPy,跳过第 5 段)")

输出要点(本库验证环境下):

  • 手写 CGS 得到 的第 1 列与 numpy 相差一个负号(numpy 不保证 对角为正),但两者都满足 、;
  • 的对角元为 ,与手算一致;三者乘积 (注意三列原始长度都是 ,但 的对角元并不都等于 ——因为正交化过程中每列都被前面各列"扣掉"了一部分);
  • QR 与法方程给出同一个最小二乘解 ,而 的对角元绝对值乘积 ;
  • 保长性与内积保持性在旋转、置换矩阵上都成立;
  • 在"病态例子"中,经典 Gram–Schmidt 的正交性丢失随 减小急剧恶化: 时 已经达到约 (完全失去正交性),而修正 Gram–Schmidt 仍在 量级,numpy 的 Householder 实现始终保持在 量级。

7.4 与前后章节的衔接

  • 上一节 4-2-投影与投影矩阵 给出 ,本节说明"若列标准规则简化为 ";
  • 上一节 4-3-最小二乘逼近 的法方程在本节获得更稳的解法 ;
  • 下一章 5-1-行列式的性质 会用到 与 这两个结论;
  • 6-4-对称矩阵与正定矩阵 中的 是把本章的"正交基"用到对称矩阵上的结果;
  • 7-1-SVD的构造与几何意义 把 进一步推广为 :对 与 各做一次正交化就得到 SVD。

易错点

1. "正交矩阵"的名字会误导人。它的列互相正交,但矩阵本身的元素一点都不"正交";而且列还必须是单位向量。例如 的列正交但不是单位向量,它不是正交矩阵(它是"正交列但未归一化",)。

2. 与 只在方阵时等价。若 是 且 (列标准正交),则 成立,但 是 的投影矩阵(秩 ),绝不等于 。把 写成 是最常见的致命错误,会让最小二乘残差直接变成零。

3. Gram–Schmidt 必须"减去前面所有向量上的投影"。只减 上的投影会得到一组既不标准也不正交的向量。手算时逐条核对每个 都不能漏。

4. Gram–Schmidt 要求输入线性无关。若中途出现 ,说明输入相关,此时不能单位化(除以零)。正确的处理是:判定秩、跳过该列,或改用带列主元的 QR(scipy.linalg.qr(..., pivoting=True))以暴露秩亏。

5. 的对角元符号不唯一。 仍满足 ;不同的库(NumPy 用 LAPACK)可能给出 的结果。判断"是否等价"要比较 而非 本身。

6. 经典 Gram–Schmidt 在浮点下会丢正交性。数学上 ,实际算出来可能是 量级的非对角元。若条件数大,请用修正 Gram–Schmidt 或 Householder(即直接用 numpy.linalg.qr)。

7. "正交基"与"标准正交基"要分清。前者的坐标公式带分母 ,后者才是干净的 。国内教材的施密特公式里那个分母就是这个区别的痕迹。

8. 只是必要条件,不是充分条件。例如 是正交的(,是反射);但 的行列式也是 ,却不是正交矩阵。判断正交必须用 。


八、练习题

练习 1(基础)

判断下列矩阵是否正交,并说明理由:

练习 2(基础)

用 Gram–Schmidt 对 正交化,写出 与 ,并用 与 对照。

练习 3(进阶)

设 是正交矩阵, 是任意向量。证明:

(a) ;

(b) ;

(c) 由此说明正交变换把标准正交基映成标准正交基。

练习 4(进阶)

设 列标准正交,。证明 满足 ,并求 与 。

练习 5(思考)

设 几乎平行(, 很小)。用经典 Gram–Schmidt 的公式说明为什么 在浮点计算中可能显著偏离 ,并解释修正 Gram–Schmidt 为什么能改善这一点。


九、常见问题 FAQ

Q1:为什么标准正交基下的坐标可以直接用内积算?

A:因为 把展开式中的所有交叉项都变成了 ,只剩 对应的一项。若基只是"正交"而没单位化,这剩下的一项是 ,坐标就要除以它;若基连正交都不是,内积后会留下一整组方程,必须解方程组。这就是"标准 + 正交"两个条件的全部作用。

Q2: 的列标准正交,是否意味着 一定可逆?

A:不一定。可逆只在 是方阵时成立(此时 推出 )。若 是 且 ,它的秩至多为 ,必然不可逆,此时 只能作为"保长的坐标映射"或投影工具使用。

Q3:Gram–Schmidt 得到的 是唯一的吗?

A:在要求 的对角元为正的约定下唯一。否则 与 都是合法分解(把某几列同时反号即可)。此外,若只要求" 的列标准正交且与 的列空间相同",那么 还可以差一个"列之间的正交变换",即 ( 正交)。

Q4:为什么 中的 一定是上三角?这个结构和消元有什么关系?

A:因为 Gram–Schmidt 是从左到右逐个处理列的:第 列的修正只用到前 列的信息,所以 只用 表示,转换矩阵自然上三角。这与 2-5-LU分解与转置置换 的 是同一种"顺序消元"思想: 用下三角初等矩阵把矩阵化成上三角, 用正交变换把矩阵化成上三角。区别在于 不是正交的(会改变长度),而 是(不改变长度)——这正是 QR 在最小二乘与特征值算法中更受青睐的原因。


十、施密特正交化与正交矩阵的判定

本节的定位

前面九节用的是 Strang 的语言:标准正交基 、矩阵 、分解 。国内教材(同济版一类讲法)用的是另一套记号:向量组 、正交化得到的 、单位化得到的 ,正交矩阵记作 ,单位矩阵记作 。

记号不同、结论完全相同。本节把国内这套写法与判定标准补齐,并给出两套记号的对照表——看国内教材时不要在记号上迷路。

10.1 施密特正交化的国内标准步骤

施密特(Schmidt)正交化:国内教材的标准表述

设 线性无关,令

则 两两正交且都非零;再单位化

就得到一组标准正交向量组 。

整个过程分两步:先正交化(),再单位化()。国内考试的标准答案必须写出这两步,不能只写一步。

与 Strang 记号的对照(同一件事的两套写法):

环节国内记号本库(Strang)记号说明
输入向量组( 的列)必须线性无关
内积 或 同一个数
正交化中间结果(不正交归一)注意: 未单位化
正交化分母 中的 已单位化,故分母为 这是两套公式唯一的实质差别
最终结果(标准正交)
矩阵形式以 为列得正交矩阵,同一件事

两套公式为什么长得不一样

Strang 用已单位化的 做投影,投影系数就是 ,分母是 ,所以公式干净。

国内教材先不单位化(少开方、少写根号),用未单位化的 做投影,分母必须写 。

两者在精确算术下给出同一组方向;只是"什么时候开根号"的选择不同。做国内题时若忘了分母,结果会整体错。

10.2 正交矩阵的国内判定与性质

国内教材的判定(与本篇定理 4.4.3 完全等价)

对 阶实方阵 ,以下说法等价:

1. 是正交矩阵;

2. (等价地 );

3. ;

4. 的 个列向量是 的一组标准正交基(行向量同理);

5. 对任意 有 (正交变换保持内积)。

三条必须会用的性质:

  1. :由 取行列式得 。反之不成立: 的行列式是 ,但它不是正交矩阵(见本篇易错点 8)。所以判正交只能用 ,不能用行列式。
  2. 两个正交矩阵的乘积仍是正交矩阵;正交矩阵的逆仍是正交矩阵()。
  3. 正交变换不改变向量的长度与夹角,因此也不改变"标准正交基"这个身份:若 标准正交,则 仍标准正交(把定理 4.4.3 的第 5 条用在每一对上)。

一个常考的"构造题"

已知一组线性无关的向量,要求"求一个正交矩阵 ,使 的前几列是给定向量组的正交化结果"——做法就是:先施密特正交化得到标准正交组,再把它补成 的一组标准正交基。补的方法:解方程找与已知向量都正交的向量,再正交化(或用"标准基 + 逐个正交化"的办法)。

10.3 去掉条件会怎样(四个"如果不这样")

若去掉/改动会发生什么结论
不单位化(只正交不正交归一)坐标公式变成 ,投影矩阵变成 数学上仍然正确,但公式处处带分母,数值上还要多算范数——这就是"标准"两个字的价值
不正交(普通的基)坐标必须解方程组 ,要算 ;投影矩阵失去 这种简单形式计算量与误差都变大
输入向量组线性相关Schmidt 过程中某一步 ,无法单位化(除零);实际会得到"少列"的正交组必须先判秩、跳过相关列,或改用带列主元的 QR([[3-4-线性无关基与维数]])
只减去前一个投影 与更早的 ()不再正交结果既不标准也不正交,属于硬错误

十一、新增例题(5 道,含 2 道证明)

11.1 例题 4:对幂基 做正交化(离散 Legendre 多项式)

题目

取三个节点 。把函数系 在这三个节点上的取值向量记作

对 做 Gram–Schmidt 正交化,求出 与 ,验证 、,并用 核对 。

解。

第 1 步:先把三个向量看清楚。

,它的第 列是 。 的转置 正是节点 上的范德蒙德矩阵(5-2-排列与代数余子式),而 ,故

所以三列线性无关,可以正交化。

第 2 步:求 。

第 3 步:求 。

几何读法: 与节点 上的线性函数 成比例()。减掉常数项的投影后,"线性部分"剩下的就是中心化后的 ——这正是统计里"数据中心化"的线性代数原型。

第 4 步:求 。

第 5 步:写出 与 。

第 6 步:验证正交性(三对内积 + 三个长度)。

第 7 步:验证 (抽查第 3 列与第 1 列)。

第 8 步:用 核对 。

(这一步的普遍结论见例题 8 的第 (4) 部分;几何含义是"正交化把平行六面体扶正,体积不变"。)

11.2 例题 5:Householder 反射——把一个向量"转到坐标轴上"

题目

取 ,。令

求出 ,验证 、、、,并说明 的几何意义。

解。

第 1 步:算 。

第 2 步:算 与 。

第 3 步:验证 。

第 4 步:验证对称性与正交性。

第 5 步:几何意义(文字描述)。

是关于直线 的镜面反射(该直线的方向向量是 )。验证两件事:

  • 被固定: ✓ ——镜面上的向量不动;
  • 与镜面垂直的方向被反号:, ✓ ——垂直方向取反。
 y
 4 |            * a=(3,4)
/
| / | 镜面 y = x/2 | / | / | / | / | / |/ 1 | / (2,1) ← 镜面上的不动点方向 | / 0 +---|----|----|----|----→ x 1 2 3 4 5 Ha=(5,0) 在 x 轴上

把 关于镜面翻过去,正好落到 轴上的 ——长度不变(都是 5),只有一个分量被反号。这正是 Householder 反射在 QR 分解中的用途:用一次反射把某一列除第一个元素外全部打成零(本篇 4.3 节提到 numpy.linalg.qr 底层就是它)。

11.3 例题 6:在标准正交基下"直接读坐标"

题目

用例题 4 得到的标准正交基 ,求 在该基下的坐标 ,验证 与 ,并解释 的含义。

解。

第 1 步:用内积直接读坐标(定理 4.4.2)。

注意:全过程没有解任何方程组——这就是标准正交基的全部意义。

第 2 步:验证 。

第 3 步:验证保长性(坐标平方和 = 向量长度平方)。

第 4 步:解释 。

意味着 ,而 ,所以

核对: ✓。也就是说, 本来就落在那两列张成的平面里,第三个坐标自然为零——坐标的"零分量"标记了"这个向量在哪个子空间里",这是后续判断"向量是否落在某个子空间"的实用技巧。

11.4 例题 7(证明题):Householder 矩阵是对称正交矩阵,且行列式为

题目

设 ,

证明:(1) ;(2) (从而 );(3) ;(4) 的几何作用是"关于超平面 的镜面反射"。

第 1 步:证明 (1),对称性。 记 ( 是标量,可以放在分母)。由 与 是标量:

于是

第 2 步:证明 (2),正交性(先算 的两条性质)。

(中间把标量 提到前面即可;这个式子说明 是幂等的,即 ——它是到 的投影矩阵。)于是

所以 是正交矩阵;又由 (1) 对称,故 (这个矩阵等于自己的逆,是"反射两次回到原处"的代数表达)。

第 3 步:证明 (3),(沿 与 分解)。 先看两个特殊方向:

取 的一组基:,其中 是 的一组基。 在这组基下的矩阵是对角矩阵

即 ( 是以这组基为列的矩阵,可逆)。由行列式的乘法法则与"相似/基变换不改变行列式"(5-1-行列式的性质、8-3-相似矩阵与基变换):

(也可由 (2) 先得 ,即 ;再用 定出符号为负。)

第 4 步:说明 (4),几何意义。 把任意 沿 与 正交分解:

由上面两条计算( 是线性的):

"沿 的分量反号、与 垂直的分量不动"——这正是关于超平面 的镜面反射。 反映两次回到原处(),定向被翻转(),体积不变(),三条几何事实与三条代数结论一一对应。例题 5 就是 的具体例子("超平面"退化成一条直线 )。

11.5 例题 8(证明题):Gram–Schmidt 保持列空间,从而投影矩阵不变

题目

设 的列线性无关(), 是其(薄)QR 分解( 为 列标准正交, 为 可逆上三角)。证明:

(1) ;

(2) 投影矩阵相同:;

(3) 由此得到最小二乘的 QR 解法 ;

(4) 当 时 。

第 1 步:证明 (1),列空间相同。 由定理 4.4.6,Gram–Schmidt 的每一步都保持张成空间不变:

取 即得 。

第 2 步:证明 (2),投影矩阵相同(代数法)。 由 与 可逆得 。于是

(用了 与 逆的规则 )。另一方面

代入上式得 。

顺带得到一个"不用算的证明"

由 (1) 知 与 都是到同一个子空间 的正交投影矩阵;而"到给定子空间的正交投影矩阵是唯一的"(若 都是 到 的最近点,由定理 4.3.1 的唯一性得 ,对每个 成立即得矩阵相等)。两个矩阵相等这件事,可以靠几何唯一性"免费"证明。

第 3 步:证明 (3),QR 解法。 法方程 代入 :

可逆()故 可逆,两边左乘 :

这是上三角方程组,用回代求解即可。关键在于:法方程里的 与 都不需要显式算出来,误差放大因子也从 降回 。

第 4 步:证明 (4),。 当 时 都是 阶方阵。由乘法法则 ;由 得 ;由 是上三角得 (5-1-行列式的性质)。所以

又 ,不需要再加绝对值。几何含义: 是 的列张成的平行体的体积,而 是"第 列扣掉前面所有投影后剩下的长度",也就是每一步给平行体新增的"高"——体积 = 底 × 高 逐次相乘,正是这个等式的内容(5-3-克莱姆法则与体积)。例题 4 的第 8 步是这个结论的具体验算。


本篇小结

一页纸回顾

本章只有一条主线:正交 ⟹ 坐标可以直接"量"出来。把这条主线走完,得到四个层次的结果:

标准正交 坐标 , 。

(箭头上的字是英文,只是为了避免在公式里写中文;读作"投影"与"正交化"。)

逻辑链条(每一环都用上一环)

环节命题依据
1标准正交向量组线性无关, 个就是一组基定理 4.4.1
2标准正交基下的坐标由内积给出:定理 4.4.2
3方阵情形 ,求逆零代价定理 4.4.3
4正交变换保长、保内积、保夹角定理 4.4.4
5列标准正交时投影与最小二乘全部简化:,定理 4.4.5
6任意无关向量组都能正交化,且不改变每一步的张成空间定理 4.4.6
7正交化的矩阵形式就是 , 是每步剩余长度定理 4.4.7
8最小二乘的稳定解法:;例题 8

必背公式清单 | 名称 | 公式 | 条件 |

---------
标准正交条件正交 + 单位长,缺一不可
正交矩阵 必须是方阵才有
坐标,基必须标准正交
保长 / 保内积,对一切
投影(标准正交列),
最小二乘(标准正交列),勾股分解
Gram–Schmidt,输入必须线性无关
国内写法分母不可漏
的元素,(),()约定 时分解唯一
QR 解最小二乘(上三角回代) 列无关
行列式关系, 正交; 时后者成立
Householder:,,反射,

四个"必须会动手做"的动作

  1. 手算一次 的 Gram–Schmidt:写清 、、、 四步,最后逐对验证内积为零。
  2. 写出 与 : 的对角元是各步剩余长度(不是列的原始长度!),非对角元是投影系数。
  3. 用 而不是行列式判正交,并分清 与 在长方形矩阵时的区别。
  4. 会用正交性"读坐标":给一组标准正交基与一个向量,直接用内积写出坐标,并用"坐标平方和 = 长度平方"自检。

自测清单

  1. 能否解释"为什么标准正交基下的坐标不用解方程",并说出"正交"与"单位长"各自的作用?
  2. 能否写出 Gram–Schmidt 的递推公式(Strang 写法与国内写法各一遍),并说明两者为什么分母不同?
  3. 能否证明"标准正交向量组线性无关"?证明里用到的关键一步是什么?
  4. 能否说出 是长方形且列标准正交时, 与 分别是什么(维数、秩、是否等于 )?
  5. 能否说明为什么用 QR 解最小二乘比用法方程更稳(条件数角度)?
  6. 能否举出三个正交矩阵的例子(旋转、反射、置换)并分别说出它们的行列式?

关联与后续用法

  • 4-2-投影与投影矩阵:一般投影公式 与本章 的关系;例题 8 用"正交投影的唯一性"把两者划上等号。
  • 4-3-最小二乘逼近:法方程的推导在那里;本章给出它的稳定解法 ,以及"列标准正交时法方程退化为 "。
  • 4-1-四大子空间的正交性: 与 是一对对偶的正交投影,分别投向 与 。
  • 5-1-行列式的性质:、、 都在那里证明,是本章例题 8 第 (4) 部分的依据。
  • 5-2-排列与代数余子式:例题 4 用到的范德蒙德行列式在那里给出通项公式。
  • 5-3-克莱姆法则与体积:把 读成"体积 = 逐步相乘的底×高",几何解释在那里展开。
  • 3-4-线性无关基与维数:Gram–Schmidt 的前提是向量组线性无关;秩亏时如何判断与处置也在那里。
  • 3-5-四大子空间的维数:、投影矩阵的迹等于子空间维数,用维数语言重新表述本章结论。
  • 2-5-LU分解与转置置换:(下三角初等矩阵)与 (正交矩阵)是两种"化三角"的路线,对照看能看清"为什么要正交"。
  • 9-2-Hermitian矩阵与酉矩阵:把实数域换到复数域,正交矩阵升级为酉矩阵, 升级为 ,全部结论保持。
  • 10-4-傅里叶级数与函数空间:傅里叶系数就是"函数空间中的内积坐标",是本章定理 4.4.2 的无穷维版本。
  • 7-3-主成分分析PCA:用样本协方差矩阵的特征向量作为新的标准正交基,实现去相关与降维——本章的正交基是它的骨架。
  • 6-4-对称矩阵与正定矩阵:,把本章的正交矩阵用到对称矩阵的对角化上。
  • 7-1-SVD的构造与几何意义: 的推广;对 与 各做一次正交化就得到 SVD。
  • 11-1-数值稳定性与LU / 11-2-范数与条件数:Gram–Schmidt 的正交性丢失与条件数的定量分析。
  • 附录-矩阵分解总览:、、、 的统一对比。

相关笔记

  • 4-2-投影与投影矩阵 —— 一般投影公式 与本节 的关系
  • 4-3-最小二乘逼近 —— 法方程的推导,以及"用 QR 解最小二乘"的动机
  • 4-1-四大子空间的正交性 —— 正交补与 ,理解 与 两个正交投影
  • 5-1-行列式的性质 —— 、 的证明依据
  • 6-4-对称矩阵与正定矩阵 —— :用标准正交基对角化对称矩阵
  • 7-1-SVD的构造与几何意义 —— 把 QR 推广为 ,四个子空间的标准正交基
  • 11-1-数值稳定性与LU / 11-2-范数与条件数 —— Gram–Schmidt 数值不稳定性与条件数的定量分析
  • 附录-矩阵分解总览 —— 、、、 的统一对比
  • 3-5-四大子空间的维数 —— 用维数语言重述本章结论:,投影矩阵的迹等于子空间维数
  • 5-2-排列与代数余子式 —— 例题 4 用到的范德蒙德行列式在那里给出通项,
  • 5-3-克莱姆法则与体积 —— 把 读成"体积 = 逐步相乘的底 × 高",几何解释在那里展开
  • 8-3-相似矩阵与基变换 —— 例题 7 中用"基变换不改变行列式"定出 ;正交矩阵是最特殊的一类基变换

参考来源

  • MIT OpenCourseWare 18.06 Linear Algebra, Lecture 17: Orthogonal matrices and Gram-Schmidt —— https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/resources/lecture-17-orthogonal-matrices-and-gram-schmidt/ (2026-10-11 访问,HTTP 200)
  • MIT OpenCourseWare 18.06 Linear Algebra(课程主页)—— https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/ (2026-10-11 访问,HTTP 200)
  • Gilbert Strang, Introduction to Linear Algebra 官方网站 —— https://math.mit.edu/~gs/linearalgebra/ (2026-10-11 访问,HTTP 200)
  • NumPy 官方文档 numpy.linalg.qr —— https://numpy.org/doc/stable/reference/generated/numpy.linalg.qr.html (2026-10-11 访问,HTTP 200)
  • SciPy 官方文档 scipy.linalg.qr(含 mode 与列主元参数说明)—— https://docs.scipy.org/doc/scipy/reference/generated/scipy.linalg.qr.html (2026-10-11 访问,HTTP 200)
  • Strang, Gilbert. Introduction to Linear Algebra, 5th ed. Wellesley-Cambridge Press, 2016, §4.4(Orthogonal Bases and Gram-Schmidt)。(教材,文字引用)
  • 同济大学数学系《线性代数》第六版,高等教育出版社(施密特正交化、正交矩阵的定义与性质)。(教材,文字引用)