w wyl123ly 的博客
MD

6-4-对称矩阵与正定矩阵

117 KB 2026.10.11 原文件

6-4-对称矩阵与正定矩阵

一句话概括

实对称矩阵(symmetric matrix)是线性代数里"最好"的矩阵:它的特征值全是实数,特征向量可以选成正交的,因此一定能正交对角化(orthogonally diagonalizable):

若进一步要求所有特征值为正,就得到正定矩阵(positive definite matrix),它等价于"二次型恒正":

正定矩阵是"开口向上的碗",是多元微积分里二阶充分条件、最小二乘、椭圆分类、协方差矩阵的共同语言。

本篇覆盖:对称矩阵可正交对角化(谱定理)及证明思路、与一般对角化的对比、正定的五个等价条件及相互推导、半正定与负定、能量视角、正定性在优化中的意义、 的半正定性证明、二次曲线曲面分类,以及 numpy 检验代码。

一、定义

1.1 实对称矩阵

定义 6.4.1(对称矩阵) 设 是 阶实方阵。若

则称 为实对称矩阵。

定义 6.4.2(正交矩阵) 若 阶实方阵 满足

则称 为正交矩阵(orthogonal matrix)。等价地, 的 个列向量构成一组标准正交基(orthonormal basis):两两正交且长度为 1。

定义 6.4.3(正交对角化) 若存在正交矩阵 与对角矩阵 使

则称 可正交对角化。

正交对角化比一般对角化"强"在哪里

一般对角化是 ,需要求 ;正交对角化是 ,用转置代替了求逆。从计算和理论两方面看都是巨大的简化:

- ,不需要做任何消元或求逆运算;

- 保持长度与夹角(),所以 的几何意义是"旋转 → 沿坐标轴伸缩 → 转回来",不含任何"剪切"或"歪斜";

- 数值上非常稳定( 的条件数是 1,这是可能的最好值),见 11-2-范数与条件数。

1.2 正定矩阵

定义 6.4.4(正定、半正定、负定、不定) 设 是 阶实对称矩阵,。

名称条件记号
正定(positive definite) 对一切 成立
半正定(positive semidefinite) 对一切 成立
负定(negative definite) 对一切 成立
半负定(negative semidefinite) 对一切 成立
不定(indefinite)既有 又有 —

三个必须注意的前提

1. 正定性只对对称矩阵定义。 严格地说,""这个条件只依赖于 的对称部分 ,因为 (反对称部分贡献为 0)。所以本库统一约定:讨论正定性时, 默认是对称矩阵;若非对称矩阵出现,先对称化再讨论。

2. 必须排除。 否则 会让""永远不可能成立。

3. "正定"与"元素为正"毫无关系。 的元素全为正,但不是正定(特征值 ); 有负元素,却是正定的(特征值 )。

1.3 二次型

定义 6.4.5(二次型,quadratic form) 设 是 阶实对称矩阵,称关于变量 的二次齐次多项式

为二次型,并称 为该二次型的矩阵。由于交叉项 与 的系数相同(都取自 ),二次型与对称矩阵一一对应。

例 时, 对应

注意交叉项系数是 而不是 —— 这是二次型与对称矩阵对应时最常见的抄写错误。


二、几何直观

2.1 对称 = 沿"主轴"纯伸缩

任意矩阵 都可以分解为"旋转 + 沿垂直方向伸缩 + 旋转"(这就是 SVD,见 7-1-SVD的构造与几何意义)。对称矩阵的特殊之处在于:伸缩方向本身互相垂直,不需要 SVD 中的两组不同的方向。用公式说:

读法:把 投影到各个特征方向 上(得到坐标 ),把每个坐标乘以 ,再拼回来。由于 是一组标准正交基,这个过程完全没有"串扰"。这就是"主轴"(principal axes)一词的来源: 就是变换的主轴。

对比一般矩阵 : 的列虽然也是特征方向,但它们未必垂直,所以"沿特征方向分解"时各个方向的贡献会互相干扰(需要 而不是 才能正确提取坐标)。对称性的几何含义就是:主轴自动正交。

2.2 能量视角: 是"能量函数"

把 对称对角化,代入二次型:

因为 是正交矩阵, 只是把 旋转了一下(不改变长度,)。所以在新的(主轴)坐标系里,二次型变成了纯平方和,系数就是特征值:

这个式子说明了一切:

  • 所有 :只要 ,。函数图像是开口向上的碗(抛物面),原点是最低点。
  • 所有 :图像是开口向下的碗(倒扣的碗),原点是最高点。
  • 有正有负:图像是马鞍面(saddle)—— 在某些方向上升、在另一些方向下降,原点不是极值点。
  • 有 :某个方向完全"平坦"( 沿该方向恒为 0),图形退化成"槽"(抛物柱面),原点不是孤立极值点。

2.3 正定 ⟺ 碗口向上

能量曲面的形状对照

| 特征值符号 | 二次型 | 曲面形状 | 原点性质 |

|---|---|---|---|

| 全正 | 正定 | 开口向上的碗(椭圆抛物面) | 严格极小值点 |

| 全负 | 负定 | 开口向下的碗 | 严格极大值点 |

| 全非负且有 0 | 半正定(退化) | 槽形(含一条平坦方向) | 极小值点但不严格 |

| 有正有负 | 不定 | 马鞍面 | 鞍点,不是极值 |

把 想成"碗的曲率":正定说"无论朝哪个方向走,能量都上升"。这正是多元函数极值二阶条件的直观内容。

2.4 二次曲线与二次曲面

令 ,就得到二次曲线()或二次曲面()的方程。在主轴坐标系下它是

这是标准形式,直接读出图形:

特征值符号() 的图形
全正椭圆(半轴 、)
一正一负双曲线
有 0,另一个正两条平行直线(退化)
全负无实图形(空集)
特征值符号() 的图形
全正椭球面
两正一负单叶双曲面
一正两负双叶双曲面
有 0椭圆柱面(或退化)

"正定 ⟺ 椭圆/椭球"是本篇最有用的一句话。 例: 的矩阵 特征值为 全正,故是椭圆;而 的矩阵 特征值为 ,符号相反,故是双曲线。


三、性质与定理:谱定理

3.1 谱定理

定理 6.4.1(谱定理,Spectral Theorem)

设 是 阶实对称矩阵。则

1. 的全部特征值都是实数;

2. 有 个两两正交的特征向量,可以取为标准正交的;

3. 存在正交矩阵 与实对角矩阵 使

结论 1 的证明(特征值全为实数) 这是"实对称"最直接的好处。设 ,其中 , 与 都可能复。

关键技巧:用 的共轭转置左乘,然后比较两边。

对 两边左乘 (共轭转置,记作 ):

现在看 这个数。取共轭转置(它是一个标量,共轭转置就是取复共轭):

最后一步用了 是实矩阵()且对称()。所以 等于自己的共轭,它是一个实数。

又因为 , 是正实数。由 :

故 是实数。

这个商就是 Rayleigh 商

上式出现的比值 称为 Rayleigh 商(Rayleigh quotient)。对对称矩阵它有极值刻画:

这正是下面结论 2 证明思路的基础,也是 6-5-二次型与标准形 与 PCA(7-3-主成分分析PCA)的核心工具。

结论 2 的证明思路(特征向量可取为正交) 两条常见路线。

路线一:用 Schur 分解(最简洁)。

任何实方阵都有实 Schur 分解 ( 正交, 上三角;这是 迭代算法的理论依据,见 11-3-迭代方法与预条件)。若 对称,则

上三角矩阵等于自己的转置,只能是… 设 上三角且 ,则对 有 ,故 非对角元全为 0,即 是对角矩阵。于是 ,且 的列就是一组标准正交的特征向量。

路线二:用极值原理(更有几何感,Strang 课堂的做法)。

考察连续函数 在单位球面 (这是 中的紧集)上的最大值。由 Weierstrass 定理,最大值在某个点 取得。用 Lagrange 乘子法:在约束 下求 的极值,令

对 求梯度并令其为零(用 ,因为 对称):

极值点就是特征向量,Lagrange 乘子就是特征值! 此时 ,所以 。

接下来:取 的正交补空间(维数 ),在这个子空间上重复同样的论证,得到 与 ;继续下去得到 个两两正交的单位特征向量。这就在几何上构造出了完整的标准正交特征向量组。

结论 3 由结论 2,取 个标准正交特征向量按列拼成 。则 正交(),且由 ()得 ,两边左乘 :,即 。

适用条件 三项结论全部依赖 是实对称矩阵。非对称矩阵的特征值可能是复数、特征向量可能不正交(见下面的对比表)。

3.2 与一般矩阵对角化的对比

对比表:这是本篇最该记住的一张表

| 对比项 | 一般矩阵 (可对角化) | 实对称矩阵 |

|---|---|---|

| 分解形式 | | |

| 特征向量矩阵 | ,可逆但一般不正交 | ,正交() |

| 特征向量之间的关系 | 一般不正交 | 两两正交,可取单位长度 |

| 特征值 | 可能为复数 | 一定为实数 |

| 是否需要求逆 | 需要算 | 不需要,转置即可 |

| 是否总可对角化 | 不一定(可能缺特征向量) | 一定可以(谱定理保证) |

| 几何意义 | 斜伸缩(沿不垂直的方向) | 旋转 + 沿正交轴的伸缩 + 转回 |

| 数值稳定性 | 可能病态,条件数大 | 条件数为 1,最优 |

| 是否有线性无关特征向量 | 需检查 | 自动满足,无需检查 |

| 典型例子 | (可)、(不可) | 任何 |

一句话总结:对称矩阵把"可对角化"这个有时成立的性质升级成了永远成立,并且额外白送"正交"和"实特征值"。

3.3 正定的五个等价条件

定理 6.4.2(正定的五个等价条件)

设 是 阶实对称矩阵。则下列五条互相等价:

1. (定义) 对一切 ,;

2. (特征值) 的全部特征值都是正数:,;

3. (顺序主子式) 的所有顺序主子式(leading principal minors)都是正数:

4. (分解) 存在可逆矩阵 使 ;

5. (消元) 高斯消元(不换行)得到的主元全为正:。

这五条常被概括为:能量恒正 ⟺ 特征值全正 ⟺ 顺序主子式全正 ⟺ 可写成 ⟺ 主元全正。

相互推导的思路(理解这五条如何串成一个环)

推导环路

(1)(2) 设 是特征值, 是对应的单位特征向量(由谱定理可取单位长度)。则

因为 ,由(1)得 。这就是"取特殊向量代入定义"的典型用法。

(2)(1) 用谱定理 。令 :

(因为 可逆),故至少有一个 ,于是 (每个 且至少一项不为零)。

(2)(4) 由(2)每个 ,故 是正实数。令

则 ,于是

其中 ,它是可逆的(两个可逆矩阵之积: 的对角元 , 正交)。

(4)(1) 对任意 ,

因为 可逆,,故 。

(4)(3) 对任意 ,取 为 的前 列组成的 矩阵。分块计算可得 (因为 的第 元素是 第 、 列的内积,前 阶主子式只用前 行前 列,即只需 的前 列)。由 Cauchy–Binet 公式(或直接看作 维版本的(4)(1)):

因为 的秩为 , 的秩为 ,故至少有一个 阶子式非零,所以平方和严格为正。(更简单的说法: 是 阶正定矩阵,其行列式等于全部特征值之积,全正。)

(3)(5) 高斯消元(不换行)与顺序主子式的关系是

(这是 分解的直接推论:,取行列式得 ,见 2-5-LU分解与转置置换。)若所有 ,归纳即得所有 。

(5)(1) 消元给出 ( 单位下三角,)。令 ( 可逆,):

五个条件各自的"实用场合"

| 条件 | 什么时候最好用 | 代价 |

|---|---|---|

| (1)定义 | 证明题、理论上验证;已知 时 | 手算几乎不可行(要验证所有 ) |

| (2)特征值 | 已知特征值、或矩阵有特殊结构(如 ) | 需要解特征方程, 时费力 |

| (3)顺序主子式 | 手算最常用;、 时最快 | 要算 个行列式 |

| (4) | 理论证明最常用;最小二乘、协方差矩阵 | 需要先构造 (或已知) |

| (5)主元 | 已经有了消元结果;Cholesky 分解的副产品 | 需要做消元 |

顺序主子式:必须"顺序",不能只查一个

(3)要求的是"顺序主子式"( 阶、 阶、…、 阶全部),不是任意主子式。 反例:

它的特征值是 ,不是正定(半正定)。顺序主子式:(不是正数),所以被(3)正确地排除。

另一个方向的陷阱: 单独不能推出正定。例如 的 ,但它是负定的(两个特征值都是负的)。所以必须检查全部 个顺序主子式。同理 也不能推出正定(如 ,;或 , 但不定)。

3.4 半正定与负定的判别

定理 6.4.3(半正定与负定的判别)

半正定()的等价条件:

1. 对一切 ,;

2. 所有特征值 ;

3. 存在矩阵 (不必可逆)使 ;

4. 所有主子式(不只是顺序主子式);

5. 消元主元 。

负定()的等价条件(只需注意符号交替):

1. 对一切 ,;

2. 所有特征值 ;

3. 顺序主子式符号交替:,即

4. 是正定矩阵。

(负定判据的比较) 也可以直接写成一个更易记的形式: 负定 的所有 阶顺序主子式的符号为 。以 为例: 负定要求 、。验证: 满足 、,特征值 全负 ✓。

半正定判据为什么必须用"所有主子式"

顺序主子式对半正定是必要不充分的。反例:

顺序主子式:、,全都非负,但 不是半正定(特征值 与 ,取 得 )。

原因:交换行列顺序会改变"顺序主子式"的集合,而半正定性在同时置换行列下不变。所以半正定必须检查所有主子式(任意选取 行与同样的 列)。正定则没有这个问题——正定在置换下不变,且顺序主子式判据恰好充分。

3.5 一定半正定

定理 6.4.4( 的半正定性)

设 是任意 实矩阵。则

1. 是 阶对称半正定矩阵;

2. 是正定的 的列向量线性无关(即 ,等价地 )。

证明(结论 1)

对称性: ✓。

半正定:对任意实向量 ,

(这就是定理 6.4.2 条件(4)取 的情形。注意这里 一般不可逆,所以只得到半正定。)

证明(结论 2)

()设 的列线性无关,即 。若 ,由上面的计算 ,故 ,即 ,所以 。于是对一切 都有 ,即正定。

()设 正定。若 ,则 ,由正定性必须有 。故 ,即 的列线性无关。

这条定理为什么重要:它连接第 4 章

最小二乘的法方程是(见 4-3-最小二乘逼近)

定理 6.4.4 告诉我们:只要 的列线性无关,系数矩阵 就是正定的,法方程就有唯一解 。

这解释了最小二乘理论中"列满秩"这个假设的真正用途:

- 列无关 正定 可逆 法方程有唯一解 最小二乘问题有唯一最优解;

- 列相关时 只是半正定(奇异),法方程有无穷多解,此时要用伪逆(见 7-1-SVD的构造与几何意义)。

顺便得到数值计算的启示:因为 对称正定,可以用 Cholesky 分解快速求解(比一般 LU 快一倍,且不用选主元),见下面的代码示例。

3.6 正定矩阵在优化中的意义

定理 6.4.5(多元函数极值的二阶条件)

设 二阶连续可微, 满足 (驻点), 是Hessian 矩阵(Hessian matrix,即二阶偏导数矩阵 )。

1. 若 正定 是严格局部极小值点;

2. 若 负定 是严格局部极大值点;

3. 若 不定 是鞍点(不是极值点);

4. 若 半正定但奇异 二阶条件失效,需要看更高阶的导数(例如 在 处 但仍是极小值)。

证明思路(结论 1) 在驻点附近作二阶 Taylor 展开(这里 ):

若 正定,令 为其最小特征值,则 (因为 )。于是

对充分小的 成立,即 是严格局部极小值点。

为什么"对称 + 正定"是优化里的黄金组合

1. Hessian 天然对称:只要 二阶连续可微,(Clairaut 定理),所以 。于是谱定理自动适用: 的特征值全为实数,可以谈"符号"。

2. 正定性给出"碗"的保证: 是"局部是凸的、碗口向上"的精确表述。若 在整个定义域上处处正定,则 是严格凸函数,驻点就是全局最小值点。

3. 正定矩阵定义了"椭球范数": 是一个合法的范数(见 11-2-范数与条件数),它的单位球是椭球。Newton 法、信赖域方法、拟 Newton 法中的度量矩阵都要求正定。

4. 它是"良态"的代数标志:正定矩阵的所有特征值同号且非零,条件数 有限,因此可逆且数值稳定,Cholesky 分解不需要选主元。


四、计算方法与步骤

4.1 对称矩阵的正交对角化

五步法

1. 验证对称性:确认 。若不对称,谱定理不适用(但仍可能一般可对角化,见 6-2-矩阵的对角化)。

2. 求特征值:解 。由谱定理,所有根都是实数——若算出复数根,一定是算错了。

3. 求特征向量:对每个 解 。属于不同特征值的特征向量自动正交(定理 6.4.6),无需处理。

4. 重根时在同一特征空间内正交化:若某个特征值的几何重数 ,其基础解系中的向量未必正交,需要在该特征空间内做 Gram–Schmidt 正交化(见 4-4-标准正交基与Gram-Schmidt)。跨不同特征值的向量不必处理,它们已经正交。

5. 单位化并拼成 :把每个特征向量除以自己的长度,按列拼成 ; 的对角元按同样顺序填特征值。验算 与 。

4.2 判断正定性的实用流程

手算优先用顺序主子式,理论证明优先用

1. 先看必要条件(快速排除):若 对某个 成立,则 不是正定(取 得 )。

2. 的速判: 正定 且 (两条顺序主子式)。

3. 及以上:算 ,全部为正才正定。若某个顺序主子式为 0,则不是正定(可能是半正定,改查所有主子式)。

4. 若已做消元:直接看主元(),全正即正定。

5. 若已知 且 可逆(如 且 列满秩):直接判定正定,无需计算。

6. 数值上:用 numpy.linalg.cholesky——它只在正定时成功,抛 LinAlgError 就说明不是正定。这是最快的数值判据(见 4.4 节代码)。

4.3 Cholesky 分解:正定矩阵的专用分解 正定矩阵有自己专属的、比 LU 更快更省的分解:

定理 6.4.6(Cholesky 分解)

设 正定。则存在唯一的对角元为正的下三角矩阵 使

这就是定理 6.4.2 条件(4)中 的特例,且 是下三角的。

与 LU 的关系:正定矩阵消元时主元全正,且由对称性 ;令 (把 分配到 的第 列),即得 。

优点:计算量约为 LU 的一半,存储量也约一半,且不需要选主元(主元全正,不会出现零主元或小主元问题)。这就是为什么最小二乘的正规方程、有限元刚度矩阵、协方差矩阵求逆都优先用 Cholesky。

4.4 用 numpy 检验正定性

import numpy as np

def classify(A, tol=1e-10):
    """判定实对称矩阵的正定性类型。"""
    A = np.asarray(A, dtype=float)
    assert np.allclose(A, A.T), "A 不是对称矩阵"

    # ---- 方法一:特征值(最可靠)----
    w = np.linalg.eigvalsh(A)          # 对称矩阵专用,返回升序实特征值
    if np.all(w > tol):
        kind = "正定 (positive definite)"
    elif np.all(w >= -tol) and np.any(np.abs(w) <= tol):
        kind = "半正定 (positive semidefinite)"
    elif np.all(w < -tol):
        kind = "负定 (negative definite)"
    elif np.all(w <= tol) and np.any(np.abs(w) <= tol):
        kind = "半负定 (negative semidefinite)"
    else:
        kind = "不定 (indefinite)"

    # ---- 方法二:顺序主子式 ----
    minors = [np.linalg.det(A[:k, :k]) for k in range(1, len(A) + 1)]

    # ---- 方法三:Cholesky 是否成功(最快的数值判据)----
    try:
        np.linalg.cholesky(A)
        chol_ok = True
    except np.linalg.LinAlgError:
        chol_ok = False

    return kind, w, minors, chol_ok


tests = {
    "A = [[2,1],[1,2]]":        [[2, 1], [1, 2]],
    "B = [[2,6],[6,3]]":        [[2, 6], [6, 3]],
    "C = [[2,4],[4,8]]":        [[2, 4], [4, 8]],
    "D = [[1,2],[2,1]]":        [[1, 2], [2, 1]],
    "E = [[-2,-1],[-1,-2]]":    [[-2, -1], [-1, -2]],
    "F = [[2,0,0],[0,3,4],[0,4,9]]": [[2, 0, 0], [0, 3, 4], [0, 4, 9]],
}

for name, M in tests.items():
    kind, w, minors, chol = classify(M)
    print(f"{name}")
    print(f"   类型      : {kind}")
    print(f"   特征值    : {np.round(w, 6)}")
    print(f"   顺序主子式: {[round(float(m), 6) for m in minors]}")
    print(f"   Cholesky  : {'成功' if chol else '失败'}")
    print()

# ---- 逐一验证“定义”条件(随机采样)----
rng = np.random.default_rng(0)
X = rng.normal(size=(20000, 2))
for name, M in [("A = [[2,1],[1,2]]", [[2, 1], [1, 2]]),
                ("D = [[1,2],[2,1]]", [[1, 2], [2, 1]])]:
    M = np.array(M, dtype=float)
    q = np.einsum("ij,jk,ik->i", X, M, X)     # 批量计算 x^T M x
    print(f"{name}: 20000 个随机 x 上 x^T A x 的最小值 = {q.min():.6f}")

运行结果

A = [[2,1],[1,2]]
   类型      : 正定 (positive definite)
   特征值    : [1. 3.]
   顺序主子式: [2.0, 3.0]
   Cholesky  : 成功

B = [[2,6],[6,3]]
   类型      : 不定 (indefinite)
   特征值    : [-3.520797  8.520797]
   顺序主子式: [2.0, -30.0]
   Cholesky  : 失败

C = [[2,4],[4,8]]
   类型      : 半正定 (positive semidefinite)
   特征值    : [ 0. 10.]
   顺序主子式: [2.0, 0.0]
   Cholesky  : 失败

D = [[1,2],[2,1]]
   类型      : 不定 (indefinite)
   特征值    : [-1.  3.]
   顺序主子式: [1.0, -3.0]
   Cholesky  : 失败

E = [[-2,-1],[-1,-2]]
   类型      : 负定 (negative definite)
   特征值    : [-3. -1.]
   顺序主子式: [-2.0, 3.0]
   Cholesky  : 失败

几点值得注意: 的顺序主子式是 与 ,符号交替(、),正是负定的判据; 是半正定而不是正定(有零特征值),Cholesky 失败但定义条件仍满足 ;随机采样的最小值对 是 (正定),对 是 (不定)——这与理论完全一致,也说明"随机采样"只能用作佐证,不能替代严格判据(采不到恰好让 的方向)。


五、例题

例 6.4.1(对称矩阵的正交对角化,完整过程)

题目 把 正交对角化,并写出 。

解

第一步:验证对称性。 ✓。由谱定理,可正交对角化。

第二步:求特征值。

故 ,,都是正实数 ✓(正定性将在例 6.4.2 判定)。自检: ✓, ✓。

第三步:求特征向量。

:,方程 ,取 。

:,方程 ,取 。

第四步:检查正交性。 ✓。属于不同特征值的特征向量自动正交(定理 6.4.6),这里验证了这一点。

第五步:单位化。

第六步:拼出 与 。

第七步:验算。

先验正交性:

再验 :

几何解释 的作用是:先把坐标轴旋转 (即 ),得到主轴方向 ( 方向)与 ( 方向);然后在 方向保持长度()、在 方向拉伸 3 倍();最后转回原坐标系。

答 ,其中 、。

顺便写出谱分解。 由 展开:

这就是"秩 1 矩阵之和"形式的谱分解(spectral decomposition):对称矩阵是"若干个正交投影的加权和",权重就是特征值。、协方差矩阵的谱分解都取这个形式。

例 6.4.2(用五个条件判定正定性)

题目 判断 是否正定(这道题的矩阵来自一维 Laplacian/弦的离散化,与 10-1-图与网络 相关)。

解 先验对称性: ✓。

用条件(3)顺序主子式:

按第一行展开(只有两个非零元):

三个顺序主子式全正 正定。

用条件(2)特征值交叉验证: ,。数值计算给出 ,全为正 ✓(且 ✓, ✓)。

用条件(5)主元交叉验证: 不换行消元,

全为正 ✓。顺便验证公式 ✓, ✓。

用条件(4)构造 : 可以做 Cholesky 分解 ,其中

即 的对角元是 。取 即得 ,且 可逆(对角元非零)✓。

答 正定。五个条件全部验证通过。

这道题的物理背景

这个矩阵是一维 Laplacian(弦/杆的离散化):对角元是节点度数 2,相邻节点为 。它正定意味着弹性势能 恒正(除全零位移),即任何非平凡的形变都要消耗能量,静止状态是唯一的能量最低点。这就是"稳定平衡"的代数表述。

对比:若是周期边界(一圈弹簧,,见 10-1-图与网络),则整体平移 给出 ,即零特征值、零能量。这个 的特征值是 :半正定但奇异(,顺序主子式为 ,最后一个为 0 说明它不是正定),对应"整体位移不耗能"这一物理事实。边界的处理方式(固定端 vs 周期)决定了矩阵是正定还是半正定——这是有限元与 PDE 数值解中的核心话题。

例 6.4.3(二次曲线的分类) 题目 判断下列二次曲线的类型:

(a);(b);(c)。

解

(a) 写出二次型矩阵(注意交叉项系数要除以 2):

特征值:,故

(自检: ✓, ✓。)两个特征值全正 正定 图形是椭圆。

主轴方向: 时 ,,取 ; 时取 。

在新坐标 、 下,方程化为标准形

半轴长 (沿 方向)、(沿 方向)。这是一个长轴在 方向的椭圆。

(b) 矩阵 。特征值:,故

特征值符号相反 不定 图形是双曲线。

标准形:,即 ,是以 轴( 方向,对应正特征值)为实轴的双曲线。

(c) 矩阵 。特征值:,故

有零特征值 半正定但奇异 图形退化。 标准形 ,即 ,:两条平行直线。

答 (a)椭圆;(b)双曲线;(c)两条平行直线(退化)。

分类的口诀

只看特征值的符号(不需要算出具体数值):

- 全正 椭圆( 维:椭球)

- 全负 空集( 无解,因为左边恒 而右边为 1)

- 一正一负 双曲线( 维:双曲面)

- 至少一个零、其余同号 退化(平行直线、抛物柱面等)

- 至少一个零且其余异号 退化(一对相交直线,例如 )

这就是为什么"正定"值得单独命名:正定恰好对应"椭圆/椭球"这一最规整、最有用的情形。

例 6.4.4(:最小二乘中的正定性)

题目 给定数据矩阵(设计矩阵)

分别判断 与 是否正定,并说明对最小二乘求解的影响。

解

对 : 先看 的列。第 2 列 第 1 列,列线性相关()。由定理 6.4.4, 只半正定。直接算:

特征值:。

故 ,。有零特征值 半正定但奇异(,秩为 1)。

对 : 第 2 列是否 第 1 列?,故列线性无关()。由定理 6.4.4, 正定。直接算:

特征值:。

故 ,即 ,,都为正 正定(,,且判别式 保证两实根同号为正)。

对最小二乘的影响:

(列相关)(列无关)
12
,奇异,正定
特征值
条件数
法方程 无穷多解(两个未知量只有一个独立方程)唯一解
几何 到列空间(一条直线)的投影 到列空间(一张平面)的投影
  • 的情形:两个待定参数只有一个独立方程(),有无穷多组 给出同一个拟合结果。此时需要伪逆(pseudo-inverse) 来挑选"最小范数解",见 7-1-SVD的构造与几何意义。
  • 的情形: 正定,法方程有唯一解 。但条件数 已经偏大( 的两列 倍——具体地说 与 很接近平行),数值求解时误差会被放大千倍。这正是数值线性代数中不直接解正规方程、而用 QR 或 SVD 的原因(见 11-2-范数与条件数)。

答 半正定(奇异,); 正定()。

一个必须记住的区分

永远半正定,但只有 列满秩时才正定。 这是"半正定"与"正定"在实践中最重要的分界线:

- 半正定但奇异 不可逆,法方程解不唯一,需要伪逆或正则化(ridge 回归就是在对角线上加 ,把半正定"抬"成正定,见 7-3-主成分分析PCA);

- 正定 可逆、可用 Cholesky、解唯一。


六、应用

6.1 优化:二阶条件与 Hessian

多元函数极值判定的完整逻辑链是"一阶条件 + 二阶条件":

  1. 求梯度 ,得到驻点(候选极值点);
  2. 求 Hessian 并判断其定性(定理 6.4.5)。

最重要的一类情形是二次函数 ( 对称)。此时

于是: 有唯一全局最小值点 正定,此时最小值点就是 的解!"解线性方程组"与"求二次函数最小值"是同一件事 —— 这就是共轭梯度法(见 11-3-迭代方法与预条件)的理论出发点。

实践中的应用清单

- 最小二乘: 的 Hessian 是 ,正定(列满秩时)保证唯一解。

- Newton 法:迭代 ;若 不正定,牛顿方向可能不是下降方向,需要修正(如加 使之正定,即 Levenberg–Marquardt、信赖域方法)。

- 凸优化: 凸 处处成立;严格凸 。凸性保证"局部最优 = 全局最优",这是现代机器学习的基石。

- 机器学习中的核矩阵:核函数必须使 Gram 矩阵 半正定(Mercer 条件),否则最优化问题非凸、解不稳定。

- 统计学:协方差矩阵 半正定(正定当且仅当没有完全共线的分量),其逆 是精度矩阵;多元高斯密度的指数上就是正定二次型(见 12-2-协方差矩阵、12-3-多元高斯与加权最小二乘)。

6.2 二次曲线与二次曲面的分类

分类完全由特征值的符号决定(见例 6.4.3)。实用价值:

  • 椭圆的半轴长度是 (特征值越大,该方向越"紧"、半轴越短)。
  • 主轴方向就是特征向量方向,即"最陡"与"最缓"的方向。
  • 误差椭球:在参数估计中, 的协方差是 ,其等值面是以 的特征向量为主轴、半轴为 的椭球。参数的不确定性大小就直接来自特征值 —— 特征值很小(近似共线)意味着该方向参数极不确定,这正是"多重共线性"问题的几何图像。

6.3 力学中的能量与稳定性

对线性弹性系统,势能是二次型 ( 是刚度矩阵,stiffness matrix),动能是 ( 是质量矩阵)。于是:

  • 正定 平衡状态稳定(任何非零位移都增加能量);
  • 半正定但奇异 存在"零能模式"(刚体位移),系统可以自由平移而不耗能;
  • 振动方程 的解由广义特征值问题 给出, 是固有频率、 是振型/模态(mode shape)。因为 、 都(半)正定,,频率都是实数——这就是物理世界不会出现"复频率"的代数原因(若出现,对应指数增长的不稳定,即结构失稳/颤振)。

6.4 与第 4 章、第 7 章的连接

主题用到的正定性结论相关笔记
最小二乘的适定性 正定 列满秩[[4-3-最小二乘逼近]]
投影矩阵 中的求逆需要正定性[[4-2-投影与投影矩阵]]
Gram 矩阵 半正定,秩 [[4-4-标准正交基与Gram-Schmidt]]
协方差矩阵半正定;特征值 = 各主成分方差[[12-2-协方差矩阵]]
PCA对协方差矩阵做谱分解,主轴即特征向量[[7-3-主成分分析PCA]]
SVD 正是谱定理的应用[[7-1-SVD的构造与几何意义]]
二次型标准化配方法、惯性定理、Rayleigh 商[[6-5-二次型与标准形]]

七、易错点

十二个高频错误

1. 对非对称矩阵谈"正定"。 正定性只对对称矩阵定义。若给出 问是否正定,标准做法是先对称化:,只需判断 。

2. 以为"元素全为正"就是正定。 元素全正但不定(特征值 ); 有负元素却正定。必须看特征值或主子式,不能看元素符号。

3. 顺序主子式只查了一个或漏了。 正定要求全部 个顺序主子式为正。常见错误是只算 就下结论。反例: 的 但负定。

4. 半正定时误用"顺序主子式"。 半正定要检查所有主子式(任意行、列指标集),不能只查顺序的。反例: 的顺序主子式是 都非负,但它不是半正定。

5. 负定的符号规律记错。 负定要求 、、,即符号为 (),不是全负。

6. 二次型与矩阵对应时把交叉项系数搞错。 对应 (系数是 ,因为交叉项要算两次)。若写成 就错了。写矩阵时记住 中 与 各出现一次。

7. 以为对称矩阵的特征向量"天然"单位正交。 对称矩阵只保证存在一组标准正交特征向量。用消元法求出的基础解系未必是单位向量、也未必在同一特征空间内正交。属于不同特征值的特征向量自动正交(定理 6.4.6);同一特征值(重根)内部必须自己做 Gram–Schmidt。

8. 忘了在重根内部做正交化。 例: 的特征值 互异,可以不做;但若某个特征值重数为 2,其基础解系必须正交化 + 单位化,否则 不是正交矩阵, 不成立。

9. 把 写成 就以为完事了。 两者都正确,但正交对角化的价值就在于 。若写 就丢掉了"不必求逆"这一核心优势,也容易在计算中算错。

10. 的"列无关"条件漏掉。 记住: 永远半正定,只有列满秩时才正定。列相关时 ,存在非零 使 ,于是 ,破坏正定性。

11. 混淆"可逆"与"正定"。 正定 可逆(特征值全正故无零特征值),但可逆不蕴含正定(如 可逆但不定)。另外只有方阵才谈可逆和正定。

12. 数值判断正定时不看容差。 np.linalg.eigvalsh 返回的特征值会有浮点误差。判断""时要用容差(如 ),否则一个数学上正定但条件数极大的矩阵可能报出 的"负特征值"。条件数越大,"正定"这个性质在数值上越脆弱 —— 这是"正定但近乎奇异"的矩阵需要用 Cholesky 而不信赖特征值符号的原因。


八、练习题

练习 6.4.1(基础) 把 正交对角化:求特征值、标准正交特征向量、写出 ,并验算 。

练习 6.4.2(基础) 用顺序主子式判断下列矩阵的定性(正定/负定/不定),并用特征值交叉验证:

练习 6.4.3(进阶) 设 (例 6.4.2 的矩阵)。

(a)求 的 分解(不换行),验证主元与顺序主子式的关系 ;

(b)求 的 Cholesky 分解 ;

(c)用(b)的结果求解 ,其中 (提示:先解 再解 )。

练习 6.4.4(进阶) 证明:若 正定、,则 正定;若 、 都正定,则 正定。并举例说明两个正定矩阵之积 未必对称、更未必正定。(提示:先验证 ;对乘积取 、,计算 ,观察它不对称,因此按本库的约定根本不能谈"正定"。)

练习 6.4.5(思考) 设 是 阶实对称矩阵,、 分别是它的最小、最大特征值。

(a)证明 Rayleigh 商不等式:对一切 ,

(提示:令 ,利用 与 。)

(b)由此证明 ,并说明等号在何时取得。

(c)若 正定,证明 ,并解释这个式子在条件数 中的作用。


九、常见问题 FAQ Q1:为什么对称矩阵这么好?能不能把一般矩阵"变成"对称矩阵?

A:对称性带来三件"免费"的好事:实特征值(否则无法比较大小,也就无法谈正负与稳定性)、正交特征向量(,无需求逆,数值稳定)、一定可对角化(不必检查几何重数)。这三件合起来意味着" 维空间可以被一组正交的特征方向完美分解"。

关于"变成对称":有两条常用路径,但都不是"对称化一个矩阵":

  • :任意矩阵左乘自己的转置得到对称半正定矩阵(定理 6.4.4)。这是最小二乘、SVD、PCA 的标准入口。
  • 对称部分 :它只保留二次型的信息( 只依赖它),但不能用来替代 做对角化 —— 和它的对称部分一般有不同的特征值。
  • SVD()是"非对称矩阵的对称化处理"的正确方式:它用两组正交方向( 与 )替代了对称矩阵的一组方向。见 7-1-SVD的构造与几何意义。

Q2:正定的五个条件,考试时应该用哪一个?

A:按矩阵规模和情境选择,手算几乎总是用顺序主子式:

情境首选条件
、 手算顺序主子式(最高效, 个行列式)
已经知道特征值或矩阵有 型结构特征值
题目给出 或"某矩阵的 Gram 矩阵"(直接判定,几乎不用算)
已经做了消元或给了 LU主元
纯理论证明题定义()或
数值计算Cholesky 是否成功(最快)或特征值的符号(最可靠)

一个实用技巧:先用必要条件快速排除。若某个对角元 ,立刻可以断定不是正定(取 ),不必再算。

Q3: 与" 可逆"有什么关系?

A:正定 可逆,但反之不成立。推理:正定 所有 可逆。反例: 可逆()但不定。

进一步,正定性还给出了逆矩阵的正定性:若 正定且 ,则 ,而 的对角元 ,所以 也正定(特征值为 )。这条性质在加权最小二乘(权重矩阵取协方差矩阵的逆)中经常用到,见 12-3-多元高斯与加权最小二乘。

Q4:为什么 总是在最小二乘里出现?它和"正定"是什么关系?

A:最小二乘要极小化 。展开:

这是一个以 为 Hessian 的二次函数(注意 的对称性正是来自于 的形式!)。由定理 6.4.4:

  • 恒半正定 这个二次函数是凸的 驻点即全局最小点;
  • 正定( 列满秩) 严格凸 唯一最小点,由 给出法方程 ;
  • 奇异( 列相关) 最小值不唯一(有一整个仿射子空间都取到最小值),需要伪逆选最小范数解。

所以" 总是半正定、列满秩时正定"这句话,就是最小二乘理论中"为什么要求列满秩"的完整答案。正定性的语言把"最小二乘有唯一解"这件事变成了一个纯粹的代数条件。


十、实对称矩阵的正交对角化

定理 6.4.7(不同特征值的特征向量必正交)

编号说明

本篇 4.1 节的步骤 3 曾把这条结论记为"定理 6.4.6";但 6.4.6 的编号已用于 Cholesky 分解(4.3 节)。本条结论的正式编号是定理 6.4.7,两处指的是同一件事。

表述 设 是 阶实对称矩阵, 是它的两个特征值,、 是对应的特征向量。则 与 正交:

证明 计算的出发点只有一个恒等式:把 用两种方式算两遍。

第 1 步(用 是特征向量)。 因为 ,

第 2 步(用 是特征向量,并把 搬到左边)。 注意 是一个行向量,它就是 。由 与 :

于是

第 3 步(相减)。 由 与 :

因为 ,故 ,即 ✓。

这条定理只保证"不同特征值之间"正交

同一个特征值内部的特征向量未必正交。若 的几何重数 ,用消元法得到的基础解系只是该特征空间的一组普通基,通常既不两两正交、也不是单位向量,必须自己做 Gram–Schmidt 正交化(见 4-4-标准正交基与Gram-Schmidt)。这是"求正交矩阵 "这类题最容易丢分的地方,例 6.4.6 会完整演示。

反过来,非对称矩阵连"不同特征值之间正交"都没有: 的特征向量是 与 ,内积为 。对称性是不可省的前提。

定理 6.4.8(正定性的"合同"刻画与正交对角化汇总)

定理 6.4.8

设 是 阶实对称矩阵。以下三条等价:

1. 正定(对一切 有 );

2. 与单位矩阵合同:存在可逆矩阵 使 ;

3. 的正惯性指数为 (即 的正特征值个数为 )。

证明 (1)(2):由谱定理 ,。取

则 可逆( 正交、 对角元非零),且

(2)(1):设 , 可逆,则 ,其中 可逆。对 ,

(因为 可逆,)✓。这正是定理 6.4.2 条件(4)。

(1)(3):特征值全正 正特征值个数为 ✓。

与惯性定理的关系 把定理 6.4.8 与 6-5-二次型与标准形 的惯性定理合起来读:任何实对称矩阵都合同于 ,其中 是正惯性指数、 是负惯性指数。于是

也就是说: 正定当且仅当它的合同类里最规整的代表是 ,半正定则对应于 。这句话把代数判据与几何形状(椭球)连了起来 —— 见 6-5-二次型与标准形 的惯性定理。

10.1 求正交矩阵 的标准流程

六步法(与 4.1 节一致,这里补上"重根分支")

1. 验证对称性:。不对称则谱定理不适用,回到 6-2-矩阵的对角化。

2. 求特征值:解 。全为实数;算出复数一定是错的。

3. 分情形求特征向量:

- 无重根:每个特征值解一次 ,取基础解系(每个特征值恰好 个向量)。不同特征值的向量自动正交,不需要正交化。

- 有重根:对重根 解 ,其基础解系(共 个向量,且必定 )必须在这张特征空间内部做 Gram–Schmidt 正交化;不同特征值之间仍然不必处理。

4. 单位化:把每个向量除以其长度,得到标准正交组。

5. 拼 与 : 的列与 的对角元按同一顺序对应。

6. 验算: 与 。最省事的两条抽查是 、。

四个高频失分点

1. 重根内部不正交化。 直接拿基础解系当 的列,则 ,,整个答案作废。

2. 忘了单位化。 只正交而不单位化得到的不是正交矩阵, 是对角矩阵而不是 。

3. 的列与 的对角元错位。 必须满足 (第 列配第 个对角元)。

4. 不唯一却以为唯一。 特征向量可以反向()、同一特征空间内可以换任意一组标准正交基、 的对角元可以重排( 的列同步重排)。只要 正交且 成立就是对的。

例 6.4.5(无重根: 对称矩阵的完整正交对角化)

题目

设 。求正交矩阵 与对角矩阵 使 ,并写出 的谱分解。

第 1 步:验证对称性。 ✓。由谱定理,存在正交 使 ,且特征值全为实数。

第 2 步:求特征多项式。 记 (这个换元很关键: 与 的位置都是 )。按第一行展开:

展开:

回代 :;;。故

三个特征值互异(都是正数,顺带说明 正定)。自检: ✓;,直接按第一行展开得 ✓。

第 3 步:逐个求特征向量。

对 :

回代:;。取 :

对 :

回代:;。取 :

对 :

由第一行 ,由第三行 ,故 ;代入第二行验证: ✓。取 :

第 4 步:验证正交性(这是"白送"的检查)。 由定理 6.4.7,不同特征值的特征向量必正交:

三个向量两两正交,且特征值互异,不属于重根情形,无需再做 Gram–Schmidt。

第 5 步:单位化。

第 6 步:拼出 与 。

第 7 步:验算。

正交性: 的三列是标准正交组,故 ,例如第 1 列与第 2 列的内积为 ✓;第 1 列自身内积为 ✓。

对角化:逐列检查 。

(、 同样可验。)不变量自检: ✓, ✓。

第 8 步:写出谱分解。 由 :

逐项相加(用公分母 ):第一项 ,第二项 ,第三项 ,于是

答 ,其中 、 如第 6 步所示;谱分解为 。

谱分解的读法: 是"三个正交投影的加权和"

是到直线 的正交投影矩阵(见 4-2-投影与投影矩阵:它对称、幂等、秩为 1、迹为 1)。所以谱分解说的是:

读法:投影 → 乘伸缩率 → 拼回来。 三个方向互相正交,所以"投影"这一步没有任何串扰 —— 这正是对称矩阵"最好用"的根本原因,也是 7-3-主成分分析PCA 里"主成分互不相关"的代数来源。

例 6.4.6(有重根:必须用 Gram–Schmidt 正交化)

题目

设 。求正交矩阵 使 。

第 1 步:验证对称性。 ✓。

第 2 步:求特征值(利用结构,不解三次方程)。 注意

其中 是全 矩阵(秩为 ,且 ,因为每行与每列的和都是 )。 的特征值可以直接读出来:

  • :,特征值 ;
  • 平面 上的任意向量:,特征值 (二重,特征空间的维数是 )。

于是 的特征值为

自检: ✓;,直接展开: ✓。

这一步的结构观察很重要: 是单根, 是二重根。因为 对称,必定 ,重根的特征空间是一整张平面,这张平面就是 。

第 3 步:求 的特征向量。

三行相加为零行,故秩为 ;方程可简化为 与 ,两式相减得 ,即 。取

第 4 步:求 的特征空间(一张平面)。

秩为 ,所以 ✓(重根但可对角化, 一定可正交对角化)。基础解系取

检查: —— 这两个向量不正交!这正是"重根内部必须正交化"的现场。

第 5 步:在这张平面内做 Gram–Schmidt 正交化。

(这里 。)再单位化:

(更省事的做法:在平面 里直接"猜"两个正交向量,比如 与 ,它们的内积 ✓ —— 在重根情形,先观察再算比硬做 Gram–Schmidt 快得多。本题用两种方法得到同一个 。)

第 6 步:拼出 与 。

第 7 步:验算。

列之间的正交性: 与 属于不同特征值( 与 ),由定理 6.4.7 自动正交; ✓; ✓(这是 Gram–Schmidt 保证的)。三列长度都是 :、、 ✓,故 。

特征关系:

不变量: ✓; ✓。

第 8 步:顺带得到谱分解与"投影"视角。

因为 是标准正交基, 是到平面 的正交投影。所以

与第 2 步的结构观察 完全一致(因为 )✓。这就是"用结构代替计算"的力量:如果我们一开始就看穿了 ,特征值、特征向量、谱分解都能几乎不算就写出来。

答 ,其中 、 如第 6 步所示。

重根情形的三个易错细节

1. 正交化只能在同一个特征空间内部做。 把不同特征值的向量拿来一起做 Gram–Schmidt 是多余的(它们已经正交),而且会破坏"每个向量仍是特征向量"这一要求:不同特征值的向量相加不再是特征向量。

2. 正交化必须在单位化之前或之后一致进行,且正交化之后的向量要重新单位化(Gram–Schmidt 的中间向量 一般不是单位向量)。

3. 重根的特征空间维数必须等于重数。 若算出 ,说明 不对称或算错了 —— 对称矩阵永远不会出现这种情况(谱定理)。


十一、正定性判定专题:含参数与分块矩阵

例 6.4.7(含参数: 取何值时正定)

题目

设 ( 为实参数)。问 取何值时 正定? 时是什么情形?

第 1 步:验证对称性。 ✓,可以谈正定性。

第 2 步:算全部顺序主子式(手算首选路径)。

( 对一切 都成立,所以这一条不限制 。)

按第一行展开(注意每一步的符号):

第 3 步:解不等式组。 正定要求三个顺序主子式全为正,即

第三个条件更强(),故 正定当且仅当

第 4 步:用特征值把结论再算一遍(交叉验证)。 本题的特征值可以完全解出来,正好用来检验顺序主子式的结果。注意

的第二行与第三行成比例(第 2 行 第 3 行),故 ,即 恒为特征值(对一切 )。设另两个特征值为 ,由

它们满足 ,解得

于是三个特征值恒为

用它重新判定:正定要求最小特征值为正,即

与第 3 步的顺序主子式结论完全一致 ✓。

第 5 步:讨论边界与外部。

  • :此时 ,特征值为 —— 有零特征值但无负特征值, 半正定且奇异(秩为 ),(与第 2 步一致)。
  • :最小特征值 ,另外两个为正, 不定(此时 而 )。
  • :,二阶顺序主子式为负,不定(而且此时最小特征值 ,与特征值判据一致)。

第 6 步:数值抽查(用特征值验证)。

特征值 定性
正定
正定
半正定(奇异)
不定
不定

每一行的三个特征值之和都是 ✓、之积都是 ✓,与表格中的行列式数值一一对应。

答 当且仅当 时 正定; 时 半正定但不可逆; 时不定。

含参数正定题的通用套路

1. 先算最低阶的主子式,用它把参数范围砍掉一大半。 本题 立刻给出 。

2. 解不等式组取交集。 多个条件同时成立时,最强的那个说了算(本题是 )。

3. 边界值单独讨论。 顺序主子式出现 时"正定"失败,但要判断是"半正定"还是"不定":前者需要全部特征值 (或全部主子式 ,注意是所有主子式),后者只要找到一个负值即可。

4. 能用结构就不用展开。 若矩阵形如 ,特征值直接是 ,一眼看出条件。

定理 6.4.9(Schur 补判据)

定理 6.4.9(分块矩阵的正定性)

设对称矩阵 按如下方式分块:

其中 是 阶对称矩阵且可逆。则 正定当且仅当 正定且 Schur 补 正定,即

称 为 在 中的 Schur 补(Schur complement)。

证明 用合同变换(同步做行变换与列变换,不改变正定性 —— 这是惯性定理的内容,见 6-5-二次型与标准形)。

第 1 步:构造合同变换。 取分块矩阵

(第二行用了 对称,故 。) 是单位分块三角矩阵,可逆。

第 2 步:计算 。

再右乘 :

其中 。

第 3 步:由惯性定理得出结论。 与 合同(过渡矩阵是 ,可逆),故两者有相同的正、负惯性指数(Sylvester 惯性定理)。而块对角矩阵的正定性等价于每个对角块的正定性:

( 显然: 时 ,两项都非负且至少一项为正。 取 或 即可。)于是

顺带得到:(对 取行列式,),以及 必须是正定的(否则 不可能正定,因为 是 的前 阶顺序主子矩阵)。

例 6.4.8(分块矩阵:Schur 补与顺序主子式两条路)

题目

判断 是否正定。要求:分别用(a)顺序主子式、(b)Schur 补两种方法判定,并验证 。

(a)第 1 步:顺序主子式。

三个顺序主子式全正 正定。

(b)第 1 步:分块。 取 :

(b)第 2 步:先判 。 正定()✓。

(b)第 3 步:算 Schur 补。

(b)第 4 步:判 (二阶矩阵用两个顺序主子式,一步到位)。

故 正定,由定理 6.4.9, 正定 ✓(与(a)一致)。

(b)第 5 步:验证行列式分解公式。

(这正是定理 6.4.9 证明末尾的推论 。)

(b)第 6 步:特征值交叉验证。 数值计算给出 的特征值约为 、、(三者之和 ✓,三者之积 ✓),全为正 正定 ✓。

答 正定。顺序主子式为 ;Schur 补为 ,其顺序主子式为 ,且 ✓。

Schur 补为什么值得单独学

1. 它把" 阶正定"拆成" 阶正定 阶正定",规模更小,且能递归使用(对 继续分块)。有限元、卡尔曼滤波、稀疏矩阵求逆都用这条递归。

2. 它给出"条件概率"的形式:若 是协方差矩阵 ,则 Schur 补正是"已知前一组变量后,后一组变量的条件协方差"(见 12-2-协方差矩阵)。

3. 它同时给出分块求逆公式(用 与 表示 ),这是卡尔曼滤波与最小二乘更新公式的代数核心。

4. 数值上它比"直接做 Cholesky"更有优势:对称正定矩阵的 Cholesky 分解天然按 Schur 补递归进行, 的主元一旦算出即可消去。

Schur 补判据的两个前提不能丢

1. 必须可逆。 若 奇异, 不存在,判据无从谈起(此时若 正定,则 必定正定从而可逆,所以" 不可逆"本身就说明 不正定 —— 但这句反推需要单独说明)。

2. 顺序不能随便换。 Schur 补是针对选定的可逆块 定义的;换一个分块方式会得到不同的 Schur 补。若 奇异而 可逆,可以改为消去 ,用 判定。

3. 正定必须真的验证,不能因为" 正定"就以为 也正定:本题中 把 的对角元从 与 拉低到 与 就是例子。


十二、两道证明题与「去掉条件会怎样」

例 6.4.9(投影矩阵: 的完整刻画)

题目

设 是 阶实对称矩阵且满足 (这样的矩阵叫正交投影矩阵)。证明:

(1) 的特征值只能是 或 ;

(2) 必可正交对角化,且存在正交矩阵 使

> (3);

(4)对任意 , 是 在列空间 上的正交投影。

(5)若去掉"对称"只保留 ,结论(2)(4)还成立吗?举例说明。

(1)证明 设 ,。两边左乘 :

另一方面由 ,。两式相减:

(注意:这一步对任意幂等矩阵都成立,不需要对称性。这也是 6-2 节练习 6.2.4 的核心。)

(2)证明 实对称,由谱定理(定理 6.4.1)存在正交矩阵 与实对角矩阵 使 ,。由(1),每个 。把 的对角元重排( 的列同步重排,仍是正交矩阵),把 个 排在前面:

其中 是 的对角元中等于 的个数。

于是 ✓。又 (左乘右乘正交矩阵不改变秩)✓。

(3)证明 由(2), ✓。

(也可直接用相似不变量: 与 都是相似不变量, 相似于 ,故两者都等于 。)

(4)证明 需验证正交投影的两个特征: 落在 内,且残差 与 正交。

落在列空间内: 是 的列的线性组合(按列读矩阵乘法),故 ✓。

残差正交:设 是 中任一向量(因为 )。计算内积:

(第二步用了 ,第三步用了 。)故残差与 正交 ✓。这两条正是 4-2-投影与投影矩阵 中正交投影矩阵的刻画。

(顺便: 是到零空间 的正交投影,且 与 是正交补 —— 见 3-5-四大子空间的维数、4-1-四大子空间的正交性。)

(5)反例:去掉对称性。

取

故 是幂等的,但 ,不对称。

  • 结论(1)仍成立:,特征值为 与 ✓。
  • 仍然可对角化(特征值互异;更本质地, 意味着最小多项式 无重根,由定理 6.2.7 命题 5 可对角化)。这与"幂等矩阵一定可对角化"这一结论一致。
  • 结论(2)失效: 不对称,不可能正交对角化(因为 且 对角必然推出 )。它的特征向量是 与 ,内积为 ,不正交。
  • 结论(4)失效: 仍在 内(列空间是 轴),但残差不再与 正交。例如 :,残差 ,它与 中的向量 的内积是 。所以 是"沿另一方向的斜投影",不是正交投影。

判别口诀: 给出"投影", 才把"投影"升级为"正交投影"。 只满足前者叫斜投影(oblique projection),它在多重网格法与区域分解算法里同样重要,但几何性质完全不同。

答 (1)—(4)如证明;(5)去掉对称性后(1)与"可对角化"仍成立,但(2)(4)失效:幂等而非对称的矩阵只能对角化、不能正交对角化,它表示斜投影。

例 6.4.10(正定的必要条件家族与"正定 合同于 ")

题目

(1)设 是 阶正定矩阵。证明:()、、,且 也正定。

(2)证明: 正定 与单位矩阵 合同(即存在可逆 使 )。

(3)用三个反例说明(1)中的每个必要条件都不是充分条件。

(1)证明

对角元:取 (第 个标准基向量,非零),由正定定义

(这一步极其常用:看到正定,第一个反应就是"对角元全正",可以立刻排除大量矩阵。)

迹:由谱定理 ,(迹是相似不变量,见定理 6.2.5)。由正定,,故 ✓。

行列式: ✓。

正定: 的特征值全正 无零特征值 可逆,且

对称( ✓),且特征值 ,故由定理 6.4.2 条件(2), 正定 ✓。

(2)证明 ()设 且 可逆。则

且 可逆(可逆矩阵的逆仍可逆)。

由定理 6.4.2 条件(4)( 且 可逆 正定):

()设 正定。由谱定理 ,,故 有意义。取

可逆( 正交、 的对角元 非零),且

(2)的意义 结合惯性定理(6-5-二次型与标准形):实对称矩阵 总合同于 ,其中 。于是

正定 规范形就是 。 这正是"正定"这个名字的来历:二次型的标准形里所有系数都是正的。同理,半正定 (没有负号项)。

(3)三个反例

必要条件满足条件的矩阵它实际上是什么结论
(对角元全正)特征值 不定
特征值 ,不定
特征值 (顺序主子式 ,符号交替)负定

逐个核对(以后两个为例):

  • ,但它有负特征值 ,取 得 ,不是正定。
  • ,但 的顺序主子式为负, 负定。

所以三个必要条件都只能用来"快速排除",不能用来"确认"。确认必须靠全部 个顺序主子式为正(定理 6.4.2 条件(3))。 一句话总结:

口诀:对角元全正、迹为正、行列式为正都是正定的必要条件,但箭头都不能反向。

答 (1)(2)已证;(3)三个反例如上表。

「去掉条件会怎样」总表(本组三篇的收束)

| 去掉的条件 | 后果 | 反例或去处 |

|---|---|---|

| 对称性() | 特征值可能为复数;特征向量可能不正交;不能正交对角化;"正定"失去定义(只能谈对称部分) | (特征值 ),见 6-2-矩阵的对角化 例 6.2.6 |

| 实矩阵(改到 ) | 升级为 Hermitian 矩阵:特征值仍为实数,"正交"升级为"酉" | 9-2-Hermitian矩阵与酉矩阵 |

| 正定(减弱为半正定) | 中的 不可逆; 可能奇异;判据必须改用全部主子式 | 例 6.4.4 的 ;4.3 节的 |

| 几何重数 = 代数重数(可对角化) | 只能求 Jordan 形; 出现 的多项式因子; 出现 | 6-2-矩阵的对角化 例 6.2.4、例 6.2.8;6-3-微分方程组与矩阵指数 例 6.3.7 |

| 的列满秩( 正定) | 只半正定,法方程有无穷多解,需要伪逆或正则化 | 例 6.4.4;4-3-最小二乘逼近、7-1-SVD的构造与几何意义 |

| 顺序主子式"全部"为正(只查一个) | 判据彻底失效 | 或 的两个反例(本节(3)) |

| (只保留 ) | 仍可对角化,但不能正交对角化;表示斜投影而非正交投影 | 例 6.4.9(5)|

一句话:"对称"给的是实特征值与正交特征向量,"正定"给的是碗形与可逆性,"全部顺序主子式"给的是可操作的判据。 三者各自去掉一个,结论都立刻崩塌。


本篇小结

四组核心结论

1. 谱定理(对称矩阵的"最好性质")

三条依次说的是:特征值全为实数、不同特征值的特征向量正交、必可正交对角化。

正交对角化把 换成 ,省掉了求逆,而且数值上条件数为 (最优)。

2. 谱分解(几何读法)

每个 是秩 1 的正交投影,所以对称矩阵 = "一组互相正交的投影的加权和",权重就是特征值。

3. 正定的判据(手算顺序)

即"能量恒正 特征值全正 顺序主子式全正 可写成 ( 可逆) 主元全正 合同于 "。

手算用顺序主子式;理论证明用 或"合同于 ";数值用 Cholesky 是否成功。

4. 分块正定(Schur 补)

判正定的决策流程(照做即可)

1. 先看对称性:不对称(在实矩阵情形)就不能直接谈正定,先取对称部分或改用 。

2. 快速排除:若有某个 ,立刻判定"不是正定"。

3. : 且 。

4. 及以上:算全部顺序主子式 ,全正才正定。

5. 含参数:先算低阶主子式砍范围,再解不等式组取交集,边界值单独讨论。

6. 分块结构:用 Schur 补递归。

7. 已知 或"某个 Gram 矩阵":直接用 判据,几乎零计算。

8. 数值:numpy.linalg.cholesky 是否抛异常(最快);或 eigvalsh 看最小特征值(最可靠),注意容差。

与前后的衔接(本篇在库里的位置)

- 向上:6-1-特征值引论 给出特征值定义;6-2-矩阵的对角化 给出 ,本篇把它升级为 (要求 对称)。

- 平行(连续化):对称矩阵的 不必求逆,这是对称系统模态分解干净的根本原因,见 6-3-微分方程组与矩阵指数。

- 向下(二次型):本篇的能量视角在 6-5-二次型与标准形 展开为配方法、合同变换、惯性定理与 Rayleigh 商;"正定 合同于 "在那里得到最完整的表述。

- 正交化的技术支撑:重根特征空间内部的正交化就是 Gram–Schmidt,见 4-4-标准正交基与Gram-Schmidt;投影矩阵的性质见 4-2-投影与投影矩阵,四大子空间的正交分解见 4-1-四大子空间的正交性、3-5-四大子空间的维数。

- 最小二乘: 半正定、列满秩时正定,这是法方程有唯一解的全部理由,见 4-3-最小二乘逼近。

- SVD 与 PCA: 就是谱定理的应用,见 7-1-SVD的构造与几何意义;协方差矩阵的谱分解给出主成分,见 7-3-主成分分析PCA、12-2-协方差矩阵。

- 数值与优化:Cholesky 分解()是正定矩阵的专用算法,见 2-5-LU分解与转置置换、附录-矩阵分解总览、11-2-范数与条件数;共轭梯度法以正定二次型为舞台,见 11-3-迭代方法与预条件。

- 工程与物理:刚度矩阵正定 平衡稳定;图 Laplacian 半正定 存在零能模式(整体平移),见 10-1-图与网络;多元高斯密度含正定二次型,见 12-3-多元高斯与加权最小二乘。

自测清单(能全部答出来才算掌握)

1. 为什么对称矩阵的特征值一定是实数?证明的关键一步用了什么性质?

2. "不同特征值的特征向量正交"为什么不能推广到"同一特征值的特征向量也正交"?重根时该怎么办?

3. 正定的五个等价条件里,哪一个手算最快?哪一个最适合理论证明?为什么 单独不够?

4. 什么时候正定、什么时候只是半正定?这与最小二乘解的唯一性有什么关系?

5. 与 各自保证了什么?只有前者时几何上是什么变换?


相关笔记

  • 6-1-特征值引论:特征值与特征向量的定义与求法,本篇的一切从这里出发。
  • 6-2-矩阵的对角化:一般矩阵的 ;本篇把"可对角化"升级为对称矩阵必有的 。
  • 6-5-二次型与标准形:本篇的"能量视角"在那一篇展开为配方法、惯性定理与 Rayleigh 商。
  • 4-3-最小二乘逼近:法方程 的唯一性完全依赖 的正定性(定理 6.4.4)。
  • 4-4-标准正交基与Gram-Schmidt:重根特征空间内部的正交化要用 Gram–Schmidt。
  • 7-1-SVD的构造与几何意义: 是谱定理的直接应用;SVD 是"非对称矩阵"的对应工具。
  • 12-2-协方差矩阵:协方差矩阵是对称半正定矩阵,其谱分解给出 PCA 的主成分。
  • 附录-矩阵分解总览:、(Cholesky)与 、、 的统一对比。

参考来源

  • MIT OpenCourseWare 18.06 Linear Algebra(Gilbert Strang),Lecture 25: Symmetric matrices and positive definiteness:<https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/resources/lecture-25-symmetric-matrices-and-positive-definiteness/>
  • MIT OpenCourseWare 18.06 Linear Algebra(Gilbert Strang),Lecture 27: Positive definite matrices and minima:<https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/resources/lecture-27-positive-definite-matrices-and-minima/>
  • NumPy 官方文档 numpy.linalg.cholesky("a must be Hermitian and positive-definite";不正定时抛 LinAlgError;含 的求解用法):<https://numpy.org/doc/stable/reference/generated/numpy.linalg.cholesky.html>
  • NumPy 官方文档 numpy.linalg.eigvalsh(实对称/复 Hermitian 矩阵的专用特征值例程;特征值按升序返回,与 eigh 的区别是不算特征向量):<https://numpy.org/doc/stable/reference/generated/numpy.linalg.eigvalsh.html>
  • Strang, Gilbert. Introduction to Linear Algebra, 5th ed. Wellesley-Cambridge Press, 2016, ISBN 9780980232776,第 6.4 节 "Symmetric Matrices"、第 6.5 节 "Positive Definite Matrices"。教材主页:<https://math.mit.edu/~gs/linearalgebra/>
  • MIT OpenCourseWare 18.06 课程主页(视频、习题与考试题):<https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/>
  • 同济大学数学系《线性代数》第六版,高等教育出版社,第五章第 3 节「实对称矩阵的对角化」、第 5—7 节「二次型及其标准形/配方法/正定二次型」。