6-4-对称矩阵与正定矩阵
一句话概括
实对称矩阵(symmetric matrix)是线性代数里"最好"的矩阵:它的特征值全是实数,特征向量可以选成正交的,因此一定能正交对角化(orthogonally diagonalizable):
若进一步要求所有特征值为正,就得到正定矩阵(positive definite matrix),它等价于"二次型恒正":
正定矩阵是"开口向上的碗",是多元微积分里二阶充分条件、最小二乘、椭圆分类、协方差矩阵的共同语言。
本篇覆盖:对称矩阵可正交对角化(谱定理)及证明思路、与一般对角化的对比、正定的五个等价条件及相互推导、半正定与负定、能量视角、正定性在优化中的意义、 的半正定性证明、二次曲线曲面分类,以及 numpy 检验代码。
一、定义
1.1 实对称矩阵
定义 6.4.1(对称矩阵) 设 是 阶实方阵。若
则称 为实对称矩阵。
定义 6.4.2(正交矩阵) 若 阶实方阵 满足
则称 为正交矩阵(orthogonal matrix)。等价地, 的 个列向量构成一组标准正交基(orthonormal basis):两两正交且长度为 1。
定义 6.4.3(正交对角化) 若存在正交矩阵 与对角矩阵 使
则称 可正交对角化。
正交对角化比一般对角化"强"在哪里
一般对角化是 ,需要求 ;正交对角化是 ,用转置代替了求逆。从计算和理论两方面看都是巨大的简化:
- ,不需要做任何消元或求逆运算;
- 保持长度与夹角(),所以 的几何意义是"旋转 → 沿坐标轴伸缩 → 转回来",不含任何"剪切"或"歪斜";
- 数值上非常稳定( 的条件数是 1,这是可能的最好值),见 11-2-范数与条件数。
1.2 正定矩阵
定义 6.4.4(正定、半正定、负定、不定) 设 是 阶实对称矩阵,。
| 名称 | 条件 | 记号 |
|---|---|---|
| 正定(positive definite) | 对一切 成立 | |
| 半正定(positive semidefinite) | 对一切 成立 | |
| 负定(negative definite) | 对一切 成立 | |
| 半负定(negative semidefinite) | 对一切 成立 | |
| 不定(indefinite) | 既有 又有 | — |
三个必须注意的前提
1. 正定性只对对称矩阵定义。 严格地说,""这个条件只依赖于 的对称部分 ,因为 (反对称部分贡献为 0)。所以本库统一约定:讨论正定性时, 默认是对称矩阵;若非对称矩阵出现,先对称化再讨论。
2. 必须排除。 否则 会让""永远不可能成立。
3. "正定"与"元素为正"毫无关系。 的元素全为正,但不是正定(特征值 ); 有负元素,却是正定的(特征值 )。
1.3 二次型
定义 6.4.5(二次型,quadratic form) 设 是 阶实对称矩阵,称关于变量 的二次齐次多项式
为二次型,并称 为该二次型的矩阵。由于交叉项 与 的系数相同(都取自 ),二次型与对称矩阵一一对应。
例 时, 对应
注意交叉项系数是 而不是 —— 这是二次型与对称矩阵对应时最常见的抄写错误。
二、几何直观
2.1 对称 = 沿"主轴"纯伸缩
任意矩阵 都可以分解为"旋转 + 沿垂直方向伸缩 + 旋转"(这就是 SVD,见 7-1-SVD的构造与几何意义)。对称矩阵的特殊之处在于:伸缩方向本身互相垂直,不需要 SVD 中的两组不同的方向。用公式说:
读法:把 投影到各个特征方向 上(得到坐标 ),把每个坐标乘以 ,再拼回来。由于 是一组标准正交基,这个过程完全没有"串扰"。这就是"主轴"(principal axes)一词的来源: 就是变换的主轴。
对比一般矩阵 : 的列虽然也是特征方向,但它们未必垂直,所以"沿特征方向分解"时各个方向的贡献会互相干扰(需要 而不是 才能正确提取坐标)。对称性的几何含义就是:主轴自动正交。
2.2 能量视角: 是"能量函数"
把 对称对角化,代入二次型:
因为 是正交矩阵, 只是把 旋转了一下(不改变长度,)。所以在新的(主轴)坐标系里,二次型变成了纯平方和,系数就是特征值:
这个式子说明了一切:
- 所有 :只要 ,。函数图像是开口向上的碗(抛物面),原点是最低点。
- 所有 :图像是开口向下的碗(倒扣的碗),原点是最高点。
- 有正有负:图像是马鞍面(saddle)—— 在某些方向上升、在另一些方向下降,原点不是极值点。
- 有 :某个方向完全"平坦"( 沿该方向恒为 0),图形退化成"槽"(抛物柱面),原点不是孤立极值点。
2.3 正定 ⟺ 碗口向上
能量曲面的形状对照
| 特征值符号 | 二次型 | 曲面形状 | 原点性质 |
|---|---|---|---|
| 全正 | 正定 | 开口向上的碗(椭圆抛物面) | 严格极小值点 |
| 全负 | 负定 | 开口向下的碗 | 严格极大值点 |
| 全非负且有 0 | 半正定(退化) | 槽形(含一条平坦方向) | 极小值点但不严格 |
| 有正有负 | 不定 | 马鞍面 | 鞍点,不是极值 |
把 想成"碗的曲率":正定说"无论朝哪个方向走,能量都上升"。这正是多元函数极值二阶条件的直观内容。
2.4 二次曲线与二次曲面
令 ,就得到二次曲线()或二次曲面()的方程。在主轴坐标系下它是
这是标准形式,直接读出图形:
| 特征值符号() | 的图形 |
|---|---|
| 全正 | 椭圆(半轴 、) |
| 一正一负 | 双曲线 |
| 有 0,另一个正 | 两条平行直线(退化) |
| 全负 | 无实图形(空集) |
| 特征值符号() | 的图形 |
|---|---|
| 全正 | 椭球面 |
| 两正一负 | 单叶双曲面 |
| 一正两负 | 双叶双曲面 |
| 有 0 | 椭圆柱面(或退化) |
"正定 ⟺ 椭圆/椭球"是本篇最有用的一句话。 例: 的矩阵 特征值为 全正,故是椭圆;而 的矩阵 特征值为 ,符号相反,故是双曲线。
三、性质与定理:谱定理
3.1 谱定理
定理 6.4.1(谱定理,Spectral Theorem)
设 是 阶实对称矩阵。则
1. 的全部特征值都是实数;
2. 有 个两两正交的特征向量,可以取为标准正交的;
3. 存在正交矩阵 与实对角矩阵 使
结论 1 的证明(特征值全为实数) 这是"实对称"最直接的好处。设 ,其中 , 与 都可能复。
关键技巧:用 的共轭转置左乘,然后比较两边。
对 两边左乘 (共轭转置,记作 ):
现在看 这个数。取共轭转置(它是一个标量,共轭转置就是取复共轭):
最后一步用了 是实矩阵()且对称()。所以 等于自己的共轭,它是一个实数。
又因为 , 是正实数。由 :
故 是实数。
这个商就是 Rayleigh 商
上式出现的比值 称为 Rayleigh 商(Rayleigh quotient)。对对称矩阵它有极值刻画:
这正是下面结论 2 证明思路的基础,也是 6-5-二次型与标准形 与 PCA(7-3-主成分分析PCA)的核心工具。
结论 2 的证明思路(特征向量可取为正交) 两条常见路线。
路线一:用 Schur 分解(最简洁)。
任何实方阵都有实 Schur 分解 ( 正交, 上三角;这是 迭代算法的理论依据,见 11-3-迭代方法与预条件)。若 对称,则
上三角矩阵等于自己的转置,只能是… 设 上三角且 ,则对 有 ,故 非对角元全为 0,即 是对角矩阵。于是 ,且 的列就是一组标准正交的特征向量。
路线二:用极值原理(更有几何感,Strang 课堂的做法)。
考察连续函数 在单位球面 (这是 中的紧集)上的最大值。由 Weierstrass 定理,最大值在某个点 取得。用 Lagrange 乘子法:在约束 下求 的极值,令
对 求梯度并令其为零(用 ,因为 对称):
极值点就是特征向量,Lagrange 乘子就是特征值! 此时 ,所以 。
接下来:取 的正交补空间(维数 ),在这个子空间上重复同样的论证,得到 与 ;继续下去得到 个两两正交的单位特征向量。这就在几何上构造出了完整的标准正交特征向量组。
结论 3 由结论 2,取 个标准正交特征向量按列拼成 。则 正交(),且由 ()得 ,两边左乘 :,即 。
适用条件 三项结论全部依赖 是实对称矩阵。非对称矩阵的特征值可能是复数、特征向量可能不正交(见下面的对比表)。
3.2 与一般矩阵对角化的对比
对比表:这是本篇最该记住的一张表
| 对比项 | 一般矩阵 (可对角化) | 实对称矩阵 |
|---|---|---|
| 分解形式 | | |
| 特征向量矩阵 | ,可逆但一般不正交 | ,正交() |
| 特征向量之间的关系 | 一般不正交 | 两两正交,可取单位长度 |
| 特征值 | 可能为复数 | 一定为实数 |
| 是否需要求逆 | 需要算 | 不需要,转置即可 |
| 是否总可对角化 | 不一定(可能缺特征向量) | 一定可以(谱定理保证) |
| 几何意义 | 斜伸缩(沿不垂直的方向) | 旋转 + 沿正交轴的伸缩 + 转回 |
| 数值稳定性 | 可能病态,条件数大 | 条件数为 1,最优 |
| 是否有线性无关特征向量 | 需检查 | 自动满足,无需检查 |
| 典型例子 | (可)、(不可) | 任何 |
一句话总结:对称矩阵把"可对角化"这个有时成立的性质升级成了永远成立,并且额外白送"正交"和"实特征值"。
3.3 正定的五个等价条件
定理 6.4.2(正定的五个等价条件)
设 是 阶实对称矩阵。则下列五条互相等价:
1. (定义) 对一切 ,;
2. (特征值) 的全部特征值都是正数:,;
3. (顺序主子式) 的所有顺序主子式(leading principal minors)都是正数:
4. (分解) 存在可逆矩阵 使 ;
5. (消元) 高斯消元(不换行)得到的主元全为正:。
这五条常被概括为:能量恒正 ⟺ 特征值全正 ⟺ 顺序主子式全正 ⟺ 可写成 ⟺ 主元全正。
相互推导的思路(理解这五条如何串成一个环)
推导环路
(1)(2) 设 是特征值, 是对应的单位特征向量(由谱定理可取单位长度)。则
因为 ,由(1)得 。这就是"取特殊向量代入定义"的典型用法。
(2)(1) 用谱定理 。令 :
(因为 可逆),故至少有一个 ,于是 (每个 且至少一项不为零)。
(2)(4) 由(2)每个 ,故 是正实数。令
则 ,于是
其中 ,它是可逆的(两个可逆矩阵之积: 的对角元 , 正交)。
(4)(1) 对任意 ,
因为 可逆,,故 。
(4)(3) 对任意 ,取 为 的前 列组成的 矩阵。分块计算可得 (因为 的第 元素是 第 、 列的内积,前 阶主子式只用前 行前 列,即只需 的前 列)。由 Cauchy–Binet 公式(或直接看作 维版本的(4)(1)):
因为 的秩为 , 的秩为 ,故至少有一个 阶子式非零,所以平方和严格为正。(更简单的说法: 是 阶正定矩阵,其行列式等于全部特征值之积,全正。)
(3)(5) 高斯消元(不换行)与顺序主子式的关系是
(这是 分解的直接推论:,取行列式得 ,见 2-5-LU分解与转置置换。)若所有 ,归纳即得所有 。
(5)(1) 消元给出 ( 单位下三角,)。令 ( 可逆,):
五个条件各自的"实用场合"
| 条件 | 什么时候最好用 | 代价 |
|---|---|---|
| (1)定义 | 证明题、理论上验证;已知 时 | 手算几乎不可行(要验证所有 ) |
| (2)特征值 | 已知特征值、或矩阵有特殊结构(如 ) | 需要解特征方程, 时费力 |
| (3)顺序主子式 | 手算最常用;、 时最快 | 要算 个行列式 |
| (4) | 理论证明最常用;最小二乘、协方差矩阵 | 需要先构造 (或已知) |
| (5)主元 | 已经有了消元结果;Cholesky 分解的副产品 | 需要做消元 |
顺序主子式:必须"顺序",不能只查一个
(3)要求的是"顺序主子式"( 阶、 阶、…、 阶全部),不是任意主子式。 反例:
它的特征值是 ,不是正定(半正定)。顺序主子式:(不是正数),所以被(3)正确地排除。
另一个方向的陷阱: 单独不能推出正定。例如 的 ,但它是负定的(两个特征值都是负的)。所以必须检查全部 个顺序主子式。同理 也不能推出正定(如 ,;或 , 但不定)。
3.4 半正定与负定的判别
定理 6.4.3(半正定与负定的判别)
半正定()的等价条件:
1. 对一切 ,;
2. 所有特征值 ;
3. 存在矩阵 (不必可逆)使 ;
4. 所有主子式(不只是顺序主子式);
5. 消元主元 。
负定()的等价条件(只需注意符号交替):
1. 对一切 ,;
2. 所有特征值 ;
3. 顺序主子式符号交替:,即
4. 是正定矩阵。
(负定判据的比较) 也可以直接写成一个更易记的形式: 负定 的所有 阶顺序主子式的符号为 。以 为例: 负定要求 、。验证: 满足 、,特征值 全负 ✓。
半正定判据为什么必须用"所有主子式"
顺序主子式对半正定是必要不充分的。反例:
顺序主子式:、,全都非负,但 不是半正定(特征值 与 ,取 得 )。
原因:交换行列顺序会改变"顺序主子式"的集合,而半正定性在同时置换行列下不变。所以半正定必须检查所有主子式(任意选取 行与同样的 列)。正定则没有这个问题——正定在置换下不变,且顺序主子式判据恰好充分。
3.5 一定半正定
定理 6.4.4( 的半正定性)
设 是任意 实矩阵。则
1. 是 阶对称半正定矩阵;
2. 是正定的 的列向量线性无关(即 ,等价地 )。
证明(结论 1)
对称性: ✓。
半正定:对任意实向量 ,
(这就是定理 6.4.2 条件(4)取 的情形。注意这里 一般不可逆,所以只得到半正定。)
证明(结论 2)
()设 的列线性无关,即 。若 ,由上面的计算 ,故 ,即 ,所以 。于是对一切 都有 ,即正定。
()设 正定。若 ,则 ,由正定性必须有 。故 ,即 的列线性无关。
这条定理为什么重要:它连接第 4 章
最小二乘的法方程是(见 4-3-最小二乘逼近)
定理 6.4.4 告诉我们:只要 的列线性无关,系数矩阵 就是正定的,法方程就有唯一解 。
这解释了最小二乘理论中"列满秩"这个假设的真正用途:
- 列无关 正定 可逆 法方程有唯一解 最小二乘问题有唯一最优解;
- 列相关时 只是半正定(奇异),法方程有无穷多解,此时要用伪逆(见 7-1-SVD的构造与几何意义)。
顺便得到数值计算的启示:因为 对称正定,可以用 Cholesky 分解快速求解(比一般 LU 快一倍,且不用选主元),见下面的代码示例。
3.6 正定矩阵在优化中的意义
定理 6.4.5(多元函数极值的二阶条件)
设 二阶连续可微, 满足 (驻点), 是Hessian 矩阵(Hessian matrix,即二阶偏导数矩阵 )。
1. 若 正定 是严格局部极小值点;
2. 若 负定 是严格局部极大值点;
3. 若 不定 是鞍点(不是极值点);
4. 若 半正定但奇异 二阶条件失效,需要看更高阶的导数(例如 在 处 但仍是极小值)。
证明思路(结论 1) 在驻点附近作二阶 Taylor 展开(这里 ):
若 正定,令 为其最小特征值,则 (因为 )。于是
对充分小的 成立,即 是严格局部极小值点。
为什么"对称 + 正定"是优化里的黄金组合
1. Hessian 天然对称:只要 二阶连续可微,(Clairaut 定理),所以 。于是谱定理自动适用: 的特征值全为实数,可以谈"符号"。
2. 正定性给出"碗"的保证: 是"局部是凸的、碗口向上"的精确表述。若 在整个定义域上处处正定,则 是严格凸函数,驻点就是全局最小值点。
3. 正定矩阵定义了"椭球范数": 是一个合法的范数(见 11-2-范数与条件数),它的单位球是椭球。Newton 法、信赖域方法、拟 Newton 法中的度量矩阵都要求正定。
4. 它是"良态"的代数标志:正定矩阵的所有特征值同号且非零,条件数 有限,因此可逆且数值稳定,Cholesky 分解不需要选主元。
四、计算方法与步骤
4.1 对称矩阵的正交对角化
五步法
1. 验证对称性:确认 。若不对称,谱定理不适用(但仍可能一般可对角化,见 6-2-矩阵的对角化)。
2. 求特征值:解 。由谱定理,所有根都是实数——若算出复数根,一定是算错了。
3. 求特征向量:对每个 解 。属于不同特征值的特征向量自动正交(定理 6.4.6),无需处理。
4. 重根时在同一特征空间内正交化:若某个特征值的几何重数 ,其基础解系中的向量未必正交,需要在该特征空间内做 Gram–Schmidt 正交化(见 4-4-标准正交基与Gram-Schmidt)。跨不同特征值的向量不必处理,它们已经正交。
5. 单位化并拼成 :把每个特征向量除以自己的长度,按列拼成 ; 的对角元按同样顺序填特征值。验算 与 。
4.2 判断正定性的实用流程
手算优先用顺序主子式,理论证明优先用
1. 先看必要条件(快速排除):若 对某个 成立,则 不是正定(取 得 )。
2. 的速判: 正定 且 (两条顺序主子式)。
3. 及以上:算 ,全部为正才正定。若某个顺序主子式为 0,则不是正定(可能是半正定,改查所有主子式)。
4. 若已做消元:直接看主元(),全正即正定。
5. 若已知 且 可逆(如 且 列满秩):直接判定正定,无需计算。
6. 数值上:用
numpy.linalg.cholesky——它只在正定时成功,抛LinAlgError就说明不是正定。这是最快的数值判据(见 4.4 节代码)。
4.3 Cholesky 分解:正定矩阵的专用分解 正定矩阵有自己专属的、比 LU 更快更省的分解:
定理 6.4.6(Cholesky 分解)
设 正定。则存在唯一的对角元为正的下三角矩阵 使
这就是定理 6.4.2 条件(4)中 的特例,且 是下三角的。
与 LU 的关系:正定矩阵消元时主元全正,且由对称性 ;令 (把 分配到 的第 列),即得 。
优点:计算量约为 LU 的一半,存储量也约一半,且不需要选主元(主元全正,不会出现零主元或小主元问题)。这就是为什么最小二乘的正规方程、有限元刚度矩阵、协方差矩阵求逆都优先用 Cholesky。
4.4 用 numpy 检验正定性
import numpy as np
def classify(A, tol=1e-10):
"""判定实对称矩阵的正定性类型。"""
A = np.asarray(A, dtype=float)
assert np.allclose(A, A.T), "A 不是对称矩阵"
# ---- 方法一:特征值(最可靠)----
w = np.linalg.eigvalsh(A) # 对称矩阵专用,返回升序实特征值
if np.all(w > tol):
kind = "正定 (positive definite)"
elif np.all(w >= -tol) and np.any(np.abs(w) <= tol):
kind = "半正定 (positive semidefinite)"
elif np.all(w < -tol):
kind = "负定 (negative definite)"
elif np.all(w <= tol) and np.any(np.abs(w) <= tol):
kind = "半负定 (negative semidefinite)"
else:
kind = "不定 (indefinite)"
# ---- 方法二:顺序主子式 ----
minors = [np.linalg.det(A[:k, :k]) for k in range(1, len(A) + 1)]
# ---- 方法三:Cholesky 是否成功(最快的数值判据)----
try:
np.linalg.cholesky(A)
chol_ok = True
except np.linalg.LinAlgError:
chol_ok = False
return kind, w, minors, chol_ok
tests = {
"A = [[2,1],[1,2]]": [[2, 1], [1, 2]],
"B = [[2,6],[6,3]]": [[2, 6], [6, 3]],
"C = [[2,4],[4,8]]": [[2, 4], [4, 8]],
"D = [[1,2],[2,1]]": [[1, 2], [2, 1]],
"E = [[-2,-1],[-1,-2]]": [[-2, -1], [-1, -2]],
"F = [[2,0,0],[0,3,4],[0,4,9]]": [[2, 0, 0], [0, 3, 4], [0, 4, 9]],
}
for name, M in tests.items():
kind, w, minors, chol = classify(M)
print(f"{name}")
print(f" 类型 : {kind}")
print(f" 特征值 : {np.round(w, 6)}")
print(f" 顺序主子式: {[round(float(m), 6) for m in minors]}")
print(f" Cholesky : {'成功' if chol else '失败'}")
print()
# ---- 逐一验证“定义”条件(随机采样)----
rng = np.random.default_rng(0)
X = rng.normal(size=(20000, 2))
for name, M in [("A = [[2,1],[1,2]]", [[2, 1], [1, 2]]),
("D = [[1,2],[2,1]]", [[1, 2], [2, 1]])]:
M = np.array(M, dtype=float)
q = np.einsum("ij,jk,ik->i", X, M, X) # 批量计算 x^T M x
print(f"{name}: 20000 个随机 x 上 x^T A x 的最小值 = {q.min():.6f}")
运行结果
A = [[2,1],[1,2]]
类型 : 正定 (positive definite)
特征值 : [1. 3.]
顺序主子式: [2.0, 3.0]
Cholesky : 成功
B = [[2,6],[6,3]]
类型 : 不定 (indefinite)
特征值 : [-3.520797 8.520797]
顺序主子式: [2.0, -30.0]
Cholesky : 失败
C = [[2,4],[4,8]]
类型 : 半正定 (positive semidefinite)
特征值 : [ 0. 10.]
顺序主子式: [2.0, 0.0]
Cholesky : 失败
D = [[1,2],[2,1]]
类型 : 不定 (indefinite)
特征值 : [-1. 3.]
顺序主子式: [1.0, -3.0]
Cholesky : 失败
E = [[-2,-1],[-1,-2]]
类型 : 负定 (negative definite)
特征值 : [-3. -1.]
顺序主子式: [-2.0, 3.0]
Cholesky : 失败
几点值得注意: 的顺序主子式是 与 ,符号交替(、),正是负定的判据; 是半正定而不是正定(有零特征值),Cholesky 失败但定义条件仍满足 ;随机采样的最小值对 是 (正定),对 是 (不定)——这与理论完全一致,也说明"随机采样"只能用作佐证,不能替代严格判据(采不到恰好让 的方向)。
五、例题
例 6.4.1(对称矩阵的正交对角化,完整过程)
题目 把 正交对角化,并写出 。
解
第一步:验证对称性。 ✓。由谱定理,可正交对角化。
第二步:求特征值。
故 ,,都是正实数 ✓(正定性将在例 6.4.2 判定)。自检: ✓, ✓。
第三步:求特征向量。
:,方程 ,取 。
:,方程 ,取 。
第四步:检查正交性。 ✓。属于不同特征值的特征向量自动正交(定理 6.4.6),这里验证了这一点。
第五步:单位化。
第六步:拼出 与 。
第七步:验算。
先验正交性:
再验 :
几何解释 的作用是:先把坐标轴旋转 (即 ),得到主轴方向 ( 方向)与 ( 方向);然后在 方向保持长度()、在 方向拉伸 3 倍();最后转回原坐标系。
答 ,其中 、。
顺便写出谱分解。 由 展开:
这就是"秩 1 矩阵之和"形式的谱分解(spectral decomposition):对称矩阵是"若干个正交投影的加权和",权重就是特征值。、协方差矩阵的谱分解都取这个形式。
例 6.4.2(用五个条件判定正定性)
题目 判断 是否正定(这道题的矩阵来自一维 Laplacian/弦的离散化,与 10-1-图与网络 相关)。
解 先验对称性: ✓。
用条件(3)顺序主子式:
按第一行展开(只有两个非零元):
三个顺序主子式全正 正定。
用条件(2)特征值交叉验证: ,。数值计算给出 ,全为正 ✓(且 ✓, ✓)。
用条件(5)主元交叉验证: 不换行消元,
全为正 ✓。顺便验证公式 ✓, ✓。
用条件(4)构造 : 可以做 Cholesky 分解 ,其中
即 的对角元是 。取 即得 ,且 可逆(对角元非零)✓。
答 正定。五个条件全部验证通过。
这道题的物理背景
这个矩阵是一维 Laplacian(弦/杆的离散化):对角元是节点度数 2,相邻节点为 。它正定意味着弹性势能 恒正(除全零位移),即任何非平凡的形变都要消耗能量,静止状态是唯一的能量最低点。这就是"稳定平衡"的代数表述。
对比:若是周期边界(一圈弹簧,,见 10-1-图与网络),则整体平移 给出 ,即零特征值、零能量。这个 的特征值是 :半正定但奇异(,顺序主子式为 ,最后一个为 0 说明它不是正定),对应"整体位移不耗能"这一物理事实。边界的处理方式(固定端 vs 周期)决定了矩阵是正定还是半正定——这是有限元与 PDE 数值解中的核心话题。
例 6.4.3(二次曲线的分类) 题目 判断下列二次曲线的类型:
(a);(b);(c)。
解
(a) 写出二次型矩阵(注意交叉项系数要除以 2):
特征值:,故
(自检: ✓, ✓。)两个特征值全正 正定 图形是椭圆。
主轴方向: 时 ,,取 ; 时取 。
在新坐标 、 下,方程化为标准形
半轴长 (沿 方向)、(沿 方向)。这是一个长轴在 方向的椭圆。
(b) 矩阵 。特征值:,故
特征值符号相反 不定 图形是双曲线。
标准形:,即 ,是以 轴( 方向,对应正特征值)为实轴的双曲线。
(c) 矩阵 。特征值:,故
有零特征值 半正定但奇异 图形退化。 标准形 ,即 ,:两条平行直线。
答 (a)椭圆;(b)双曲线;(c)两条平行直线(退化)。
分类的口诀
只看特征值的符号(不需要算出具体数值):
- 全正 椭圆( 维:椭球)
- 全负 空集( 无解,因为左边恒 而右边为 1)
- 一正一负 双曲线( 维:双曲面)
- 至少一个零、其余同号 退化(平行直线、抛物柱面等)
- 至少一个零且其余异号 退化(一对相交直线,例如 )
这就是为什么"正定"值得单独命名:正定恰好对应"椭圆/椭球"这一最规整、最有用的情形。
例 6.4.4(:最小二乘中的正定性)
题目 给定数据矩阵(设计矩阵)
分别判断 与 是否正定,并说明对最小二乘求解的影响。
解
对 : 先看 的列。第 2 列 第 1 列,列线性相关()。由定理 6.4.4, 只半正定。直接算:
特征值:。
故 ,。有零特征值 半正定但奇异(,秩为 1)。
对 : 第 2 列是否 第 1 列?,故列线性无关()。由定理 6.4.4, 正定。直接算:
特征值:。
故 ,即 ,,都为正 正定(,,且判别式 保证两实根同号为正)。
对最小二乘的影响:
| (列相关) | (列无关) | |
|---|---|---|
| 1 | 2 | |
| ,奇异 | ,正定 | |
| 特征值 | ||
| 条件数 | ||
| 法方程 | 无穷多解(两个未知量只有一个独立方程) | 唯一解 |
| 几何 | 到列空间(一条直线)的投影 | 到列空间(一张平面)的投影 |
- 的情形:两个待定参数只有一个独立方程(),有无穷多组 给出同一个拟合结果。此时需要伪逆(pseudo-inverse) 来挑选"最小范数解",见 7-1-SVD的构造与几何意义。
- 的情形: 正定,法方程有唯一解 。但条件数 已经偏大( 的两列 倍——具体地说 与 很接近平行),数值求解时误差会被放大千倍。这正是数值线性代数中不直接解正规方程、而用 QR 或 SVD 的原因(见 11-2-范数与条件数)。
答 半正定(奇异,); 正定()。
一个必须记住的区分
永远半正定,但只有 列满秩时才正定。 这是"半正定"与"正定"在实践中最重要的分界线:
- 半正定但奇异 不可逆,法方程解不唯一,需要伪逆或正则化(ridge 回归就是在对角线上加 ,把半正定"抬"成正定,见 7-3-主成分分析PCA);
- 正定 可逆、可用 Cholesky、解唯一。
六、应用
6.1 优化:二阶条件与 Hessian
多元函数极值判定的完整逻辑链是"一阶条件 + 二阶条件":
- 求梯度 ,得到驻点(候选极值点);
- 求 Hessian 并判断其定性(定理 6.4.5)。
最重要的一类情形是二次函数 ( 对称)。此时
于是: 有唯一全局最小值点 正定,此时最小值点就是 的解!"解线性方程组"与"求二次函数最小值"是同一件事 —— 这就是共轭梯度法(见 11-3-迭代方法与预条件)的理论出发点。
实践中的应用清单
- 最小二乘: 的 Hessian 是 ,正定(列满秩时)保证唯一解。
- Newton 法:迭代 ;若 不正定,牛顿方向可能不是下降方向,需要修正(如加 使之正定,即 Levenberg–Marquardt、信赖域方法)。
- 凸优化: 凸 处处成立;严格凸 。凸性保证"局部最优 = 全局最优",这是现代机器学习的基石。
- 机器学习中的核矩阵:核函数必须使 Gram 矩阵 半正定(Mercer 条件),否则最优化问题非凸、解不稳定。
- 统计学:协方差矩阵 半正定(正定当且仅当没有完全共线的分量),其逆 是精度矩阵;多元高斯密度的指数上就是正定二次型(见 12-2-协方差矩阵、12-3-多元高斯与加权最小二乘)。
6.2 二次曲线与二次曲面的分类
分类完全由特征值的符号决定(见例 6.4.3)。实用价值:
- 椭圆的半轴长度是 (特征值越大,该方向越"紧"、半轴越短)。
- 主轴方向就是特征向量方向,即"最陡"与"最缓"的方向。
- 误差椭球:在参数估计中, 的协方差是 ,其等值面是以 的特征向量为主轴、半轴为 的椭球。参数的不确定性大小就直接来自特征值 —— 特征值很小(近似共线)意味着该方向参数极不确定,这正是"多重共线性"问题的几何图像。
6.3 力学中的能量与稳定性
对线性弹性系统,势能是二次型 ( 是刚度矩阵,stiffness matrix),动能是 ( 是质量矩阵)。于是:
- 正定 平衡状态稳定(任何非零位移都增加能量);
- 半正定但奇异 存在"零能模式"(刚体位移),系统可以自由平移而不耗能;
- 振动方程 的解由广义特征值问题 给出, 是固有频率、 是振型/模态(mode shape)。因为 、 都(半)正定,,频率都是实数——这就是物理世界不会出现"复频率"的代数原因(若出现,对应指数增长的不稳定,即结构失稳/颤振)。
6.4 与第 4 章、第 7 章的连接
| 主题 | 用到的正定性结论 | 相关笔记 |
|---|---|---|
| 最小二乘的适定性 | 正定 列满秩 | [[4-3-最小二乘逼近]] |
| 投影矩阵 | 中的求逆需要正定性 | [[4-2-投影与投影矩阵]] |
| Gram 矩阵 | 半正定,秩 | [[4-4-标准正交基与Gram-Schmidt]] |
| 协方差矩阵 | 半正定;特征值 = 各主成分方差 | [[12-2-协方差矩阵]] |
| PCA | 对协方差矩阵做谱分解,主轴即特征向量 | [[7-3-主成分分析PCA]] |
| SVD | 正是谱定理的应用 | [[7-1-SVD的构造与几何意义]] |
| 二次型标准化 | 配方法、惯性定理、Rayleigh 商 | [[6-5-二次型与标准形]] |
七、易错点
十二个高频错误
1. 对非对称矩阵谈"正定"。 正定性只对对称矩阵定义。若给出 问是否正定,标准做法是先对称化:,只需判断 。
2. 以为"元素全为正"就是正定。 元素全正但不定(特征值 ); 有负元素却正定。必须看特征值或主子式,不能看元素符号。
3. 顺序主子式只查了一个或漏了。 正定要求全部 个顺序主子式为正。常见错误是只算 就下结论。反例: 的 但负定。
4. 半正定时误用"顺序主子式"。 半正定要检查所有主子式(任意行、列指标集),不能只查顺序的。反例: 的顺序主子式是 都非负,但它不是半正定。
5. 负定的符号规律记错。 负定要求 、、,即符号为 (),不是全负。
6. 二次型与矩阵对应时把交叉项系数搞错。 对应 (系数是 ,因为交叉项要算两次)。若写成 就错了。写矩阵时记住 中 与 各出现一次。
7. 以为对称矩阵的特征向量"天然"单位正交。 对称矩阵只保证存在一组标准正交特征向量。用消元法求出的基础解系未必是单位向量、也未必在同一特征空间内正交。属于不同特征值的特征向量自动正交(定理 6.4.6);同一特征值(重根)内部必须自己做 Gram–Schmidt。
8. 忘了在重根内部做正交化。 例: 的特征值 互异,可以不做;但若某个特征值重数为 2,其基础解系必须正交化 + 单位化,否则 不是正交矩阵, 不成立。
9. 把 写成 就以为完事了。 两者都正确,但正交对角化的价值就在于 。若写 就丢掉了"不必求逆"这一核心优势,也容易在计算中算错。
10. 的"列无关"条件漏掉。 记住: 永远半正定,只有列满秩时才正定。列相关时 ,存在非零 使 ,于是 ,破坏正定性。
11. 混淆"可逆"与"正定"。 正定 可逆(特征值全正故无零特征值),但可逆不蕴含正定(如 可逆但不定)。另外只有方阵才谈可逆和正定。
12. 数值判断正定时不看容差。
np.linalg.eigvalsh返回的特征值会有浮点误差。判断""时要用容差(如 ),否则一个数学上正定但条件数极大的矩阵可能报出 的"负特征值"。条件数越大,"正定"这个性质在数值上越脆弱 —— 这是"正定但近乎奇异"的矩阵需要用 Cholesky 而不信赖特征值符号的原因。
八、练习题
练习 6.4.1(基础) 把 正交对角化:求特征值、标准正交特征向量、写出 ,并验算 。
练习 6.4.2(基础) 用顺序主子式判断下列矩阵的定性(正定/负定/不定),并用特征值交叉验证:
练习 6.4.3(进阶) 设 (例 6.4.2 的矩阵)。
(a)求 的 分解(不换行),验证主元与顺序主子式的关系 ;
(b)求 的 Cholesky 分解 ;
(c)用(b)的结果求解 ,其中 (提示:先解 再解 )。
练习 6.4.4(进阶) 证明:若 正定、,则 正定;若 、 都正定,则 正定。并举例说明两个正定矩阵之积 未必对称、更未必正定。(提示:先验证 ;对乘积取 、,计算 ,观察它不对称,因此按本库的约定根本不能谈"正定"。)
练习 6.4.5(思考) 设 是 阶实对称矩阵,、 分别是它的最小、最大特征值。
(a)证明 Rayleigh 商不等式:对一切 ,
(提示:令 ,利用 与 。)
(b)由此证明 ,并说明等号在何时取得。
(c)若 正定,证明 ,并解释这个式子在条件数 中的作用。
九、常见问题 FAQ Q1:为什么对称矩阵这么好?能不能把一般矩阵"变成"对称矩阵?
A:对称性带来三件"免费"的好事:实特征值(否则无法比较大小,也就无法谈正负与稳定性)、正交特征向量(,无需求逆,数值稳定)、一定可对角化(不必检查几何重数)。这三件合起来意味着" 维空间可以被一组正交的特征方向完美分解"。
关于"变成对称":有两条常用路径,但都不是"对称化一个矩阵":
- :任意矩阵左乘自己的转置得到对称半正定矩阵(定理 6.4.4)。这是最小二乘、SVD、PCA 的标准入口。
- 对称部分 :它只保留二次型的信息( 只依赖它),但不能用来替代 做对角化 —— 和它的对称部分一般有不同的特征值。
- SVD()是"非对称矩阵的对称化处理"的正确方式:它用两组正交方向( 与 )替代了对称矩阵的一组方向。见 7-1-SVD的构造与几何意义。
Q2:正定的五个条件,考试时应该用哪一个?
A:按矩阵规模和情境选择,手算几乎总是用顺序主子式:
| 情境 | 首选条件 |
|---|---|
| 、 手算 | 顺序主子式(最高效, 个行列式) |
| 已经知道特征值或矩阵有 型结构 | 特征值 |
| 题目给出 或"某矩阵的 Gram 矩阵" | (直接判定,几乎不用算) |
| 已经做了消元或给了 LU | 主元 |
| 纯理论证明题 | 定义()或 |
| 数值计算 | Cholesky 是否成功(最快)或特征值的符号(最可靠) |
一个实用技巧:先用必要条件快速排除。若某个对角元 ,立刻可以断定不是正定(取 ),不必再算。
Q3: 与" 可逆"有什么关系?
A:正定 可逆,但反之不成立。推理:正定 所有 可逆。反例: 可逆()但不定。
进一步,正定性还给出了逆矩阵的正定性:若 正定且 ,则 ,而 的对角元 ,所以 也正定(特征值为 )。这条性质在加权最小二乘(权重矩阵取协方差矩阵的逆)中经常用到,见 12-3-多元高斯与加权最小二乘。
Q4:为什么 总是在最小二乘里出现?它和"正定"是什么关系?
A:最小二乘要极小化 。展开:
这是一个以 为 Hessian 的二次函数(注意 的对称性正是来自于 的形式!)。由定理 6.4.4:
- 恒半正定 这个二次函数是凸的 驻点即全局最小点;
- 正定( 列满秩) 严格凸 唯一最小点,由 给出法方程 ;
- 奇异( 列相关) 最小值不唯一(有一整个仿射子空间都取到最小值),需要伪逆选最小范数解。
所以" 总是半正定、列满秩时正定"这句话,就是最小二乘理论中"为什么要求列满秩"的完整答案。正定性的语言把"最小二乘有唯一解"这件事变成了一个纯粹的代数条件。
十、实对称矩阵的正交对角化
定理 6.4.7(不同特征值的特征向量必正交)
编号说明
本篇 4.1 节的步骤 3 曾把这条结论记为"定理 6.4.6";但 6.4.6 的编号已用于 Cholesky 分解(4.3 节)。本条结论的正式编号是定理 6.4.7,两处指的是同一件事。
表述 设 是 阶实对称矩阵, 是它的两个特征值,、 是对应的特征向量。则 与 正交:
证明 计算的出发点只有一个恒等式:把 用两种方式算两遍。
第 1 步(用 是特征向量)。 因为 ,
第 2 步(用 是特征向量,并把 搬到左边)。 注意 是一个行向量,它就是 。由 与 :
于是
第 3 步(相减)。 由 与 :
因为 ,故 ,即 ✓。
这条定理只保证"不同特征值之间"正交
同一个特征值内部的特征向量未必正交。若 的几何重数 ,用消元法得到的基础解系只是该特征空间的一组普通基,通常既不两两正交、也不是单位向量,必须自己做 Gram–Schmidt 正交化(见 4-4-标准正交基与Gram-Schmidt)。这是"求正交矩阵 "这类题最容易丢分的地方,例 6.4.6 会完整演示。
反过来,非对称矩阵连"不同特征值之间正交"都没有: 的特征向量是 与 ,内积为 。对称性是不可省的前提。
定理 6.4.8(正定性的"合同"刻画与正交对角化汇总)
定理 6.4.8
设 是 阶实对称矩阵。以下三条等价:
1. 正定(对一切 有 );
2. 与单位矩阵合同:存在可逆矩阵 使 ;
3. 的正惯性指数为 (即 的正特征值个数为 )。
证明 (1)(2):由谱定理 ,。取
则 可逆( 正交、 对角元非零),且
(2)(1):设 , 可逆,则 ,其中 可逆。对 ,
(因为 可逆,)✓。这正是定理 6.4.2 条件(4)。
(1)(3):特征值全正 正特征值个数为 ✓。
与惯性定理的关系 把定理 6.4.8 与 6-5-二次型与标准形 的惯性定理合起来读:任何实对称矩阵都合同于 ,其中 是正惯性指数、 是负惯性指数。于是
也就是说: 正定当且仅当它的合同类里最规整的代表是 ,半正定则对应于 。这句话把代数判据与几何形状(椭球)连了起来 —— 见 6-5-二次型与标准形 的惯性定理。
10.1 求正交矩阵 的标准流程
六步法(与 4.1 节一致,这里补上"重根分支")
1. 验证对称性:。不对称则谱定理不适用,回到 6-2-矩阵的对角化。
2. 求特征值:解 。全为实数;算出复数一定是错的。
3. 分情形求特征向量:
- 无重根:每个特征值解一次 ,取基础解系(每个特征值恰好 个向量)。不同特征值的向量自动正交,不需要正交化。
- 有重根:对重根 解 ,其基础解系(共 个向量,且必定 )必须在这张特征空间内部做 Gram–Schmidt 正交化;不同特征值之间仍然不必处理。
4. 单位化:把每个向量除以其长度,得到标准正交组。
5. 拼 与 : 的列与 的对角元按同一顺序对应。
6. 验算: 与 。最省事的两条抽查是 、。
四个高频失分点
1. 重根内部不正交化。 直接拿基础解系当 的列,则 ,,整个答案作废。
2. 忘了单位化。 只正交而不单位化得到的不是正交矩阵, 是对角矩阵而不是 。
3. 的列与 的对角元错位。 必须满足 (第 列配第 个对角元)。
4. 不唯一却以为唯一。 特征向量可以反向()、同一特征空间内可以换任意一组标准正交基、 的对角元可以重排( 的列同步重排)。只要 正交且 成立就是对的。
例 6.4.5(无重根: 对称矩阵的完整正交对角化)
题目
设 。求正交矩阵 与对角矩阵 使 ,并写出 的谱分解。
第 1 步:验证对称性。 ✓。由谱定理,存在正交 使 ,且特征值全为实数。
第 2 步:求特征多项式。 记 (这个换元很关键: 与 的位置都是 )。按第一行展开:
展开:
回代 :;;。故
三个特征值互异(都是正数,顺带说明 正定)。自检: ✓;,直接按第一行展开得 ✓。
第 3 步:逐个求特征向量。
对 :
回代:;。取 :
对 :
回代:;。取 :
对 :
由第一行 ,由第三行 ,故 ;代入第二行验证: ✓。取 :
第 4 步:验证正交性(这是"白送"的检查)。 由定理 6.4.7,不同特征值的特征向量必正交:
三个向量两两正交,且特征值互异,不属于重根情形,无需再做 Gram–Schmidt。
第 5 步:单位化。
第 6 步:拼出 与 。
第 7 步:验算。
正交性: 的三列是标准正交组,故 ,例如第 1 列与第 2 列的内积为 ✓;第 1 列自身内积为 ✓。
对角化:逐列检查 。
(、 同样可验。)不变量自检: ✓, ✓。
第 8 步:写出谱分解。 由 :
逐项相加(用公分母 ):第一项 ,第二项 ,第三项 ,于是
答 ,其中 、 如第 6 步所示;谱分解为 。
谱分解的读法: 是"三个正交投影的加权和"
是到直线 的正交投影矩阵(见 4-2-投影与投影矩阵:它对称、幂等、秩为 1、迹为 1)。所以谱分解说的是:
读法:投影 → 乘伸缩率 → 拼回来。 三个方向互相正交,所以"投影"这一步没有任何串扰 —— 这正是对称矩阵"最好用"的根本原因,也是 7-3-主成分分析PCA 里"主成分互不相关"的代数来源。
例 6.4.6(有重根:必须用 Gram–Schmidt 正交化)
题目
设 。求正交矩阵 使 。
第 1 步:验证对称性。 ✓。
第 2 步:求特征值(利用结构,不解三次方程)。 注意
其中 是全 矩阵(秩为 ,且 ,因为每行与每列的和都是 )。 的特征值可以直接读出来:
- :,特征值 ;
- 平面 上的任意向量:,特征值 (二重,特征空间的维数是 )。
于是 的特征值为
自检: ✓;,直接展开: ✓。
这一步的结构观察很重要: 是单根, 是二重根。因为 对称,必定 ,重根的特征空间是一整张平面,这张平面就是 。
第 3 步:求 的特征向量。
三行相加为零行,故秩为 ;方程可简化为 与 ,两式相减得 ,即 。取
第 4 步:求 的特征空间(一张平面)。
秩为 ,所以 ✓(重根但可对角化, 一定可正交对角化)。基础解系取
检查: —— 这两个向量不正交!这正是"重根内部必须正交化"的现场。
第 5 步:在这张平面内做 Gram–Schmidt 正交化。
(这里 。)再单位化:
(更省事的做法:在平面 里直接"猜"两个正交向量,比如 与 ,它们的内积 ✓ —— 在重根情形,先观察再算比硬做 Gram–Schmidt 快得多。本题用两种方法得到同一个 。)
第 6 步:拼出 与 。
第 7 步:验算。
列之间的正交性: 与 属于不同特征值( 与 ),由定理 6.4.7 自动正交; ✓; ✓(这是 Gram–Schmidt 保证的)。三列长度都是 :、、 ✓,故 。
特征关系:
不变量: ✓; ✓。
第 8 步:顺带得到谱分解与"投影"视角。
因为 是标准正交基, 是到平面 的正交投影。所以
与第 2 步的结构观察 完全一致(因为 )✓。这就是"用结构代替计算"的力量:如果我们一开始就看穿了 ,特征值、特征向量、谱分解都能几乎不算就写出来。
答 ,其中 、 如第 6 步所示。
重根情形的三个易错细节
1. 正交化只能在同一个特征空间内部做。 把不同特征值的向量拿来一起做 Gram–Schmidt 是多余的(它们已经正交),而且会破坏"每个向量仍是特征向量"这一要求:不同特征值的向量相加不再是特征向量。
2. 正交化必须在单位化之前或之后一致进行,且正交化之后的向量要重新单位化(Gram–Schmidt 的中间向量 一般不是单位向量)。
3. 重根的特征空间维数必须等于重数。 若算出 ,说明 不对称或算错了 —— 对称矩阵永远不会出现这种情况(谱定理)。
十一、正定性判定专题:含参数与分块矩阵
例 6.4.7(含参数: 取何值时正定)
题目
设 ( 为实参数)。问 取何值时 正定? 时是什么情形?
第 1 步:验证对称性。 ✓,可以谈正定性。
第 2 步:算全部顺序主子式(手算首选路径)。
( 对一切 都成立,所以这一条不限制 。)
按第一行展开(注意每一步的符号):
第 3 步:解不等式组。 正定要求三个顺序主子式全为正,即
第三个条件更强(),故 正定当且仅当
第 4 步:用特征值把结论再算一遍(交叉验证)。 本题的特征值可以完全解出来,正好用来检验顺序主子式的结果。注意
的第二行与第三行成比例(第 2 行 第 3 行),故 ,即 恒为特征值(对一切 )。设另两个特征值为 ,由
它们满足 ,解得
于是三个特征值恒为
用它重新判定:正定要求最小特征值为正,即
与第 3 步的顺序主子式结论完全一致 ✓。
第 5 步:讨论边界与外部。
- :此时 ,特征值为 —— 有零特征值但无负特征值, 半正定且奇异(秩为 ),(与第 2 步一致)。
- :最小特征值 ,另外两个为正, 不定(此时 而 )。
- :,二阶顺序主子式为负,不定(而且此时最小特征值 ,与特征值判据一致)。
第 6 步:数值抽查(用特征值验证)。
| 特征值 | 定性 | |||
|---|---|---|---|---|
| 正定 | ||||
| 正定 | ||||
| 半正定(奇异) | ||||
| 不定 | ||||
| 不定 |
每一行的三个特征值之和都是 ✓、之积都是 ✓,与表格中的行列式数值一一对应。
答 当且仅当 时 正定; 时 半正定但不可逆; 时不定。
含参数正定题的通用套路
1. 先算最低阶的主子式,用它把参数范围砍掉一大半。 本题 立刻给出 。
2. 解不等式组取交集。 多个条件同时成立时,最强的那个说了算(本题是 )。
3. 边界值单独讨论。 顺序主子式出现 时"正定"失败,但要判断是"半正定"还是"不定":前者需要全部特征值 (或全部主子式 ,注意是所有主子式),后者只要找到一个负值即可。
4. 能用结构就不用展开。 若矩阵形如 ,特征值直接是 ,一眼看出条件。
定理 6.4.9(Schur 补判据)
定理 6.4.9(分块矩阵的正定性)
设对称矩阵 按如下方式分块:
其中 是 阶对称矩阵且可逆。则 正定当且仅当 正定且 Schur 补 正定,即
称 为 在 中的 Schur 补(Schur complement)。
证明 用合同变换(同步做行变换与列变换,不改变正定性 —— 这是惯性定理的内容,见 6-5-二次型与标准形)。
第 1 步:构造合同变换。 取分块矩阵
(第二行用了 对称,故 。) 是单位分块三角矩阵,可逆。
第 2 步:计算 。
再右乘 :
其中 。
第 3 步:由惯性定理得出结论。 与 合同(过渡矩阵是 ,可逆),故两者有相同的正、负惯性指数(Sylvester 惯性定理)。而块对角矩阵的正定性等价于每个对角块的正定性:
( 显然: 时 ,两项都非负且至少一项为正。 取 或 即可。)于是
顺带得到:(对 取行列式,),以及 必须是正定的(否则 不可能正定,因为 是 的前 阶顺序主子矩阵)。
例 6.4.8(分块矩阵:Schur 补与顺序主子式两条路)
题目
判断 是否正定。要求:分别用(a)顺序主子式、(b)Schur 补两种方法判定,并验证 。
(a)第 1 步:顺序主子式。
三个顺序主子式全正 正定。
(b)第 1 步:分块。 取 :
(b)第 2 步:先判 。 正定()✓。
(b)第 3 步:算 Schur 补。
(b)第 4 步:判 (二阶矩阵用两个顺序主子式,一步到位)。
故 正定,由定理 6.4.9, 正定 ✓(与(a)一致)。
(b)第 5 步:验证行列式分解公式。
(这正是定理 6.4.9 证明末尾的推论 。)
(b)第 6 步:特征值交叉验证。 数值计算给出 的特征值约为 、、(三者之和 ✓,三者之积 ✓),全为正 正定 ✓。
答 正定。顺序主子式为 ;Schur 补为 ,其顺序主子式为 ,且 ✓。
Schur 补为什么值得单独学
1. 它把" 阶正定"拆成" 阶正定 阶正定",规模更小,且能递归使用(对 继续分块)。有限元、卡尔曼滤波、稀疏矩阵求逆都用这条递归。
2. 它给出"条件概率"的形式:若 是协方差矩阵 ,则 Schur 补正是"已知前一组变量后,后一组变量的条件协方差"(见 12-2-协方差矩阵)。
3. 它同时给出分块求逆公式(用 与 表示 ),这是卡尔曼滤波与最小二乘更新公式的代数核心。
4. 数值上它比"直接做 Cholesky"更有优势:对称正定矩阵的 Cholesky 分解天然按 Schur 补递归进行, 的主元一旦算出即可消去。
Schur 补判据的两个前提不能丢
1. 必须可逆。 若 奇异, 不存在,判据无从谈起(此时若 正定,则 必定正定从而可逆,所以" 不可逆"本身就说明 不正定 —— 但这句反推需要单独说明)。
2. 顺序不能随便换。 Schur 补是针对选定的可逆块 定义的;换一个分块方式会得到不同的 Schur 补。若 奇异而 可逆,可以改为消去 ,用 判定。
3. 正定必须真的验证,不能因为" 正定"就以为 也正定:本题中 把 的对角元从 与 拉低到 与 就是例子。
十二、两道证明题与「去掉条件会怎样」
例 6.4.9(投影矩阵: 的完整刻画)
题目
设 是 阶实对称矩阵且满足 (这样的矩阵叫正交投影矩阵)。证明:
(1) 的特征值只能是 或 ;
(2) 必可正交对角化,且存在正交矩阵 使
> (3);
(4)对任意 , 是 在列空间 上的正交投影。
(5)若去掉"对称"只保留 ,结论(2)(4)还成立吗?举例说明。
(1)证明 设 ,。两边左乘 :
另一方面由 ,。两式相减:
(注意:这一步对任意幂等矩阵都成立,不需要对称性。这也是 6-2 节练习 6.2.4 的核心。)
(2)证明 实对称,由谱定理(定理 6.4.1)存在正交矩阵 与实对角矩阵 使 ,。由(1),每个 。把 的对角元重排( 的列同步重排,仍是正交矩阵),把 个 排在前面:
其中 是 的对角元中等于 的个数。
于是 ✓。又 (左乘右乘正交矩阵不改变秩)✓。
(3)证明 由(2), ✓。
(也可直接用相似不变量: 与 都是相似不变量, 相似于 ,故两者都等于 。)
(4)证明 需验证正交投影的两个特征: 落在 内,且残差 与 正交。
落在列空间内: 是 的列的线性组合(按列读矩阵乘法),故 ✓。
残差正交:设 是 中任一向量(因为 )。计算内积:
(第二步用了 ,第三步用了 。)故残差与 正交 ✓。这两条正是 4-2-投影与投影矩阵 中正交投影矩阵的刻画。
(顺便: 是到零空间 的正交投影,且 与 是正交补 —— 见 3-5-四大子空间的维数、4-1-四大子空间的正交性。)
(5)反例:去掉对称性。
取
故 是幂等的,但 ,不对称。
- 结论(1)仍成立:,特征值为 与 ✓。
- 仍然可对角化(特征值互异;更本质地, 意味着最小多项式 无重根,由定理 6.2.7 命题 5 可对角化)。这与"幂等矩阵一定可对角化"这一结论一致。
- 结论(2)失效: 不对称,不可能正交对角化(因为 且 对角必然推出 )。它的特征向量是 与 ,内积为 ,不正交。
- 结论(4)失效: 仍在 内(列空间是 轴),但残差不再与 正交。例如 :,残差 ,它与 中的向量 的内积是 。所以 是"沿另一方向的斜投影",不是正交投影。
判别口诀: 给出"投影", 才把"投影"升级为"正交投影"。 只满足前者叫斜投影(oblique projection),它在多重网格法与区域分解算法里同样重要,但几何性质完全不同。
答 (1)—(4)如证明;(5)去掉对称性后(1)与"可对角化"仍成立,但(2)(4)失效:幂等而非对称的矩阵只能对角化、不能正交对角化,它表示斜投影。
例 6.4.10(正定的必要条件家族与"正定 合同于 ")
题目
(1)设 是 阶正定矩阵。证明:()、、,且 也正定。
(2)证明: 正定 与单位矩阵 合同(即存在可逆 使 )。
(3)用三个反例说明(1)中的每个必要条件都不是充分条件。
(1)证明
对角元:取 (第 个标准基向量,非零),由正定定义
(这一步极其常用:看到正定,第一个反应就是"对角元全正",可以立刻排除大量矩阵。)
迹:由谱定理 ,(迹是相似不变量,见定理 6.2.5)。由正定,,故 ✓。
行列式: ✓。
正定: 的特征值全正 无零特征值 可逆,且
对称( ✓),且特征值 ,故由定理 6.4.2 条件(2), 正定 ✓。
(2)证明 ()设 且 可逆。则
且 可逆(可逆矩阵的逆仍可逆)。
由定理 6.4.2 条件(4)( 且 可逆 正定):
()设 正定。由谱定理 ,,故 有意义。取
可逆( 正交、 的对角元 非零),且
(2)的意义 结合惯性定理(6-5-二次型与标准形):实对称矩阵 总合同于 ,其中 。于是
正定 规范形就是 。 这正是"正定"这个名字的来历:二次型的标准形里所有系数都是正的。同理,半正定 (没有负号项)。
(3)三个反例
| 必要条件 | 满足条件的矩阵 | 它实际上是什么 | 结论 |
|---|---|---|---|
| (对角元全正) | 特征值 | 不定 | |
| 特征值 , | 不定 | ||
| 特征值 (顺序主子式 ,符号交替) | 负定 |
逐个核对(以后两个为例):
- ,但它有负特征值 ,取 得 ,不是正定。
- ,但 的顺序主子式为负, 负定。
所以三个必要条件都只能用来"快速排除",不能用来"确认"。确认必须靠全部 个顺序主子式为正(定理 6.4.2 条件(3))。 一句话总结:
口诀:对角元全正、迹为正、行列式为正都是正定的必要条件,但箭头都不能反向。
答 (1)(2)已证;(3)三个反例如上表。
「去掉条件会怎样」总表(本组三篇的收束)
| 去掉的条件 | 后果 | 反例或去处 |
|---|---|---|
| 对称性() | 特征值可能为复数;特征向量可能不正交;不能正交对角化;"正定"失去定义(只能谈对称部分) | (特征值 ),见 6-2-矩阵的对角化 例 6.2.6 |
| 实矩阵(改到 ) | 升级为 Hermitian 矩阵:特征值仍为实数,"正交"升级为"酉" | 9-2-Hermitian矩阵与酉矩阵 |
| 正定(减弱为半正定) | 中的 不可逆; 可能奇异;判据必须改用全部主子式 | 例 6.4.4 的 ;4.3 节的 |
| 几何重数 = 代数重数(可对角化) | 只能求 Jordan 形; 出现 的多项式因子; 出现 | 6-2-矩阵的对角化 例 6.2.4、例 6.2.8;6-3-微分方程组与矩阵指数 例 6.3.7 |
| 的列满秩( 正定) | 只半正定,法方程有无穷多解,需要伪逆或正则化 | 例 6.4.4;4-3-最小二乘逼近、7-1-SVD的构造与几何意义 |
| 顺序主子式"全部"为正(只查一个) | 判据彻底失效 | 或 的两个反例(本节(3)) |
| (只保留 ) | 仍可对角化,但不能正交对角化;表示斜投影而非正交投影 | 例 6.4.9(5)|
一句话:"对称"给的是实特征值与正交特征向量,"正定"给的是碗形与可逆性,"全部顺序主子式"给的是可操作的判据。 三者各自去掉一个,结论都立刻崩塌。
本篇小结
四组核心结论
1. 谱定理(对称矩阵的"最好性质")
三条依次说的是:特征值全为实数、不同特征值的特征向量正交、必可正交对角化。
正交对角化把 换成 ,省掉了求逆,而且数值上条件数为 (最优)。
2. 谱分解(几何读法)
每个 是秩 1 的正交投影,所以对称矩阵 = "一组互相正交的投影的加权和",权重就是特征值。
3. 正定的判据(手算顺序)
即"能量恒正 特征值全正 顺序主子式全正 可写成 ( 可逆) 主元全正 合同于 "。
手算用顺序主子式;理论证明用 或"合同于 ";数值用 Cholesky 是否成功。
4. 分块正定(Schur 补)
判正定的决策流程(照做即可)
1. 先看对称性:不对称(在实矩阵情形)就不能直接谈正定,先取对称部分或改用 。
2. 快速排除:若有某个 ,立刻判定"不是正定"。
3. : 且 。
4. 及以上:算全部顺序主子式 ,全正才正定。
5. 含参数:先算低阶主子式砍范围,再解不等式组取交集,边界值单独讨论。
6. 分块结构:用 Schur 补递归。
7. 已知 或"某个 Gram 矩阵":直接用 判据,几乎零计算。
8. 数值:
numpy.linalg.cholesky是否抛异常(最快);或eigvalsh看最小特征值(最可靠),注意容差。
与前后的衔接(本篇在库里的位置)
- 向上:6-1-特征值引论 给出特征值定义;6-2-矩阵的对角化 给出 ,本篇把它升级为 (要求 对称)。
- 平行(连续化):对称矩阵的 不必求逆,这是对称系统模态分解干净的根本原因,见 6-3-微分方程组与矩阵指数。
- 向下(二次型):本篇的能量视角在 6-5-二次型与标准形 展开为配方法、合同变换、惯性定理与 Rayleigh 商;"正定 合同于 "在那里得到最完整的表述。
- 正交化的技术支撑:重根特征空间内部的正交化就是 Gram–Schmidt,见 4-4-标准正交基与Gram-Schmidt;投影矩阵的性质见 4-2-投影与投影矩阵,四大子空间的正交分解见 4-1-四大子空间的正交性、3-5-四大子空间的维数。
- 最小二乘: 半正定、列满秩时正定,这是法方程有唯一解的全部理由,见 4-3-最小二乘逼近。
- SVD 与 PCA: 就是谱定理的应用,见 7-1-SVD的构造与几何意义;协方差矩阵的谱分解给出主成分,见 7-3-主成分分析PCA、12-2-协方差矩阵。
- 数值与优化:Cholesky 分解()是正定矩阵的专用算法,见 2-5-LU分解与转置置换、附录-矩阵分解总览、11-2-范数与条件数;共轭梯度法以正定二次型为舞台,见 11-3-迭代方法与预条件。
- 工程与物理:刚度矩阵正定 平衡稳定;图 Laplacian 半正定 存在零能模式(整体平移),见 10-1-图与网络;多元高斯密度含正定二次型,见 12-3-多元高斯与加权最小二乘。
自测清单(能全部答出来才算掌握)
1. 为什么对称矩阵的特征值一定是实数?证明的关键一步用了什么性质?
2. "不同特征值的特征向量正交"为什么不能推广到"同一特征值的特征向量也正交"?重根时该怎么办?
3. 正定的五个等价条件里,哪一个手算最快?哪一个最适合理论证明?为什么 单独不够?
4. 什么时候正定、什么时候只是半正定?这与最小二乘解的唯一性有什么关系?
5. 与 各自保证了什么?只有前者时几何上是什么变换?
相关笔记
- 6-1-特征值引论:特征值与特征向量的定义与求法,本篇的一切从这里出发。
- 6-2-矩阵的对角化:一般矩阵的 ;本篇把"可对角化"升级为对称矩阵必有的 。
- 6-5-二次型与标准形:本篇的"能量视角"在那一篇展开为配方法、惯性定理与 Rayleigh 商。
- 4-3-最小二乘逼近:法方程 的唯一性完全依赖 的正定性(定理 6.4.4)。
- 4-4-标准正交基与Gram-Schmidt:重根特征空间内部的正交化要用 Gram–Schmidt。
- 7-1-SVD的构造与几何意义: 是谱定理的直接应用;SVD 是"非对称矩阵"的对应工具。
- 12-2-协方差矩阵:协方差矩阵是对称半正定矩阵,其谱分解给出 PCA 的主成分。
- 附录-矩阵分解总览:、(Cholesky)与 、、 的统一对比。
参考来源
- MIT OpenCourseWare 18.06 Linear Algebra(Gilbert Strang),Lecture 25: Symmetric matrices and positive definiteness:<https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/resources/lecture-25-symmetric-matrices-and-positive-definiteness/>
- MIT OpenCourseWare 18.06 Linear Algebra(Gilbert Strang),Lecture 27: Positive definite matrices and minima:<https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/resources/lecture-27-positive-definite-matrices-and-minima/>
- NumPy 官方文档
numpy.linalg.cholesky("a must be Hermitian and positive-definite";不正定时抛LinAlgError;含 的求解用法):<https://numpy.org/doc/stable/reference/generated/numpy.linalg.cholesky.html> - NumPy 官方文档
numpy.linalg.eigvalsh(实对称/复 Hermitian 矩阵的专用特征值例程;特征值按升序返回,与eigh的区别是不算特征向量):<https://numpy.org/doc/stable/reference/generated/numpy.linalg.eigvalsh.html> - Strang, Gilbert. Introduction to Linear Algebra, 5th ed. Wellesley-Cambridge Press, 2016, ISBN 9780980232776,第 6.4 节 "Symmetric Matrices"、第 6.5 节 "Positive Definite Matrices"。教材主页:<https://math.mit.edu/~gs/linearalgebra/>
- MIT OpenCourseWare 18.06 课程主页(视频、习题与考试题):<https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/>
- 同济大学数学系《线性代数》第六版,高等教育出版社,第五章第 3 节「实对称矩阵的对角化」、第 5—7 节「二次型及其标准形/配方法/正定二次型」。