常用公式速查
用途
全库 45 篇笔记里所有值得背下来的公式与结论都在这张表上。随时查这一篇;能默写出这张表,说明真的掌握了。
记号约定
矩阵 为 ,秩 ;向量用粗体 ;转置 ,共轭转置 。
详细约定见 关于本笔记库。
一、向量运算
| 公式 | 说明 |
|---|---|
| 点积的两种写法 | |
| 长度 | |
| 点积的几何意义 | |
| 正交判定 | |
| 展开式(勾股定理的一般形式) | |
| 三角不等式 | |
| Cauchy–Schwarz 不等式 | |
| 投影到 : | 一维投影 |
二、矩阵运算
| 公式 | 说明 |
|---|---|
| 转置反序 | |
| 求逆反序 | |
| 转置与求逆可交换 | |
| 伴随矩阵公式 | |
| : | 必须背 |
| 但 | |
| 结合律成立 | |
| (一般) | 交换律不成立 |
| () | 伴随矩阵的迭代(国内教材) |
三、行列式
| 公式 | 说明 |
|---|---|
| 乘法性 | |
| 转置不变 | |
| 逆的行列式 | |
| ( 阶) | 提取因子 |
| 消元后主元之积(含换行符号) | |
| 可逆 | 核心判据 |
| 排列定义( 项) | |
| 按第 行展开 | |
| 代数余子式 | |
| 范德蒙德: | 经典结论 |
| 克莱姆法则: | 理论价值大于计算价值 |
| = 体积伸缩因子 | 几何意义 |
| 叉积: | 行列式的应用 |
| 换元公式: | Jacobi 行列式 |
四、秩与四大子空间
这是全库最该背下来的一组公式
| 子空间 | 定义 | 所在空间 | 维数 |
|---|---|---|---|
| 列空间 | |||
| 零空间 | |||
| 行空间 | |||
| 左零空间 |
| 公式 | 说明 |
|---|---|
| 行秩 = 列秩 = | 重要定理 |
| 可解 | 可解性条件 |
| 解唯一 | 唯一性条件 |
| 完整解 | 特解 + 零空间 |
| 秩的次可加性 | |
| 乘积的秩 | |
| Sylvester 不等式(国内教材重点) | |
| 由 Sylvester 推出的常用结论 | |
| 正规方程可用的前提 | |
| 等价 同秩;标准形 | 等价标准形(国内教材) |
| 维数公式(国内教材) | |
| 直和判据 |
秩 的四种情形( 个方程、 个未知数):
| 情形 | 解的个数 |
|---|---|
| 唯一解 | |
| 无解或唯一解 | |
| 无穷多解 | |
| 且 | 无解或无穷多解 |
五、正交性与投影
| 公式 | 说明 |
|---|---|
| 核心正交关系 | |
| 核心正交关系 | |
| 投影到 : | 秩 1 投影矩阵 |
| 投影到 : | 一般投影 |
| 若 : | 正交基下的简化 |
| , | 投影矩阵的刻画 |
| 也是投影矩阵 | 投影到正交补 |
| 法方程: | 最小二乘 |
| 残差:,且 | 误差与列空间正交 |
| 标准正交基坐标: | 正交基的最大好处 |
| ,, | 正交矩阵的性质 |
| , | 正交补的维数与对合性 |
六、特征值与对角化
| 公式 | 说明 |
|---|---|
| () | 定义 |
| 特征方程 | |
| 迹 = 特征值之和 | |
| 行列式 = 特征值之积 | |
| 可对角化( 个无关特征向量) | |
| 矩阵幂 | |
| ( 实对称) | 正交对角化 |
| 对称矩阵特征值全为实数 | 谱定理 |
| 的特征值为 ; 的为 ; 的为 | 特征值变换 |
| 三角矩阵的特征值 = 对角元 | 快速判断 |
| 微分方程组的解 | |
| 矩阵指数 | |
| 稳定 (连续)/ (离散) | 稳定性判据 |
| 几何重数 代数重数;可对角化 每个特征值两者相等 | 可对角化判据 |
七、二次型与正定
| 公式 | 说明 |
|---|---|
| 二次型 | 标准形( 对称) |
| 正定 一切 有 | 定义 |
| 正定 全部特征值 | 判别 1 |
| 正定 全部顺序主子式 | 判别 2(Sylvester 判据) |
| 正定 消元主元全 | 判别 3 |
| 正定 , 可逆 | 判别 4(Cholesky) |
| 正定 与 合同 | 合同视角(国内教材) |
| 惯性定理:规范形中正、负项个数 由 唯一确定 | 合同不变量 |
| 规范形: | 二次型的最终标准形式 |
| 合同 同秩,但同秩 合同 | 常见误区 |
| 相似 同特征多项式;合同与相似互不包含 | 三种「等价」的区别 |
| 恒半正定;列无关时正定 | 连接最小二乘 |
| Rayleigh 商: | 特征值的极值刻画 |
八、SVD 与伪逆
| 公式 | 说明 |
|---|---|
| 奇异值分解 | |
| 奇异值来源 | |
| 降序排列 | |
| 关键关系 | |
| 最优低秩逼近 | Eckart–Young 定理 |
| 误差恰为下一个奇异值 | |
| 伪逆 | 列相关时的最小二乘 |
| 条件数 | 敏感性度量 |
| 行列式与奇异值 |
九、范数与条件数
| 名称 | 定义 |
|---|---|
| 1-范数 | |
| 2-范数 | |
| -范数 | |
| 矩阵 2-范数 | |
| Frobenius 范数 | |
| 条件数 | |
| 误差放大 | |
| 诱导范数 | = 最大列和, = 最大行和, |
| 条件数最小的矩阵 | ( 正交) |
| 条件数的几何意义 | = 到最近奇异矩阵的相对距离 |
| 迭代法充分条件 | 严格对角占优 Jacobi 与 Gauss–Seidel 都收敛 |
| GS 与 Jacobi 的谱半径 | (相容次序矩阵) |
| 共轭梯度 | 在 个互异特征值时 步精确收敛 |
| 机器精度 | (双精度) |
条件数与行列式的区别
,且不随矩阵整体缩放改变();
而 会随尺度剧烈变化。判断「接近奇异」要看 ,不是 。
十、可逆矩阵的等价条件(最重要的总结表)
对 方阵 ,下面这些说法全部等价****
1. 可逆( 存在)
2.
3. 秩 (满秩)
4. 零空间 ( 只有零解)
5. 的列线性无关
6. 的行线性无关
7. 列空间 (列张成整个空间)
8. 对每个 都有唯一解
9. 消元后主元全部非零(无零主元)
10. 的特征值全部非零
11. 全部奇异值
12. 正定
13. 可表示为初等矩阵之积
14. (或 )且 的对角元全非零
15. 等价于 (等价标准形就是 )
16. 的列构成 的一组基
十一、矩阵分解一览
| 分解 | 形式 | 条件 | 用途 |
|---|---|---|---|
| LU | 无零主元 | 解方程 | |
| 带置换 LU | 可逆 | 通用解方程 | |
| Cholesky | 对称正定 | 快速解正定系统 | |
| QR | 列无关 | 最小二乘 | |
| 正交对角化 | 实对称 | 二次型、PCA | |
| SVD | 任意矩阵 | 降维、压缩、伪逆 | |
| 等价标准形 | 任意矩阵 | 判定等价、求秩 | |
| 合同标准形 | 实对称 | 二次型的规范形 |
详细对比见 附录-矩阵分解总览。
三种「等价」的区别(国内教材重点)
| 关系 | 形式 | 保留什么 | 标准形 |
|---|---|---|---|
| 等价 | | 只保留秩 | |
| 相似 | | 特征值、迹、行列式 | Jordan 形 |
| 合同 | | 惯性指数 | 规范形 |
相似 等价,合同 等价,但相似与合同互不包含。
十二、应用中的核心结论
| 领域 | 结论 | 在哪一篇 |
|---|---|---|
| 图与网络 | 关联矩阵 :(拉普拉斯矩阵);连通图 | [[10-1-图与网络]] |
| 网络流量 | 流量方程 有解 ;解的个数 = 回路数 | [[10-1-图与网络]] |
| Markov 链 | 稳态 满足 ;全正转移矩阵的 单重 | [[10-2-Markov矩阵与稳态]] |
| PageRank | , 为阻尼系数 | [[10-2-Markov矩阵与稳态]] |
| 线性规划 | 最优解必在顶点取得;对偶与互补松弛 | [[10-3-线性规划]] |
| 傅里叶 | 傅里叶系数 = 内积;截断级数 = 最小二乘意义下的最优逼近 | [[10-4-傅里叶级数与函数空间]] |
| 图形学 | 齐次坐标使平移成为矩阵;法向量用 变换 | [[10-5-图形学与密码学]] |
| 概率统计 | 协方差矩阵 = 中心化随机变量的 Gram 矩阵;正定 分量线性无关 | [[12-2-协方差矩阵]] |
| 加权最小二乘 | [[12-3-多元高斯与加权最小二乘]] | |
| 广义最小二乘 | [[12-3-多元高斯与加权最小二乘]] | |
| 马氏距离 | ,等价于白化后的欧氏距离 | [[12-3-多元高斯与加权最小二乘]] |
十三、numpy / scipy 速查
常用调用
```python
import numpy as np
from scipy import linalg
A = np.array([[1., 2.], [3., 4.]])
np.linalg.det(A) # 行列式
np.linalg.inv(A) # 逆矩阵
np.linalg.matrix_rank(A) # 秩
np.linalg.solve(A, b) # 解 Ax = b(推荐,优于 inv)
np.linalg.lstsq(A, b) # 最小二乘
np.linalg.qr(A) # QR 分解
np.linalg.svd(A) # SVD
np.linalg.eig(A) # 特征值(一般矩阵,可能是复数)
np.linalg.eigh(A) # 特征值(对称矩阵,返回实数且升序)
np.linalg.norm(A, 2) # 2-范数(= 最大奇异值)
np.linalg.cond(A) # 条件数
linalg.lu(A) # 带置换的 LU
linalg.cholesky(S) # Cholesky
```
数值计算的四个常识
1. 解方程用
solve,不要用inv(A) @ b——前者更快也更稳。2. 对称矩阵用
eigh而不是eig——前者保证实特征值且结果升序。3. 比较浮点数不要用
==,用np.allclose。4. 不要用
det == 0判断奇异,用条件数或秩。
相关笔记
- 00-索引:全库导航
- 关于本笔记库:符号约定
- 附录-矩阵分解总览:分解的详细对比
- 3-5-四大子空间的维数:第四节公式的来源
- 6-5-二次型与标准形:规范形与惯性定理的完整推导
- 11-2-范数与条件数:第九节数值部分
- 学习路线图:学习顺序建议
参考来源
- Gilbert Strang《Introduction to Linear Algebra》第 5 版
- 陈维新《线性代数》(第二版),科学出版社 —— 本库的等价标准形、维数公式、惯性定理与规范形、伴随矩阵、Sylvester 不等式等部分参照该书体系
- MIT 18.06 Linear Algebra 公开课:<https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/>
- NumPy 线性代数例程:<https://numpy.org/doc/stable/reference/routines.linalg.html>
- SciPy 线性代数模块:<https://docs.scipy.org/doc/scipy/reference/linalg.html>
关于符号差异
国内外教材在符号上存在差异(行列式 或 、转置 或 、秩 或 )。
本表统一采用 关于本笔记库 的约定;与授课教材不一致时以授课教材为准。