w wyl123ly 的博客
MD

线性代数

28 KB 2026.10.18 原文件

线性代数

定义

线性代数研究向量空间及其上的线性映射:给定实数域 上的集合 与向量加法、标量乘法,若运算满足加法交换律与结合律、存在零元与负元、标量乘法满足结合律与两条分配律且 ,则称 为向量空间,其元素称为向量;若映射 满足 ,则称为线性映射,取定基后由矩阵唯一表示。

本篇符号约定如下。

符号含义
、实数域、复数域
维实向量,默认写作列向量
行 列实矩阵, 为第 行第 列元素
转置,
阶单位矩阵
内积,实向量下等于
范数
秩,列空间的维数
行列式
特征值及其对应的特征向量
列空间,即全部列的线性组合构成的集合
零空间,即

其余术语在正文首次出现处定义:线性组合为形如 的有限和;张成为全体线性组合构成的集合;线性无关指 只有零系数解;基为线性无关的生成组;维数为基所含向量个数,与基的选取无关。

为什么重要

深度学习模型的每一层是仿射映射 ,其计算量与表示能力由 的形状与秩决定;反向传播传递的梯度是线性映射的转置作用;线性回归的闭式解由正规方程给出;向量检索按余弦相似度排序;LoRA 的低秩约束、PCA 的主成分、SVD 的降维都建立在特征分解之上。缺少这套语言会产生三类具体后果:无法判断张量形状错误;无法推导闭式解及其复杂度;无法解释低秩、正交初始化、白化等工程选择的动机。

在本库中,本篇是 01 阶段的第一块基石,直接支撑 线性回归 的正规方程、矩阵分解-SVD与特征分解 的谱分析、优化算法-梯度下降与Adam 的二次型收敛分析,以及 Embedding与向量检索 的相似度度量。对应学习目标中的「懂原理」与「能复现」:读懂公式并写出向量化实现。

原理与推导

1 线性组合、张成与基

给定 与标量 ,称 为该向量组的线性组合,全体组合构成 。若 只有平凡解,则向量组线性无关;否则线性相关,其中至少一个向量可写成其余向量的组合。

基是线性无关的生成组,空间内每个向量都能唯一地写成基向量的组合,系数称为该向量在该基下的坐标。唯一性由线性无关保证:若两组坐标不同,其差给出非平凡零组合。维数是基的大小,该定义良定:由 Steinitz 替换定理,若向量组 张成空间,则其中任一线性无关组的长度不超过 ,对两组基互相应用即得等长。

矩阵的秩与维数由秩-零化度定理联系:

该式表明映射 把 维输入空间压缩为秩维的输出空间,被压掉的维数等于零空间维数。

2 内积、范数与余弦相似度

实向量内积 满足双线性、对称性与正定性。范数是满足正定性、绝对齐次性 与三角不等式的函数,常用的三种如下。

范数定义主要性质典型用途
原点不可微,诱导稀疏解Lasso、特征选择
由内积诱导,除原点外可微权重衰减、距离度量
只由最大分量决定对抗扰动上界、误差上界

Cauchy–Schwarz 不等式:,等号当且仅当 线性相关。证明:对任意 ,,关于 的二次函数判别式非正,即 ;取等时该二次函数有唯一零点,对应 为 的倍数。

据此定义夹角 :。余弦相似度即该余弦值,取值于 ,与向量长度无关。它与欧氏距离存在精确关系:

当 时化为 ,故最小化欧氏距离与最大化余弦相似度等价。这是检索前对 embedding 做 归一化的依据,见 Embedding与向量检索;归一化的向量化实现见 NumPy向量化。

3 矩阵作为线性映射

矩阵 定义映射 ,线性性由乘法对加法与标量乘法的分配律得到。反向理解更关键: 的第 列等于基向量 的像,,故矩阵的列完整记录了基向量的去向,秩就是像空间的维数。

设 ,,,有两种等价视角。

  • 行点积视角:,即每个元素是 第 行与 第 列的内积。
  • 列组合视角:,即 第 列是 各列以 第 列为系数的线性组合。

两者等价,因为乘法对每个输出位置做同一件事:以右矩阵的一列为系数,对左矩阵的列加权求和。矩阵乘法对应线性映射的复合:若 、,则 。

形状规则为 ,相邻维度 必须相等。复杂度由定义直接得出: 个输出元素各需 次乘加,时间 ,内存 ;批量矩阵乘的时间为 。这解释了注意力中 分数矩阵为何是长上下文的主要开销,见 注意力机制与QKV。

运算输入形状时间复杂度
矩阵乘、
逐元素乘两个
高斯消元解方程
显式求逆
对称特征分解,常数约为 SVD 的一半
完全 SVD

单位矩阵 满足 ,对应恒等映射。注意区分矩阵乘法与 Hadamard 积 :NumPy 中前者是 @,后者是 *,混用不会报错但结果错误。

4 逆、秩与正交矩阵

方阵 若存在 使 ,则称可逆。等价条件:;;列向量线性无关; 只有零解;奇异值全非零。逆满足 与 。

秩等于列空间维数,也等于行空间维数,并等于非零奇异值个数。基本不等式:,;后者说明乘法只会降秩,对应深层网络权重矩阵的秩塌缩。

正交矩阵 满足 ,即列向量构成标准正交基 。它保内积:

故保长度与夹角,且 。正交初始化正是利用这一性质维持前向方差稳定。

5 投影矩阵

设 列满秩(), 为 的 维子空间。任给 ,求 中距 最近的点。由于该点可写为 ,问题化为

对 求梯度并令其为零(梯度法则见 微积分与梯度):

该式称为正规方程。 可逆的充要条件是 列满秩:若 ,左乘 得 ,故 ,列满秩推出 。于是

记 ,称为到 的投影矩阵。两个关键性质:

  • 幂等:,即对列空间内向量再次作用不改变结果。
  • 对称:,其中用到 对称故其逆对称。

残差 满足 ,即残差与列空间正交,这是「最近」的等价刻画:若存在可行方向 使 更近,则 ,与假设矛盾。

当 时 ,, 不可逆;。 是到 正交补的投影。

6 特征值与特征向量

若存在 与非零向量 使 ,则称 为特征值, 为对应的特征向量。几何含义是 在 方向上只做伸缩,倍数为 。

将定义改写为 ,非零解存在当且仅当 奇异,即

是 次多项式,在复数域内恰有 个根(计重数),称为特征多项式。由此得到 与 。

属于不同特征值的特征向量线性无关:设 ,,,若 ,左乘 得 ,两式相减得 ,故 ,同理 。

若 有 个线性无关的特征向量,令 ,则对角化:

于是 ,矩阵幂化为标量幂,这是分析线性动力系统的常用手段。特征值有重根时几何重数可能小于代数重数,此时不可对角化,例如 只有一维特征空间。

谱定理:实对称矩阵必可正交对角化,

且特征值全为实数,不同特征值的特征向量互相正交。证明要点:对 左乘 并取共轭转置,由 得 ;正交性由 推出;重特征值情形在特征空间内取标准正交基即可补全。

正定矩阵:对称矩阵若对任意 有 ,则称正定,记 ;把 换成 得半正定。等价判据:特征值全为正;全部顺序主子式为正(Sylvester 判据);存在列满秩 使 。

二次型是 。由于 ,只有对称部分影响取值,讨论二次型时可假定 对称。正定性决定二次型的几何形状,也决定 Hessian 正定与凸性的关系。

7 线性方程组与最小二乘的几何解释

对 ,解存在当且仅当 。按形状与秩分三种情形。

情形条件解的情况
方阵满秩,唯一解
欠定相容时无穷多解,通解为特解加零空间任意向量
超定,一般无精确解,最小二乘解唯一

超定情形下 一般不在列空间内,只能求使残差范数最小的近似解,其几何含义是把 正交投影到列空间:投影点 是列空间内距 最近的点,对应系数 。这正是 线性回归 的最小二乘估计:设计矩阵的列空间由各特征方向张成,拟合值是观测向量在该空间的投影,残差垂直于每个特征方向,因而与各特征不相关。

数值上,显式构造 会使条件数平方,放大舍入误差;实践中用 QR 分解或 SVD 求解,NumPy 的 np.linalg.lstsq 默认采用 SVD 路径。

关键直觉

矩阵是线性映射的坐标记录:乘积对应映射复合,第 列记录基向量 的像,秩给出像空间维数。投影矩阵把向量分解为列空间分量与正交补分量,幂等性 表示对列空间分量再次作用不改变结果,对称性保证该分解在欧氏内积下无偏。特征向量是映射作用下方向不变的轴,特征值是该轴上的伸缩倍数,谱定理说明对称矩阵总存在一组正交的这类轴。

与严格定义的关系:两种乘法视角由 的求和顺序重排得到;幂等与对称由 可逆直接推出;特征方向的存在性由特征多项式在复数域内的根定理保证,正交性由谱定理保证,均无额外假设。

例子与代码

例 1: 矩阵的特征分解

取 。特征多项式为

故 ,。校验:,。

对 ,解 ,即 ,得 ,取 。对 ,解 ,得 ,取 。验证:

两特征值不同,故两特征向量线性无关, 可对角化,单位化后分别为 与 。

例 2: 矩阵的投影矩阵

取 。先算

再算

检查:,矩阵对称, 故不满秩。

例 3:手算最小二乘

沿用上例的 ,取 ,则 ,正规方程为 ,系数行列式为 3,解得 ,。拟合值与残差为

验证正交性:。残差范数 ,为该列空间内可达到的最小误差;若取 ,残差为 ,范数为 1,大于最小二乘解。

例 4:NumPy 验证

以下代码在 Python 3.12 与 NumPy 2.3.5 下运行通过,依次验证乘法两种视角、秩与行列式、特征分解、投影矩阵性质、正定性。

import numpy as np

np.set_printoptions(precision=4, suppress=True)

# 第 1 段:矩阵乘法的两种视角
A = np.array([[4.0, 1.0],
              [2.0, 3.0]])
B = np.array([[2.0, 0.0],
              [1.0, 3.0]])

C_row = A @ B                                    # 视角一:行点积
C_col = np.column_stack([B[0, j] * A[:, 0] + B[1, j] * A[:, 1]
                         for j in range(B.shape[1])])   # 视角二:列的线性组合
print("A @ B =\n", C_row)
print("两种视角一致:", np.allclose(C_row, C_col))

# 第 2 段:秩与行列式。det 非零等价于满秩、可逆
print("rank =", np.linalg.matrix_rank(A), " det =", round(float(np.linalg.det(A)), 6))

# 第 3 段:特征分解。先排序并固定符号,消除库函数在顺序与符号上的不确定性
w, V = np.linalg.eig(A)
idx = np.argsort(w)[::-1]
w, V = w[idx], V[:, idx]
V = V * np.sign(V[0])                            # 令每个特征向量首分量为正
print("特征值(降序)=", w)
print("特征向量(按列)=\n", V)
res = max(np.linalg.norm(A @ V[:, i] - w[i] * V[:, i]) for i in range(2))
print(f"最大特征方程残差 = {res:.2e}")

# 第 4 段:投影矩阵。幂等与对称可直接检验
A3 = np.array([[1.0, 0.0],
               [0.0, 1.0],
               [1.0, 1.0]])
P = A3 @ np.linalg.inv(A3.T @ A3) @ A3.T
print("P =\n", P)
print("幂等 P @ P == P:", np.allclose(P @ P, P))
print("对称 P == P.T:", np.allclose(P, P.T))
print("trace(P) =", np.trace(P), " rank(P) =", np.linalg.matrix_rank(P))

# 投影与最小二乘:残差应与列空间正交,lstsq 给出同一组系数
b = np.array([1.0, 2.0, 4.0])
p = P @ b
print("投影 p =", p)
print("残差正交性:", np.allclose(A3.T @ (b - p), 0.0))
x_hat, *_ = np.linalg.lstsq(A3, b, rcond=None)
print("lstsq 解 =", x_hat, " A3 @ x_hat =", A3 @ x_hat)

# 第 5 段:正定性与二次型。eigvalsh 专用于对称矩阵,返回实特征值且升序
Q = np.array([[2.0, 1.0],
              [1.0, 2.0]])
x = np.array([1.0, -1.0])
print("Q 的特征值 =", np.linalg.eigvalsh(Q))
print("x^T Q x =", x @ Q @ x)

预期输出(末几位随 BLAS 实现略有差异):

A @ B =
 [[9. 3.]
 [7. 9.]]
两种视角一致: True
rank = 2  det = 10.0
特征值(降序)= [5. 2.]
特征向量(按列)=
 [[ 0.7071  0.4472]
 [ 0.7071 -0.8944]]
最大特征方程残差 = 2.22e-16
P =
 [[ 0.6667 -0.3333  0.3333]
 [-0.3333  0.6667  0.3333]
 [ 0.3333  0.3333  0.6667]]
幂等 P @ P == P: True
对称 P == P.T: True
trace(P) = 2.0  rank(P) = 2
投影 p = [1.3333 2.3333 3.6667]
残差正交性: True
lstsq 解 = [1.3333 2.3333]  A3 @ x_hat = [1.3333 2.3333 3.6667]
Q 的特征值 = [1. 3.]
x^T Q x = 2.0

要点说明。第 1 段用两种独立实现比较同一乘积:只写 A @ B 无法判断转置错误,np.allclose 使形状正确而数值错误的情形在断言处暴露。第 3 段先排序再统一符号,因为 np.linalg.eig 返回顺序由 LAPACK 决定,特征向量整体乘 仍是特征向量,直接比较会误判实现错误。第 4 段构造显式逆矩阵只为演示定义,实际求解应使用 lstsq 或 QR,原因见第 7 小节的条件数分析。第 5 段用 eigvalsh 而非 eig:前者只接受对称矩阵并假定对称,速度约为后者两倍且保证返回实数。

易错点

以下错误在实现中不报错但结果错误,需逐项核对。

1. 混淆 @ 与 ,或颠倒操作数顺序:A B 是 Hadamard 积,要求形状相同或可广播,不要求内维相等;A @ B 要求 的列数等于 的行数,写成 B @ A 时若两者均为方阵不会报错,但结果不同。两类错误在形状恰好匹配时都只产生错误数值,不抛异常。

2. 认为 等价于方程组无解: 只说明不可逆。以 为例, 时有无穷多解, 时无解,判据是 是否属于列空间。非方阵没有行列式,np.linalg.det 会直接报错。

3. 把特征向量当作唯一:任意非零倍数仍是同一特征值的特征向量,np.linalg.eig 返回单位向量但符号任意;重特征值时特征空间的基不唯一,跨实现比较应比较子空间或余弦绝对值。

4. 假定实矩阵的特征值必为实数:旋转矩阵 的特征值为 ,eig 返回复数数组;对称矩阵应改用 eigvalsh 或 eigh,否则后续比较可能失败。

5. 对投影矩阵求逆: 时 的秩为 ,行列式为零, 同样不可逆,二者都不是一般线性变换。

6. 以对角元符号判断正定性: 对角元均为正,特征值为 与 ,实际不定;判据是特征值符号或全部顺序主子式。

关联笔记

  • 微积分与梯度(后续):正规方程由二次型求导得到,梯度与 Hessian 的定性分析依赖本篇的矩阵语言。
  • 矩阵分解-SVD与特征分解(后续):本篇给出特征分解与谱定理,SVD 将其推广到任意 矩阵并给出低秩近似。
  • 线性回归(后续):最小二乘的几何解释与正规方程直接构成线性回归的闭式解。
  • 优化算法-梯度下降与Adam(对照):闭式解与迭代法解决同一类问题,二次型条件数决定二者收敛速度的差异。
  • Embedding与向量检索(后续):余弦相似度与归一化后的内积是向量检索的排序依据。

达标检测

  • [ ] 写出 的形状规则,用 、 手算 ,指出它对应哪一行与哪一列的内积,并给出乘法的浮点运算次数。
  • [ ] 对 手写特征多项式、两个特征值与单位特征向量,并用 逐分量验证。
  • [ ] 从残差正交条件 推出正规方程与 ,并证明 、、。
  • [ ] 运行本篇代码,解释为何 的迹等于 2,并说明删去第 3 段的排序与符号修正后输出可能在哪些位置变化。
  • [ ] 构造一个 奇异矩阵与两个不同右端项,分别使方程组有无穷多解与无解,并用列空间语言说明判据。
  • [ ] 判断 是否正定,分别用特征值与顺序主子式两种判据给出结论,并写出对应二次型。

参考来源

  • Goodfellow, Bengio, Courville, Deep Learning, 2016, 第 2 章 —— 对应本篇向量范数、矩阵乘法、特征分解与 SVD 的记号与结论。
  • d2l.ai《动手学深度学习》,第 2 章 2.3 节「线性代数」—— 对应本篇矩阵运算的张量实现视角与范数小节。
  • Stanford CS229 线性代数复习讲义(cs229-linalg)—— 对应本篇矩阵乘法两种视角、秩、逆与正交矩阵各节。
  • Hastie, Tibshirani, Friedman, The Elements of Statistical Learning, 第 3 章 —— 对应本篇最小二乘的列空间投影解释。