4-3-最小二乘逼近
一句话概括
当 无解时,我们不放弃——退一步去找使误差 最小的那个 。这个"最佳妥协解"由法方程(normal equation) 给出,几何上它就是 在列空间 上的正交投影对应的坐标。
本篇覆盖:最小二乘问题的来源、几何解释(最近点即投影点,含证明)、几何法与代数法两种推导、法方程的完整推导、残差 与列空间正交、直线拟合完整例题、抛物线(二次)拟合例题、 与 可逆性讨论、列相关时用伪逆的处理思路、numpy 实战代码。
一、定义
1.1 问题从哪里来
给定 矩阵 与 维向量 ,考虑方程
按列的读法,这个方程要求 是 的 个列的线性组合。如果 ,方程无解。现实的测量数据几乎必然落在列空间之外: 个方程、 个未知数、且 (超定方程组),误差使得没有任何一条曲线能同时穿过所有数据点。
核心思想
无解不代表无能为力。我们把"求解"改成"求最优近似":在所有可能的 中,挑出离 最近的那一个。
1.2 最小二乘问题的精确定义
定义 4.3.1(最小二乘问题,least squares problem)
设 ,。最小二乘问题是求 ,使得
即 最小化误差向量(error vector)的欧几里得长度。满足此条件的 称为最小二乘解(least squares solution)。
因为平方函数 在 上严格递增,所以"最小化 "与"最小化 "完全等价。实践中一律用后者,因为
是一个光滑的二次函数,求导方便,而且避免开根号带来的数值麻烦。
1.3 误差、残差与预测向量
定义 4.3.2(残差,residual)
对任意 ,称
为残差向量。对最小二乘解 ,记
称为投影向量或预测向量(predicted vector / fitted vector), 称为最小残差。
于是 :把 拆成"列空间内能解释的部分" 与"列空间外无法解释的部分" 。这个拆法是本篇全部内容的骨架。
1.4 术语:为什么叫"最小二乘"
个方程各自的偏差是 ,最小化 就是最小化"误差的平方和"。历史上 Gauss 与 Legendre 用这个方法处理天文观测数据的误差,中文译作"最小二乘法",英文 least squares(最小平方和)。
二、几何直观
2.1 一张图:在列空间里找最近点
把 想成一张纸, 是纸面上一个点, 的列空间 是纸面上过原点的一个平面(若 , 一般不在这个平面里)。
问题变成:平面上哪一点离 最近?
直觉给的答案是:从 向平面作垂线,垂足就是最近点。这个"垂足"就是投影 。用文字描述这张图:
- 平面上画一个平行四边形,表示一切可能的 组成的集合 ;
- 平面外画一点 ;
- 从 引一条垂线段落到平面上,垂足记作 ;
- 从原点到 的箭头就是 ;
- 从 到 的箭头就是残差 ,它与平面垂直。
形式上: 且 。
2.2 列空间的两种极端情形
| 情形 | 几何图像 | 最小二乘的行为 |
|---|---|---|
| 落在平面内 | 垂足就是 自己,,残差平方和为 ,最小二乘解就是精确解 | |
| 与平面正交 | 垂足是原点,,,残差就是 本身 | |
| 一般情形 | 斜插在平面外 | ,两者都有分量 |
2.3 为什么垂足是最近的——证明
定理 4.3.1(最近点就是投影点)
设 是 的子空间,。若 满足 ,则
也就是说,垂足是 中唯一离 最近的点。
证明(勾股定理法,只用到内积的双线性与正交定义)。
任取 ,写
这里 (因为 是子空间,对减法封闭)。由假设 ,故
两个向量正交时,长度的平方可加(勾股定理,即 当 ):
因为 ,所以 ,于是
唯一性也一并得到:只要 就严格更大。
适用条件: 必须是 的子空间(对加法和数乘封闭),用到了 。对一般的凸集,最近点存在但不一定唯一,也没有这个勾股证明。
2.4 把"垂直"翻译成矩阵语言
是什么意思? 由 的 个列张成,所以" 垂直于列空间"等价于" 垂直于 的每一个列":
把 个等式写成一个矩阵等式,就是
回忆 4-1-四大子空间的正交性: 正是左零空间 的定义方程。所以
正交分解三段论
且 恰好是 沿这两个正交补子空间的唯一正交分解。
这是本篇最重要的结构性结论:最小二乘 = 把 投影到列空间,残差自动落进左零空间。
三、性质与定理
3.1 几何法推导:从 到法方程
定理 4.3.2(法方程)
设 ,。向量 是最小二乘解,当且仅当
这个 的方程组称为法方程(normal equations,也称正规方程)。
证明(必要性)。
设 是最小二乘解,,。由定理 4.3.1 的几何刻画,,于是对每个列 有 。写成矩阵形式
代入 :
两个等号分别用了矩阵乘法的分配律与结合律 。
证明(充分性)。
反过来设 ,即 ,也就是 。由定理 4.3.1 立得 对一切 成立。
记住法方程的三种读法
1. 投影读法: 是 在 上的投影, 说"残差与列空间正交"。
2. 代数读法:把 个矛盾方程"压缩"成 个方程——两边同乘 ,把 里的无解问题变成 里的可解问题。
3. 统计读法:在直线拟合中,法方程的第一行等价于"残差之和为零",第二行等价于"残差与自变量 不相关"。这两个条件正是最小二乘回归的正交性条件。
3.2 代数法推导:求导与配方法
几何法短而漂亮,但需要先相信"最近点是垂足"。下面给一条完全不依赖几何的路线,也是国内教材常用的路线。
记 。展开:
注意 是标量,转置后等于自身,即 ,故
求导法。对分量 求偏导:注意 对称,二次型 对 的偏导为 ,而 对 的偏导是 。于是
令全部偏导为零( 是凸二次函数,驻点即全局最小点):
配方法。若 可逆,令 ,则
第一项 恒非负,后两项与 无关。因此取 时 达到最小值,最小值是 。
两种推导的关系
配方法里出现的" 使 最小的结论",其实就是几何法的勾股分解 。代数与几何在这里合流。
3.3 的可逆性
定理 4.3.3( 可逆当且仅当 的列线性无关)
设 。则 ,从而 ;特别地
证明。
先证 :若 ,两边左乘 得 。
再证 :若 ,两边左乘 :
第二个箭头是关键:只有当向量自己为零时,它的长度平方才为零。
于是 。 是 方阵,它可逆 的列线性无关。
适用条件:对实矩阵成立;复矩阵把转置换共轭转置结论不变。若 的列相关, 必不可逆(奇异),法方程有无穷多解,见第 6 节。
定理 4.3.4(列无关时最小二乘解唯一)
若 的列线性无关,则最小二乘解唯一,为
矩阵 是到 的投影矩阵,满足 。
这正是 4-2-投影与投影矩阵 的一般公式在本问题中的出现。 的三条性质在这里都能直接验算: 因为 (用了 对称), 因为中间的 被抵消。 也是常用检验。
3.4 残差的三条性质
性质(残差与列空间正交)
对最小二乘解 与残差 :
1. ,即 (左零空间);
2. ,且 ;
3. 与 的每一列正交,因此也与列空间的任何向量正交。
第 2 条就是勾股定理,由第 1 条得 。
在直线拟合中这两条性质变成很具体的"可检查项":
前提是拟合模型里含有常数项(即 中有一列全为 )。
3.5 最小二乘解与"精确解"的关系
性质(无解与有解的统一)
- 若 ,则 , 就是一个精确解;当 列无关时它是唯一精确解。
- 若 ,则 , 不是方程的解,但它是唯一的最小二乘解(列无关时)。
- 无论哪种情形, 都是同一组法方程的解——最小二乘是"解方程"的推广而不是替代品。
四、计算方法与步骤
4.1 手算流程(列无关时)
- 建模:把待定参数写成向量 ,把模型写成 的超定形式,确认 的列线性无关。
- 算 : 对称矩阵,元素是 各列之间的内积。
- 算 : 维向量,元素是各列与 的内积。
- 解 方程组 (用消元或求逆, 时手算很快)。
- 验算残差:算 ,检查 。这一步是防止算错的"免费校验"。
- 算误差指标:残差平方和 、决定系数 。
- 解释结果:把 的分量代回模型,说明物理/统计含义。
4.2 数值流程(程序里应该怎么做)
不要真的去求
上面第 4 步在纸上很好用,但在浮点计算中是一个坏主意:
把条件数平方意味着误差放大能力被平方。 的条件数是 时, 的条件数是 ——双精度下已经丢掉一半有效位。数值上的标准做法是走 QR 分解(见 4-4-标准正交基与Gram-Schmidt):
后者是上三角方程组,直接回代,条件数只与 同阶。这就是 numpy 的
lstsq在内部做(或等价地做 SVD)的事情。
4.3 关键公式汇总
| 名称 | 公式 | 备注 |
|---|---|---|
| 法方程 | 永远成立 | |
| 最小二乘解 | 需 列无关 | |
| 投影向量 | ||
| 投影矩阵 | ||
| 残差 | ||
| 正交条件 | 校验用 | |
| 残差平方和 | 由勾股定理 |
五、例题
5.1 例题 1:直线拟合(完整不跳步)
题目
某实验测得 4 组数据:
| | 0 | 1 | 2 | 4 |
|---|---|---|---|---|
| | 1 | 1 | 3 | 3 |
求形如 的最小二乘拟合直线,给出法方程、解、残差与 。
第 1 步:建模。
要求 ()同时成立,即
写成矩阵形式 ,其中未知向量取 (先斜率后截距,与 的列对应):
的第一列是 值,第二列是全 (常数项)。,超定。两列显然不成比例( 值不全相等),故列无关, 唯一。
第 2 步:算 。
注意元素含义:,,。
第 3 步:算 。
即 ,。
第 4 步:写出并求解法方程。
行列式 ,故可逆。逆矩阵
于是
所以
用均值公式快速验算
对直线模型,,。两参数最小二乘解有闭式:
现在 ,,故 ,。与上面的结果一致。
第 5 步:算拟合值与残差。
| 0 | 1 | ||
| 1 | 1 | ||
| 2 | 3 | ||
| 4 | 3 |
用分数统一分母(全部乘以 ):
第 6 步:校验正交性。
第一行是 ,第二行是 。两个校验都通过,说明解没有算错。
第 7 步:误差指标。
残差标准差( 自由度),斜率的标准误
第 8 步:图像说明(文字描述)。
在以 为横轴、 为纵轴的坐标系里:
y
3 | * (4, 3) ← 实际点
| ..../
| .../
2.5| .../ × (2, 3) 离直线较远(残差 +6/7)
| .../ ×
2 | ../ (2, 2.143)
| ./
1.5| / × (1, 1.571) 实际点 (1,1) 在直线下方(残差 -4/7)
| /
1 |* (0,1) 恰好落在直线上(残差 0)
|/
0 +----|----|----|----|----→ t
1 2 3 4
直线从 出发向右上方延伸,斜率为 。四个点分布在直线两侧: 恰好在线上, 在线下方, 在线方上, 略低于线。上方偏差的面积与下方偏差的面积相互抵消(残差和为 ),这正是常数项存在的结果。
5.2 例题 2:抛物线拟合(二次拟合,数据带噪声)
题目
用二次多项式 拟合下列 4 组数据:
| | 0 | 1 | 2 | 3 |
|---|---|---|---|---|
| | 1.2 | 1.9 | 5.3 | 9.6 |
求 ,并给出残差。
第 1 步:建模。
这里把常数项放在第一列,参数顺序 与列顺序一致——参数顺序必须与列顺序严格对应,这是最常见的失分点。
第 2 步:算 与 。
用四组和式():,,,,。于是
(逐项核对:第一分量 ;第二分量 ;第三分量 。)
第 3 步:解法方程。
,故可逆。用伴随矩阵(把三个 代数余子式算出来)得到
逆矩阵的校验(务必做)
逐行验算 的第一行:
;
;
。
得到 ,与单位矩阵第一行一致。算完逆矩阵不验算,是丢分与出错的头号原因。
于是
逐项算清三个分量:
- 第一分量:,,,合计 ;
- 第二分量:,,,合计 ;
- 第三分量:,,,合计 。
交叉验算:换用中心化坐标复查。
令 ,则 取 ,满足 且 。用模型 ,各项和式为
(核对:;四次方和 。)
于是
右端需用 与 的内积:,,。
中间方程立刻给出 ,即 ;剩下两元方程组
行列式 ,故
所以 ,。展开回 (用 代入):
与直接解法方程得到的 完全一致。两条路互相验证通过。
二次拟合的计算捷径
当数据点的 等距且个数为奇数时,把 平移到以中间点为中心(例:), 会出现大量零元素,法方程接近对角,手算量骤减。这正是"中心化"(centering)在数值上的价值:它同时压低条件数,见第 7 节代码中的对比。
第 4 步:残差与校验。
| 0 | 1.2 | 1.11 | |
| 1 | 1.9 | ||
| 2 | 5.3 | ||
| 3 | 9.6 |
校验(把残差乘以 化成整数便于手算):
残差平方和
几何观察:残差符号交替出现(),4 个点被曲线"上下穿过",而不是全偏在一侧。这是最小二乘的正交性带来的典型形态——只要模型含常数项,残差必然正负抵消。
y
10 | * (3, 9.6)
| ..*
9 | ..* × (3, 9.69):拟合值略高于实测
| ..*
8 | ..*
| ..*
7 | ..*
| ..*
6 | ..*
|..*
5 |* (2, 5.3)
| × (2, 5.03):拟合值略低于实测
4 |
|
3 |
2 | × (1, 2.17)
| * (1, 1.9)
1 |* (0, 1.2)、× (0, 1.11)
|
0 +----|----|----|----|----→ t
1 2 3
曲线开口向上()且几乎过原点(),四个点分别在曲线的两侧交替分布。注意曲线并没有穿过任何一个数据点——这正是"带噪声数据 + 超定方程组"的标准形态,也是最小二乘与插值的本质区别(插值要求曲线穿过全部点,代价是阶数必须足够高、且对噪声极敏感)。
一个更容易手算的对照例子
若把上表改成精确的二次数据 (,二阶差分恒为 ),则法方程的解恰为 ,残差全为 ,即 精确穿过全部 4 点。这个"特例"提醒我们:最小二乘是解方程的超集——当 时,它自动退化为精确求解。
5.3 例题 3:一个更简单的例子——检验"最近点就是投影点"
题目
设 ,。求 在 上的投影,验证残差与列空间正交。
解。,,法方程给出 。投影 ,残差 。
校验:;且 ,,, 满足勾股分解。
几何: 是平面上 那条直线。 到这条直线的最近点正是 (距离 ),沿 方向——该方向与 垂直。
六、列相关时怎么办
6.1 现象:法方程有无穷多解
若 的列线性相关,则 ,由定理 4.3.3 知 奇异,法方程 有无穷多解。此时:
- 投影 仍然唯一(因为 上的最近点是唯一的,定理 4.3.1);
- 但"给出 的参数 "不唯一——零空间 里的任何向量加到 上都不改变 。
例子
(两列成比例,),。
法方程退化成一条方程 ,解集是一条直线 ,无穷多解。其中范数最小的是 (在直线上的最近点)。
6.2 处理思路:伪逆与最小范数解
定理 4.3.5(伪逆给出最小范数最小二乘解)
设 的 SVD 为 , 中非零奇异值为 。定义 的伪逆(Moore–Penrose pseudoinverse)
则 是所有最小二乘解中欧几里得范数最小(长度最短)的那一个。当 的列线性无关时,,与前面的公式一致。
思路说明。把 看成对坐标的"缩放与旋转":在 的坐标下, 把方向 拉长 倍。伪逆做的事就是把这件事反过来—— 的坐标回到 的坐标,非零奇异值取倒数,零奇异值方向直接置零。置零这一步是关键的工程决策:它意味着"零空间方向上的分量被彻底丢弃",于是得到的解不会在无意义的自由度上浪费长度,从而范数最小。
- 若 可逆(),,。
- 若 列无关但行多余(,超定),。
- 若 行无关但列多余(,欠定),。
- 一般情形必须用 SVD,这就是 7-1-SVD的构造与几何意义 的内容。
预告
第 7 章会用 一次性讲清四件事: 的秩、四个基本子空间的标准正交基、伪逆的定义,以及"病态问题如何通过截断小奇异值来稳定化"。本篇只用到"秩亏时 不唯一、 给出最小范数解"这一个小结论。
七、应用
7.1 数据拟合与回归
最小二乘是线性回归(linear regression)的数学本体。给定 个样本、 个特征,把设计矩阵记作 (,最后一列全为 ),响应向量记作 ,则
- 预测值 就是 到 的投影;
- 残差 等价于"残差与每个特征不相关",这是回归诊断里最基本的正交性条件;
- 度量投影保留了多少信息。
其他典型场景:
| 场景 | 模型 | 说明 |
|---|---|---|
| 传感器标定 | 拟合非线性响应曲线,系数即标定参数 | |
| 轨迹拟合 | 多项式 / 样条基 | 用基函数列构造 ,把"拟合曲线"化归为线性参数问题 |
| 卫星定位 | 线性化后的观测方程 | 超定方程组的最小二乘迭代解 |
| 信号处理 | 用正交基展开 | [[10-4-傅里叶级数与函数空间]] 中傅里叶系数就是最小二乘系数 |
"非线性"模型也可以是线性最小二乘
只要模型对参数线性(如 ,尽管对 非线性),最小二乘就是一个线性方程组问题。反之,若参数出现在指数或分母里(如 ),则需要先取对数或做非线性迭代——这时"最小二乘"的目标函数不再有法方程这个闭式解。
7.2 可运行代码(Python + NumPy)
运行环境
以下代码在 Python 3.13 + NumPy 2.3 下验证通过(
numpy.linalg.lstsq的rcond参数自 NumPy 1.14 起要求显式指定以避免警告;rcond=None表示采用机器精度相关的默认截断)。若需要绘图,请确保安装了matplotlib;本库的代码块不依赖matplotlib也能运行。
"""least_squares_demo.py —— 最小二乘直线/抛物线拟合演示
环境:Python 3.13,NumPy 2.3(仅用 numpy,绘图可选)
"""
import numpy as np
np.set_printoptions(precision=6, suppress=True)
# ---------- 例题 1:直线拟合 ----------
t = np.array([0.0, 1.0, 2.0, 4.0])
y = np.array([1.0, 1.0, 3.0, 3.0])
A = np.column_stack([t, np.ones_like(t)]) # 第 1 列 t,第 2 列常数项
print("A =\n", A)
AtA = A.T @ A # 2x2 对称矩阵
Atb = A.T @ y
print("A^T A =\n", AtA) # [[21, 7], [7, 4]]
print("det(A^T A) =", np.linalg.det(AtA)) # 35 -> 可逆
xhat = np.linalg.solve(AtA, Atb) # 解 2x2 法方程
print("法方程解 (m, c) =", xhat) # [0.571429, 1.]
# 官方推荐接口:内部用 SVD,秩亏时自动给最小范数解
x_lstsq, resid, rank, sv = np.linalg.lstsq(A, y, rcond=None)
print("lstsq 解 =", x_lstsq, " 秩 =", rank, " 奇异值 =", sv)
p = A @ xhat # 投影(拟合值)
e = y - p # 残差
print("拟合值 p =", p)
print("残差 e =", e)
print("A^T e =", A.T @ e) # 应全为 0
print("残差平方和 =", e @ e) # 1.142857
print("R^2 =", 1 - (e @ e) / np.sum((y - y.mean()) ** 2))
# 投影矩阵 P = A (A^T A)^{-1} A^T,验证 P^2 = P = P^T
P = A @ np.linalg.solve(AtA, A.T)
print("P = A(A^T A)^-1 A^T =\n", P)
print("max|P@P - P| =", np.abs(P @ P - P).max()) # ~0
print("max|P.T - P| =", np.abs(P.T - P).max()) # ~0
print("trace(P) =", np.trace(P)) # = 2 = 列空间的维数
# ---------- 例题 2:抛物线拟合(数据带噪声) ----------
t2 = np.array([0.0, 1.0, 2.0, 3.0])
y2 = np.array([1.2, 1.9, 5.3, 9.6])
A2 = np.column_stack([np.ones_like(t2), t2, t2 ** 2]) # [1, t, t^2]
xh2 = np.linalg.solve(A2.T @ A2, A2.T @ y2)
print("\n抛物线系数 (a, b, c) =", xh2) # [1.11, 0.16, 0.9]
print("残差 =", y2 - A2 @ xh2) # [ 0.09 -0.27 0.27 -0.09]
# ---------- 中心化对条件数的影响 ----------
for n in (4, 8, 10):
tt = np.arange(n, dtype=float)
V_raw = np.column_stack([tt ** k for k in range(3)])
tt_c = (tt - tt.mean()) / max(tt.max() - tt.min(), 1.0)
V_cen = np.column_stack([tt_c ** k for k in range(3)])
print(f"n={n:2d} cond(原始) = {np.linalg.cond(V_raw):.3e}"
f" cond(中心化) = {np.linalg.cond(V_cen):.3e}")
# ---------- 病态:法方程 vs QR ----------
tt = np.arange(10, dtype=float)
V = np.column_stack([tt ** k for k in range(5)]) # 5 次以内的幂基
print("\ncond(V) = %.3e cond(V^T V) = %.3e" % (np.linalg.cond(V), np.linalg.cond(V.T @ V)))
# cond(V^T V) 约等于 cond(V)^2 —— 这就是不应显式求逆的原因
y_true = np.array([1.0, -0.5, 0.2, 0.0, 0.0])
b = V @ y_true
print("法方程解 :", np.linalg.solve(V.T @ V, V.T @ b))
Q, R = np.linalg.qr(V)
print("QR 解 :", np.linalg.solve(R, Q.T @ b))
print("lstsq 解 :", np.linalg.lstsq(V, b, rcond=None)[0])
# ---------- 秩亏:伪逆给最小范数解 ----------
Adef = np.array([[1.0, 2.0], [2.0, 4.0], [3.0, 6.0]]) # 两列成比例,秩 1
bdef = np.array([1.0, 2.0, 3.0])
print("\n秩亏例子:rank(A) =", np.linalg.matrix_rank(Adef),
" det(A^T A) =", np.linalg.det(Adef.T @ Adef))
print("pinv 解 =", np.linalg.pinv(Adef) @ bdef) # [0.2, 0.4]
print("lstsq 解 =", np.linalg.lstsq(Adef, bdef, rcond=None)[0])
print("该解同时是最小范数解,||x|| =", np.linalg.norm(np.linalg.pinv(Adef) @ bdef))
输出要点(在本库验证环境下):
- 直线拟合:法方程解 ,残差平方和 ,;
- 输出为
[0. 0.](数值上与零的偏差在 量级); - 满足 与 的最大元素绝对值约为 ,;
- 抛物线系数 ,残差
[ 0.09 -0.27 0.27 -0.09]; - 中心化后 从几十降到十左右;;
- 秩亏例子的
pinv与lstsq都返回 ,即最小范数解。
什么时候用哪个接口
-
numpy.linalg.lstsq(A, b, rcond=None):首选,内部走 SVD,秩亏时自动给最小范数解,并顺带返回残差、秩与奇异值;-
numpy.linalg.solve(A.T@A, A.T@b):只在条件数很小(比如 已中心化、列已归一化)时使用,用于教学演示;-
numpy.linalg.pinv(A) @ b:需要反复用同一个 解多个 时更省事,但显式构造伪逆代价更高。
7.3 与 4-2-投影与投影矩阵 的衔接
- 投影矩阵 把 中任意 直接映到 上的最近点,不需要每次重新解法方程;
- 最小二乘解则是"投影的坐标": 使 ;
- 若 的列已经标准正交(见 4-4-标准正交基与Gram-Schmidt),则 ,一切化简为 、——这正是下一节 Gram–Schmidt 的动机之一。
易错点
1. 法方程写反或漏转置。正确的是 ,左边是 乘 ,右边是 。写成 是最常见的错误——只有当 的行线性无关且你在求解"最小范数解"时,才会用 ,那是另一个问题。
2. 可逆不是无条件成立的。它等价于 的列线性无关。若模型里放了重复的列(例如同时放 与 ,或同时放常数项与"全 1 之外的常数项"), 必奇异,法方程有无穷多解。程序里会看到
LinAlgError: Singular matrix,或结果对数据微小扰动极不稳定。3. 残差不是"误差"。残差 是相对拟合曲线而言的偏差,不等于测量误差(measurement error); 高也不代表模型正确(样本量小、变量多时 容易虚高)。
4. 不要把"最小二乘"与"最小化各点距离"混为一谈。最小二乘最小化的是竖直方向偏差的平方和 ,不是点到直线的垂直距离平方和。当 方向也有误差时,正确的模型是总体最小二乘(total least squares),其解要用 SVD 而不是法方程。
5. 用 还是 要交代清楚。两者最小点相同,但"残差平方和"与"残差范数"在报告数值时必须注明单位,否则量纲会错(前者量纲是 ,后者是 )。
6. 别对 的情形硬套"无解"的直觉。 时方程组通常有无穷多解(欠定),此时"最小二乘解"选的是其中范数最小者,,残差平方和为 。
7. 计算上不要显式求 。,会平白丢掉一半有效数字。用 QR 或 SVD(即
lstsq)。
八、练习题
练习 1(基础)
求 在 的列空间上的投影 与最小二乘解 ,并验证 。
练习 2(基础)
用最小二乘拟合直线 穿过点 。写出 、、法方程,求出 与残差平方和,并画出(文字描述)拟合直线与三个点的位置关系。
练习 3(进阶)
设 列无关,。证明最小二乘解为 ,并说明此时"最佳近似"就是零向量这件事实在几何上意味着什么。
练习 4(进阶)
设 的列标准正交()。证明:
(a) 法方程化为 ;
(b) 投影矩阵 ;
(c) 残差平方和 。
练习 5(思考)
设某实验的模型是 。说明为什么无论数据如何, 一定奇异;并给出该模型"真正独立"的参数个数与一组等价参数化。
九、常见问题 FAQ
Q1:为什么法方程两边同乘 就能"变出解"?
A:因为左乘 把问题从 搬到了 ,而且方程左边的 是 的方阵。更深一层的原因: 一定落在 里(可验证 ),所以变换后的方程组一定有解——即使原方程组没有。这个"一定有解"正是最小二乘解存在性的代数证明。
Q2:最小二乘解一定存在吗?唯一吗?
A:存在性:一定存在。因为 到子空间 的距离是可达到的(这是有限维空间的完备性/闭性),等价地,法方程总有解。唯一性: 唯一 的列线性无关;否则解集是一个仿射子空间 。但无论唯一与否,投影 总是唯一的。
Q3: 与残差平方和是什么关系?为什么 有时为负?
A:。分母用的是"以均值为预测"的基线误差。若模型含常数项,最小二乘的残差平方和一定不超过该基线,故 。若模型不含常数项(强行让直线过原点),基线可能比你的模型还准,此时公式给出负数——说明该模型连"取平均"都不如。所以比较 时必须交代模型是否含常数项。
Q4:为什么权重不同的数据点要改用加权最小二乘?
A:普通最小二乘假设各观测的误差方差相同。若第 个观测的方差是 ,应最小化 ,即解
这等价于把每个方程除以 后做普通最小二乘。细节见 12-3-多元高斯与加权最小二乘,其几何解释是"在加权内积意义下的正交投影"。
十、从"矛盾方程组"到法方程组
本节的定位
前面九节走的是 Strang 的顺序:先几何(最近点就是垂足),后代数(法方程)。国内教材(同济版一类讲法的顺序)恰好相反:先看到"矛盾方程组"这个代数现象,把偏差平方和当成多元函数去求极值,最后才指出这个解具有正交性。
两条路线得到的方程一模一样,但"为什么是这样"的解释完全不同。本节把国内这条线补齐,并逐条对照——会把两条路都走通,才算真正掌握最小二乘。
10.1 起点:矛盾方程组
定义 4.3.6(矛盾方程组,inconsistent system)
设 ,。若方程组 无解,国内教材称它为矛盾方程组;当 时它常常无解,这时也称超定方程组(overdetermined system)。
国内教材最爱用的引入例子是下面这组四个方程、三个未知数:
先用消元确认它真的无解(不要凭感觉):
- 第 1 式减第 2 式:,即 ;
- 代入第 3 式:,即 ;
- 代入第 1 式:,即 ;
- 把 代入第 4 式:左边 。矛盾。
按列的读法(2-1-向量与线性方程组): 不在 的列空间里,所以无解。
国内教材的处理思路
方程组无解 不去求"精确解",而是问:哪一组 让四个等式同时"最接近"成立? 这个想法把"解方程"变成"求极值"——于是微积分可以上场了。
10.2 用偏差平方和衡量"最接近"
定义 4.3.7(偏差与偏差平方和)
对任意 ,称
为第 个方程的偏差,并称
为偏差平方和。使 取最小值的 称为矛盾方程组 的最小二乘解。
对照定义 4.3.1: 就是 ,两者相差一个单调变换 ,最小点完全相同。国内教材偏爱 ,原因只有一个:它是 的二次函数,可以直接求偏导。
为什么是"平方"而不是"绝对值和"(自学时值得追问):
| 准则 | 目标函数 | 优点 | 代价 |
|---|---|---|---|
| 最小二乘 | 光滑、可导、导出线性方程组,有闭式解 | 对离群点敏感(大偏差被平方放大) | |
| 最小一乘 | 抗离群点(稳健) | 在 处不可导,无线性法方程,解可能不唯一 | |
| 极小极大 | 控制最坏情形 | 目标函数不可导,需线性规划 |
"平方"这一个字,就是整个最小二乘法能够只用线性代数解决的根源。
10.3 偏导数法:法方程组的完整推导
把 看成 元函数,对每个分量求偏导。先对 求导(链式法则: 是 个平方项之和,只有含 的因子会贡献导数):
(第二个等号用到 :括号里对 的偏导就是系数 。)
令所有偏导为零:
把左边的求和次序交换(先把 提出来,这是有限和可以随意换序):
现在读出矩阵含义:左边括号 正是 (第 行第 列),右边 正是 。让 跑遍 ,这 个等式合成一个矩阵方程:
这就是法方程组。写成国内教材常见的展开形式(每一项都是"列与列的内积"):
一句话记忆:系数矩阵的元素是" 的列与列的内积",右端向量是" 的列与 的内积"。对照定理 4.3.2 的几何推导——那里说"残差与每个列正交",也就是 ,移项后同样是 。几何说"正交",代数说"驻点",落点是同一个方程。
两个易被忽略的细节
1. 求偏导只给出必要条件。 只说明"驻点",还要证明它是极小点。见 10.4。
2. 法方程组一定有解。因为它本身就是某个函数的驻点方程,而 在 上有下界()且当 时 (列无关时),最小值必然取到。这与第九节 FAQ Q1 的回答一致。
10.4 为什么驻点一定是最小值(二阶条件)
的二阶偏导是常数矩阵(Hessian 矩阵):
于是对任意 :
即 恒为对称半正定;若 的列线性无关,则 ,此时 正定。正定二次函数是严格凸的,"碗"只有一个最低点:唯一驻点即全局最小点。严格证明见本节例题 8,正定性的系统理论见 6-4-对称矩阵与正定矩阵 与 6-5-二次型与标准形。
10.5 两条路线对照表
| 环节 | Strang 几何路线(第二、三节) | 国内代数路线(本节) |
|---|---|---|
| 起点 | ,平面上哪个点离 最近 | 方程组矛盾,哪组 使偏差平方和最小 |
| 核心对象 | 投影 、残差 | 偏差 、偏差平方和 |
| 关键条件 | (垂足) | (驻点) |
| 推导工具 | 勾股定理(定理 4.3.1) | 链式法则求偏导、配方法 |
| 得到方程 | ||
| 结论 | 同一个方程 | 同一个方程 |
| 额外收获 | 残差落在左零空间 , 唯一正交分解 | 存在性与唯一性(正定性),可推广到加权与约束问题 |
10.6 去掉条件会怎样(五个"如果不这样")
- 不取平方而取绝对值和:目标函数 在 处不可导,"令偏导为零"这一步失效,得不到线性方程组;解也可能不唯一(想象一条直线可以水平地贴着几个点滑动)。它换来的是抗离群点,工程上称为稳健回归,通常化为线性规划求解(10-3-线性规划)。
- 把"竖直偏差"换成"点到直线的垂直距离":这得到总体最小二乘(total least squares)。此时 与 的误差地位平等,最小化目标不再是 ,而要用 SVD 求解,见 7-1-SVD的构造与几何意义。
- 去掉"等方差、不相关"的误差假设:应改用加权最小二乘 ,见 12-3-多元高斯与加权最小二乘。
- 去掉" 的列线性无关": 由正定退化为半正定(奇异),法方程组有无穷多解;投影仍唯一,但"最佳参数"不唯一(第六节,用伪逆取最小范数解)。
- 去掉"只用内积"这一层:把 左乘看成"在 里取正交投影",就得到第四、五节的 QR 与 SVD 路线——它们不改变数学结论,只改善数值行为(条件数从 回到 ,见 11-2-范数与条件数)。
十一、线性拟合专题:一次拟合与二次拟合(完整计算)
本节的定位
拟合(fitting)是国内教材讲最小二乘时最常用的应用背景,也是考试里出现频率最高的题型。本节把一次(直线)拟合与二次(抛物线)拟合的公式完整推出来,再用两组具体数据把整个流程算一遍。
11.1 一次(直线)拟合:公式的完整推导
问题。给定 组观测数据 ,求一条直线
使偏差平方和
最小。求出的 称为经验公式(empirical formula), 为回归系数(斜率), 为常数项(截距)。
第 1 步:对 求偏导。
第 2 步:对 求偏导。
第 3 步:写出法方程组。
写成矩阵形式就是 ,其中 (第一列是常数项对应的 ,第二列是 ;参数顺序必须与列顺序一致)。
第 4 步:用 Cramer 法则解出 。 系数行列式
(最后一个等号见下面的注释;只要 不全相等,,法方程组有唯一解)。于是
第 5 步:更常用的等价写法(记 )。 因为
所以 ,再由第一个方程得 。这就是国内教材的标准结论:
其中 ,。这两个公式和 的变形都要会:考试里数据整齐时用 更快,数据带小数时用原式更稳。
三个最常见的失分点
1. 参数顺序与列顺序不一致。若把 的第一列写成 、第二列写成 ,那么解出的未知量顺序是 。写错顺序不会报错,只会让答案整体错位。
2. 把 忘了。第一个方程是 ,漏掉 是最常见的计算错误。
3. 残差与偏差符号混淆。本库统一取 (实测减拟合);有些教材取 。符号约定不同不影响 ,但校验"残差之和为零"时要统一。
11.2 例题 4:一次拟合(具体数据、完整不跳步)
题目
某实验测得 5 组数据:
| | 1 | 2 | 3 | 4 | 5 |
|---|---|---|---|---|---|
| | 2 | 4 | 5 | 7 | 8 |
求形如 的最小二乘经验公式,给出法方程组、解、残差、残差平方和与 ,并预测 时的 值。
解。
第 1 步:列表算出四个和。
| 1 | 1 | 2 | 1 | 2 |
| 2 | 2 | 4 | 4 | 8 |
| 3 | 3 | 5 | 9 | 15 |
| 4 | 4 | 7 | 16 | 28 |
| 5 | 5 | 8 | 25 | 40 |
| 和 |
(逐项核对:;;;。)
第 2 步:写出法方程组。
(矩阵形式:,,。)
第 3 步:解方程组。 系数行列式
(与公式对照: ✓。)用 Cramer 法则:
回代检验: ✓; ✓。
所以经验公式是
第 4 步:用 独立复核。 ,,
两条路结果一致。
第 5 步:算拟合值与残差。
| 1 | 2 | ||
| 2 | 4 | ||
| 3 | 5 | ||
| 4 | 7 | ||
| 5 | 8 |
(逐个算:;;;;。)
第 6 步:两项正交性校验。
这两项与第 3.4 节的理论完全一致:模型含常数项时,残差之和必为零、残差与自变量必正交。它们是最便宜的"免费校验"。
第 7 步:误差指标。
第 8 步:预测与几何说明。
时 。
y
9 | ×(6, 9.7) 预测点
| ....
8 | * (5, 8)
| ./
7 | * (4, 7)
| ./
| ./
5 | * (3, 5)
| ./
4 | * (2, 4)
| /
2 |* (1, 2)
|/
0 +----|----|----|----|----|----→ x
1 2 3 4 5 6
五个点几乎落在同一条直线上(残差只有 ),直线从 出发向右上方延伸,斜率为 。残差符号交替(),说明直线"穿过"了数据而不是整体偏高或偏低。注意直线必过点 ——这一点在例题 7 中证明。
11.3 二次(抛物线)拟合:公式
问题。求 使 最小。同样的"求偏导—令零"流程给出三个方程:
手算要点(务必记住):
- 需要预先算好五个和: 与 ;
- 若 关于原点对称(例如取 ),则 且 ,法方程组"解耦":第二行只含 ,可以直接解出 ,剩下 只解一个 方程组。这是平移(中心化)带来的最大便利;
- 不要用 Sarrus 之外的口诀:三阶行列式用 Sarrus 法则或消元都行,但参数顺序 必须与列顺序 严格一致。
11.4 例题 5:二次拟合(具体数据、完整不跳步)
题目
用二次多项式 拟合 4 组数据:
| | | | | |
|---|---|---|---|---|
| | 0.1 | 1.0 | 3.9 | 9.2 |
求 ,给出残差、残差平方和与 ,并预测 时的 值。
解。
第 1 步:列表算出全部和式。
| 1 | 0.1 | 1 | 1 | 0.1 | |||
| 2 | 0 | 1.0 | 0 | 0 | 0 | 0 | 0 |
| 3 | 1 | 3.9 | 1 | 1 | 1 | 3.9 | 3.9 |
| 4 | 2 | 9.2 | 4 | 8 | 16 | 18.4 | 36.8 |
| 和 |
(逐项核对:;;;;;;。)
数据并不关于原点对称,但只差一步
这里的 取 ,不是关于原点对称()。若把 中心化取 ,则 ,法方程组会解耦。本例为了让读者看清"三个方程联立"的标准流程,故意不平移;下一节例题 6 与代码会给中心化的对照。
第 2 步:写出法方程组。
第 3 步:算系数行列式并求逆。
用代数余子式求逆(,, 是余子式矩阵; 对称时 也对称):
逆矩阵的免费校验(务必做)
验算 的第一行:
✓;
✓;
✓。
第 4 步:解出系数。
所以
第 5 步:拟合值与残差。
| 0.1 | |||
| 1.0 | |||
| 3.9 | |||
| 9.2 |
第 6 步:三项正交性校验(模型有三列 ,所以要校验三行):
三项全为零,说明解没有算错。
第 7 步:误差指标与预测。
预测 :。
不等于"模型正确"
本例 极高,有两个原因:数据本身接近二次曲线;且只有 4 个点、却有 3 个参数,留给残差的自由度只有 。参数越多、数据越少, 越容易虚高。判断模型好坏要看残差图(是否还有系统性弯曲)、自由度与预测能力(留出数据做交叉验证),不能只看 。
十二、例题 6:矛盾方程组的完整求解(三个未知数)
题目
求矛盾方程组
的最小二乘解 、投影向量 、残差 与偏差平方和的最小值,并说明"最小二乘解"比"只满足前三个方程的解"好在哪里。
解。
第 1 步:确认方程组确实无解。
( 前三行构成的行列式 ,故 , 的列线性无关, 可逆。)
由第 10.1 节的消元可知:前三个方程唯一确定 ,代入第四个方程得 ,矛盾。注意:这里"无解"是先证明的结论,而不是猜测——考试中必须先判定无解,再谈最小二乘。
第 2 步:写出四个偏差与偏差平方和。
第 3 步:对三个未知数分别求偏导,令其为零。
对 (只有 含 ):
对 (含于 ):
对 (含于 ):
第 4 步:写出并求解法方程组。
这就是法方程组 的具体形式(左端矩阵对称,右端向量正是第三节算出的 )。
先算行列式(Sarrus 法则):
对称技巧(本例最省事的解法):令 ,则三个方程分别等价于
三式相加:,即 ,故 。代回:
第 5 步:算投影向量与残差。
第 6 步:正交性校验。
三行分别对应 (常数项列)、、。校验通过。
第 7 步:勾股分解与最小值。
所以偏差平方和的最小值是
第 8 步:与"只满足前三个方程的解"比较(这一步最能说明最小二乘的意义)。
前三个方程的唯一解是 ,对应的偏差是
而 :最小二乘解把"完全满足前三个方程、第四个方程差 1"的方案,换成了"四个方程各差一点、但总体误差平方和更小"的方案。 这正是"矛盾方程组"的处理哲学:不追求局部精确,而追求整体最优。
第 9 步:几何说明(文字描述)。
是 中一个三维子空间(超平面)。 不在其中;从 向这个超平面作垂线,垂足是 ,垂线的方向就是 ,它与 的三个列全部正交。在四维空间里,"垂足"无法画出来,但" 与每一列正交"这个条件可以逐个验证——这就是高维几何的算法化。
十三、例题 7、例题 8(证明题)
13.1 例题 7:最小二乘直线的四个性质
题目
设数据 中 不全相等,最小二乘直线为 ,残差为 。证明:
(1) (直线必过点 ,其中 );
(2) ;
(3) ;
(4) ;
(5) 若模型改为 (不含常数项),(2) 还成立吗?说明理由。
第 1 步:写出法方程组,并证明 (1)(直线过均值点)与 (2)(残差和为零)。
法方程组是(见 11.1 第 3 步):
由 (i) 两边同除以 :
也就是 。
这就是 (1):直线在自变量均值处的取值恰是响应均值。把 代入 立得。
由 (i) 移项:
这就是 (2)。
第 2 步:证明 (3)(残差与自变量正交)。
最后一个等号正是 (ii)。
第 3 步:证明 (4)(拟合值之和 = 实测值之和)。
(拟合值的平均等于实测值的平均。)
第 4 步:讨论 (5)——常数项不是可有可无的。
若模型为 ,设计矩阵只有一列 (没有全 列),法方程退化为一个方程
此时
它一般不为零(只有当数据恰好满足 时才为零,这是很特殊的巧合)。
结论(值得记住的一般规律)
因为 ,而 要求 与 的每一列正交;" 与全 列正交"就是 。这就是第 3.4 节"残差与列空间正交"在拟合场景下的具体含义:列空间里有什么列,残差就与什么正交。
反过来也提醒我们:报告 时必须说明模型是否含常数项(见第九节 FAQ Q3)。
13.2 例题 8: 的正定性、解的存在唯一性与最小值
题目
设 ,,。证明:
(1) 是对称矩阵;
(2) 对一切 有 ,即 半正定;
(3) 正定 的列线性无关();
(4) 若 的列线性无关,则 是 的唯一全局极小点;
(5) 此时最小值为 。
第 1 步:证明 (1), 是对称矩阵。 用转置的运算规则 与 :
对称性得证。
第 2 步:证明 (2), 半正定。 对任意 ,
(第一个等号把 看成一个整体向量 ,则 。)
第 3 步:证明 (3), 正定 列线性无关。
设 的列线性无关。若 ,则 (否则 是 的列的一个非平凡线性组合等于零,与列无关矛盾),于是
这正是正定的定义。关键一步:只有当向量本身为零时,它的长度平方才为零。
设 正定。若 的列线性相关,则存在 使 ,于是 ,与正定矛盾。故列线性无关。
(等价说法:,见定理 4.3.3;正定性与"可逆"的完整理论见 6-4-对称矩阵与正定矩阵。)
第 4 步:证明 (4),唯一全局极小点。 记 。先展开 :
(中间交叉项用了 ,两者都是标量。)
任取 ,把 写成 ,其中 满足法方程 (由 (3), 正定故可逆, 唯一)。代入:
(第三行把 与 组合成 ;第二项因法方程而消失。)又因为
而由 的列线性无关,。所以 ,且等号只在 时成立。唯一全局极小点得证。
(这个证明与第 3.2 节的"配方法"是同一件事: 就是二次型的配方,见 6-5-二次型与标准形。)
第 5 步:证明 (5),最小值的表达式。 把 代入并用 :
最后一个等号用了 。这正是第 4.3 节公式表里的"残差平方和 = ",也再次确认了勾股等式 。
本篇小结
一页纸回顾
最小二乘只有一句话: 不在列空间里时,退而求列空间中离 最近的点,那个点是垂足(正交投影)。 垂足的坐标由法方程 给出。几何、代数(求偏导)、数值(QR/SVD)三条路,落点都是这一个方程。
三条主线对照
| 视角 | 出发点 | 关键条件 | 得到的方程 | 额外收获 |
|---|---|---|---|---|
| 几何(Strang) | 平面上哪点离 最近 | 唯一正交分解; | ||
| 代数(国内) | 矛盾方程组、偏差平方和 | , 正定 | 存在唯一性(正定性);可推广到加权、约束问题 | |
| 数值(工程) | 避免 放大误差 | , | 计算量小、稳定;秩亏时用 SVD 取最小范数解 |
必背公式清单
| 名称 | 公式 | 使用条件 |
|---|---|---|
| 法方程 | 无条件成立 | |
| 最小二乘解 | 列线性无关 | |
| 投影向量 / 投影矩阵 | , | , |
| 残差 | ||
| 残差平方和 | 勾股分解 | |
| 决定系数 | 含常数项时 | |
| 一次拟合 | , | , |
| 二次拟合 | 三个方程的国内展开式(11.3) | 需要 () |
| QR 路线 | 上三角回代,数值稳定 | |
| 秩亏 | SVD 伪逆,给出最小范数解 |
五个"必须会动手做"的动作
- 写出设计矩阵:模型里的每一项()对应一列,参数顺序与列顺序严格一致。
- 列出和式表:把 列成表再求和(例题 4、5 的表格就是标准格式)。
- 解 法方程: 用 Cramer 法则, 用 Sarrus + 代数余子式(并验算逆矩阵第一行)。
- 做正交性校验:算 ,必须是零向量。这是"免费的对答案"。
- 报告误差指标:残差平方和、、以及(预测时的)标准误;同时交代模型是否含常数项。
自测清单(能全部答"能",本篇就过关了)
- 能否用一句话说明"为什么无解还能有最佳近似",并说出垂足是最近点的证明用到了什么(勾股定理 + 子空间对减法封闭)?
- 能否不看书推出法方程?几何路线()与代数路线()各写一遍。
- 能否判断什么时候 可逆?列相关时投影为什么仍唯一、而参数为什么不唯一?
- 能否在 10 分钟内完成一道 5 个数据点的一次拟合题(含残差表、 校验、)?
- 能否说出 与"最小二乘问题的条件数"的关系,并解释为什么工程上要用 QR/SVD 而不是显式求逆?
- 能否说出至少三个"最小二乘不适用"的情形(最小一乘、总体最小二乘、异方差加权)?
关联与后续用法
- 4-2-投影与投影矩阵:本篇的 是那里一般理论的直接应用;投影矩阵的幂等性、对称性与秩都可在那里复习。
- 4-1-四大子空间的正交性:残差落在左零空间 ,是""这条主线的具体化;后续讲最小二乘的正交分解都要回到它。
- 3-5-四大子空间的维数: 这条结论既保证法方程"一定有解",也是秩亏判断的依据。
- 4-4-标准正交基与Gram-Schmidt:若把 换成列标准正交的 ,法方程立刻退化为 、; 给出数值上更稳的解法。
- 6-4-对称矩阵与正定矩阵: 是对称正定(或半正定)矩阵,正是那一篇的核心对象;最小二乘是"用正定二次函数求极值"的最重要实例。
- 6-5-二次型与标准形:误差平方和 是一个二次型加一次项,配方法正是例题 8 的证明工具。
- 7-1-SVD的构造与几何意义:秩亏、病态、伪逆与最小范数解都在那里统一处理;本篇第六节只是提前用了一个结论。
- 7-3-主成分分析PCA:PCA 的"最大方差方向"与最小二乘的"最小残差方向"是同一件事的两种说法(投影保留的能量最多 丢弃的残差最小)。
- 11-2-范数与条件数: 的定量后果在那里给出,决定了"法方程 vs QR"的取舍。
- 12-3-多元高斯与加权最小二乘:把等方差假设换成一般协方差矩阵,得到加权/广义最小二乘;概率视角下最小二乘就是极大似然。
- 10-4-傅里叶级数与函数空间:傅里叶系数就是"用正交函数系做最小二乘"的系数, 的连续版本。
- 附录-矩阵分解总览:LU / QR / SVD 在"求解、最小二乘、秩亏处理"上的分工表。
相关笔记
- 4-2-投影与投影矩阵 —— 投影矩阵 的一般理论、 的证明
- 4-1-四大子空间的正交性 —— 左零空间 与列空间的正交关系,残差落在左零空间的根据
- 4-4-标准正交基与Gram-Schmidt —— 若列标准正交,法方程退化为 ;QR 是数值上更稳的最小二乘解法
- 3-5-四大子空间的维数 —— 与维数公式的联系
- 7-1-SVD的构造与几何意义 —— 伪逆 与秩亏最小二乘的完整理论
- 12-3-多元高斯与加权最小二乘 —— 加权最小二乘、广义最小二乘与统计视角
- 附录-矩阵分解总览 —— LU / QR / SVD 在求解与最小二乘中的分工
- 6-4-对称矩阵与正定矩阵 —— 是对称正定(半正定)矩阵;正定性保证最小二乘解唯一,见本篇例题 8
- 6-5-二次型与标准形 —— 误差平方和 是二次型加一次项,配方法(例题 8 的 (4))就是二次型配方
- 7-3-主成分分析PCA —— "投影保留最多能量"与"残差平方和最小"是同一件事,PCA 是它的降维版本
- 11-2-范数与条件数 —— ,这是数值上必须走 QR/SVD 的原因
- 10-4-傅里叶级数与函数空间 —— 傅里叶系数就是连续版的最小二乘系数(正交基下的投影坐标)
- 2-1-向量与线性方程组 —— 判断 何时无解(可解性条件),是"矛盾方程组"讨论的前提
参考来源
- MIT OpenCourseWare 18.06 Linear Algebra, Lecture 16: Projection matrices and least squares —— https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/resources/lecture-16-projection-matrices-and-least-squares/ (2026-10-11 访问,HTTP 200)
- MIT OpenCourseWare 18.06 Linear Algebra(课程主页)—— https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/ (2026-10-11 访问,HTTP 200)
- Gilbert Strang, Introduction to Linear Algebra 官方网站 —— https://math.mit.edu/~gs/linearalgebra/ (2026-10-11 访问,HTTP 200)
- NumPy 官方文档
numpy.linalg.lstsq—— https://numpy.org/doc/stable/reference/generated/numpy.linalg.lstsq.html (2026-10-11 访问,HTTP 200) - NumPy 官方文档
numpy.linalg.pinv—— https://numpy.org/doc/stable/reference/generated/numpy.linalg.pinv.html (2026-10-11 访问,HTTP 200) - Strang, Gilbert. Introduction to Linear Algebra, 5th ed. Wellesley-Cambridge Press, 2016, §4.3(Least Squares Approximations)。(教材,文字引用)
- 同济大学数学系《线性代数》第六版,高等教育出版社(最小二乘的代数推导:偏导数为零导出法方程)。(教材,文字引用)