w wyl123ly 的博客
MD

线性回归

25 KB 2026.10.18 原文件

线性回归

定义

线性回归假设输出是输入特征的仿射函数与零均值噪声之和,即 ,并以均方误差为损失,在仿射函数族中最小化经验风险。

符号定义:

  • :单个样本的特征向量, 为特征维数;:连续标签。
  • :权重向量, 为第 个特征的线性系数;:截距,也称偏置。
  • :噪声随机变量,模型假设其条件均值为零。
  • :设计矩阵,第 行为 ;:标签向量; 为样本数。
  • :首列追加全 列的增广设计矩阵;:增广参数。
  • 均方误差(mean squared error, MSE):。系数 抵消求导产生的因子 ,不改变最优解。
  • 正规方程(normal equation):,即 的条件。
  • 条件数(condition number):,非对称矩阵用奇异值之比,度量线性系统对扰动的敏感性。
  • 多重共线性(multicollinearity):设计矩阵的列近似线性相关,使 接近奇异。

为什么重要

  • 线性回归是平方损失下 ERM 最基础的实例,具有闭式解且解可完整分析,机器学习绪论 中的风险、假设空间与偏差-方差概念都可在此逐项计算。
  • 它给出回归任务的基线。复杂模型必须在同一划分、同一指标下超过该基线;提升小于噪声水平时不可信。
  • 正规方程、正交投影与条件数分别对应代数、几何与数值稳定性三个视角,岭回归、逻辑回归与神经网络的最小二乘层都复用其中至少一个视角。
  • 最小二乘与高斯最大似然等价,该结论把平方损失从人为选择提升为概率假设下的推断,是理解 损失函数 与概率建模关系的起点。
  • 特征缩放对梯度下降的影响在此可定量测量:条件数决定收敛步数,标准化把条件数从数百降至接近 。
  • 岭回归与 Lasso 在此获得 MAP 解释,是 正则化与调参 的第一个可推导实例。

原理与推导

1. 模型假设

模型假设为:输出关于参数 、 线性(特征本身可先做非线性变换);噪声可加且与 独立;,从而 ,模型估计条件期望; 与 无关; 列满秩。零均值与同方差假设主要影响解的统计解释,列满秩影响解的唯一性;即使噪声异方差,正规方程仍给出最小二乘解,只是协方差不再是 。

2. 损失函数与矩阵形式

第 个样本的残差为 。经验风险取残差平方的均值:

把 视为与恒为 的特征相乘的权重,令 ,则 ,堆叠后

这一步称为偏置吸收:两个参数块合并为一个,导数可用单个矩阵表达式写出。若单独对 求导,会多出一个标量方程,最终结果相同。

3. 正规方程推导

展开范数:

所用矩阵求导规则为

第一式中 对称,故结果为 ;第二式中 。代入得

维度检查: 为 ,乘 后仍为 ,与参数同型。令梯度为零:

二阶条件:Hessian 为 。对任意 ,,故 Hessian 半正定、 凸,驻点即全局最小点。 列满秩时 Hessian 正定、解唯一; 或列相关时有无穷多解,常用最小范数解 , 为 Moore-Penrose 伪逆。

4. 几何解释

的列空间为 。最小化 即在 中寻找距 最近的点,该点是正交投影 。正交性要求残差 与列空间每一列正交:

这正是正规方程。定义帽矩阵 ,则 ,。 对称且幂等,是到 的正交投影算子;列满秩时 ,即投影子空间维数,也解释了残差平方和为何损失 个自由度。

5. 高斯噪声下的最大似然等价

设 相互独立且 。似然与对数似然为

固定 时,只有第二项依赖 且带负号,最大化 等价于最小化 。由于 ,二者最优解相同。对 求偏导并令其为零:

该估计有偏,无偏估计为 ,扣减的自由度对应已估计的 个参数。

6. 梯度下降解与学习率

显式计算 需 时间与 内存,求逆为 。梯度下降迭代

其中 为学习率。记 ,最优解满足 。令 ,两式相减得

设 的特征值为 ,则 的特征值为 ,收敛要求

取 时误差每步按 收缩,,达到精度 约需 次迭代。 时更新放大误差,损失发散。

7. 特征缩放的影响

某列量纲放大 倍时, 的对应特征值约放大 倍,条件数约放大 倍,因为 。收敛步数同比例增加,同时学习率上界 缩小为原来的 ,未调整学习率会直接发散。标准化把每列变为 ,其中 、 为该列均值与标准差;变换后各列均值为 、标准差为 , 的对角元为 ,条件数只由特征相关性决定。标准化不改变模型表达能力,参数可按

换回原始尺度,除法按元素进行。

8. 岭回归、Lasso 与 MAP 解释

当列近似相关时, 的最小特征值接近零,最小二乘解方差很大。岭回归加入参数范数惩罚:

对 求导并令其为零,得

其中 首个对角元为 ,表示不惩罚截距。加入惩罚后,对任意 ,

因为 时第二项为正,、 时截距列给出 。故矩阵正定、可逆;惩罚只作用于权重方向,不改变截距方向的曲率。

MAP 解释:设先验 ,各分量独立, 取平坦先验,似然为高斯。后验对数(省略常数)为

乘以 后,最大化后验等价于最小化

故 :先验方差 越小或噪声方差 越大,惩罚越强。Lasso 把惩罚换成 ,对应各分量独立的拉普拉斯先验 ( 为尺度参数),惩罚系数 。L1 惩罚在零点不可导,通常用坐标下降求解;其软阈值算子 会把绝对值小于 的系数置零,因此 Lasso 产生稀疏解。完整调参流程见 正则化与调参。

9. 评估指标

设测试集有 个样本,预测为 ,标签均值为 。

指标定义性质
MSE放大大误差,量纲为标签的平方
RMSE与标签同量纲,可解释
MAE对异常值稳健,零点不可导
相对均值预测的改进比例,可为负

表示无误差, 表示与均值预测相同, 表示比均值预测更差。指标应与误差的业务代价一致:大误差代价高时用 MSE 或 RMSE,异常值多时用 MAE。

10. 多重共线性与条件数

若存在非零 使 ,则 是 的小特征值方向。参数协方差为

沿该方向的方差为 ,可极大。诊断用方差膨胀因子 , 为第 个特征对其余特征回归的决定系数, 通常提示共线性严重。处理方式包括删除冗余特征、用 PCA与降维 构造正交特征、改用岭回归。 时正规方程的解对舍入误差敏感,应改用 QR 分解或 SVD 求解。

关键直觉

机制性直觉

最小二乘解等价于把 正交投影到设计矩阵的列空间:残差与每一列内积为零,正规方程是这组正交条件的矩阵写法。梯度下降沿负梯度方向逐步逼近同一投影;特征尺度差异大时,损失等高线呈狭长椭球,梯度方向与指向最优点的方向偏离,收敛步数与条件数成正比。岭回归在求逆前给 的每个特征方向加 ,压缩小特征值方向,从而降低方差。该直觉与第 4、6、8 节一一对应:投影对应 ,收敛因子对应 ,压缩对应 。

例子与代码

手算例子:数据 、、,模型 。,,,

解得 ,。预测约为 、、,残差为 、、,,,MSE 。

下面的代码比较闭式解、原始尺度梯度下降、标准化后梯度下降与岭回归。环境为 NumPy 2.x。

import numpy as np

rng = np.random.default_rng(42)
n = 200
x1 = rng.normal(0.0, 1.0, n)
x2 = rng.normal(0.0, 1.0, n)
x3 = 500.0 * rng.normal(0.0, 1.0, n)        # 第三个特征量纲放大 500 倍
X = np.column_stack([x1, x2, x3])
y = X @ np.array([2.0, -1.0, 0.002]) + 0.7 + rng.normal(0.0, 0.1, n)

Xb = np.column_stack([np.ones(n), X])       # 偏置吸收为第 0 列
theta = np.linalg.solve(Xb.T @ Xb, Xb.T @ y)
print("闭式解 [b, w1, w2, w3] =", np.round(theta, 6))
print("cond(X^T X) =", f"{np.linalg.cond(Xb.T @ Xb):.3e}")

def gd(X, y, lr, n_iter, tol=1e-8):
    theta = np.zeros(X.shape[1])
    hist = []
    for it in range(n_iter):
        grad = X.T @ (X @ theta - y) / len(y)   # ∇J = X^T(Xθ-y)/n
        theta = theta - lr * grad
        hist.append(0.5 * np.mean((X @ theta - y) ** 2))
        if np.max(np.abs(grad)) < tol:
            break
    return theta, hist, it + 1

L = np.linalg.eigvalsh(Xb.T @ Xb / n).max()    # 梯度 Lipschitz 常数
theta_raw, hist_raw, it_raw = gd(Xb, y, 1.0 / L, 20000, 1e-6)
print(f"原始尺度: L={L:.0f}, 迭代 {it_raw} 次, MSE={2 * hist_raw[-1]:.3f}")

with np.errstate(over="ignore", invalid="ignore"):
    _, hist_bad, _ = gd(Xb, y, 1e-2, 60, 0.0)
print("lr=1e-2 前三次损失:", [f"{v:.2e}" for v in hist_bad[:3]],
      "末次:", hist_bad[-1])

mu, sd = X.mean(axis=0), X.std(axis=0)
Xs = (X - mu) / sd
Xbs = np.column_stack([np.ones(n), Xs])
Ls = np.linalg.eigvalsh(Xbs.T @ Xbs / n).max()
theta_s, hist_s, it_s = gd(Xbs, y, 1.0 / Ls, 20000, 1e-6)
print(f"标准化: L={Ls:.3f}, 迭代 {it_s} 次, MSE={2 * hist_s[-1]:.2e}")
w_s, b_s = theta_s[1:], theta_s[0]
print("换回原始尺度:", np.round(np.r_[b_s - np.sum(w_s * mu / sd), w_s / sd], 6))

train, test = np.arange(150), np.arange(150, 200)
Xt, yt, Xe, ye = Xb[train], y[train], Xb[test], y[test]
th = np.linalg.solve(Xt.T @ Xt, Xt.T @ yt)
pred = Xe @ th
mse = np.mean((pred - ye) ** 2)
print("MSE/RMSE/MAE/R2:",
      round(mse, 6), round(np.sqrt(mse), 6),
      round(np.mean(np.abs(pred - ye)), 6),
      round(1 - np.sum((ye - pred) ** 2) / np.sum((ye - ye.mean()) ** 2), 6))

# 岭回归:标准化特征上惩罚权重,不惩罚截距
Xtr_s, Xte_s = (X[train] - mu) / sd, (X[test] - mu) / sd
for lam in (0.0, 1.0, 10.0, 100.0):
    A = np.column_stack([np.ones(len(train)), Xtr_s])
    P = np.eye(A.shape[1]); P[0, 0] = 0.0
    th_r = np.linalg.solve(A.T @ A + lam * P, A.T @ yt)
    pred_r = np.column_stack([np.ones(len(test)), Xte_s]) @ th_r
    print(f"lambda={lam:>5}: theta={np.round(th_r, 4)}, "
          f"test MSE={np.mean((pred_r - ye) ** 2):.6f}")

代码说明:

  • np.linalg.solve 解正规方程而不显式求逆;显式求逆在条件数大时误差更大,怀疑秩亏时改用 np.linalg.lstsq。
  • 学习率取 , 为 的最大特征值。原始尺度下 ,学习率约 ,(即 ),因此 20000 次迭代后仍未收敛;这是条件数所致,不是实现错误。
  • lr=1e-2 约为上界 的 1300 倍,损失逐步放大并溢出为 inf。去掉该段不影响闭式解,但会掩盖学习率与尺度的关系。
  • 标准化后 、条件数约 ,9 次迭代即达到梯度无穷范数小于 ;换回原始尺度的参数与闭式解在 内一致。
  • 岭回归在训练子集上拟合、测试子集上评估, 对应普通最小二乘。
  • 代码为集中演示条件数与岭回归,标准化参数在全量数据上估计;严格评估流程应只在训练集上估计 、,再作用于验证集与测试集,否则测试集信息进入预处理。

运行结果:

闭式解 [b, w1, w2, w3] = [ 0.696951  1.997379 -1.004419  0.002018]
cond(X^T X) = 3.415e+05
原始尺度: L=258190, 迭代 20000 次, MSE=4.142
lr=1e-2 前三次损失: ['2.51e+06', '1.67e+13', '1.11e+20'] 末次: inf
标准化: L=1.102, 迭代 9 次, MSE=1.02e-02
换回原始尺度: [ 0.696951  1.997379 -1.004419  0.002018]
MSE/RMSE/MAE/R2: 0.010795 0.103898 0.085642 0.998369
lambda=  0.0: theta=[ 0.5381  1.7534 -1.0257  1.0278], test MSE=0.010795
lambda=  1.0: theta=[ 0.5381  1.7407 -1.0188  1.0197], test MSE=0.010996
lambda= 10.0: theta=[ 0.5381  1.6339 -0.9605  0.9517], test MSE=0.040282
lambda=100.0: theta=[ 0.5382  1.0133 -0.6118  0.5692], test MSE=1.185329

结果解读:闭式解恢复 、、、,与真实参数一致;原始尺度梯度下降 20000 次后 MSE 仍为 4.142;标准化后 9 次迭代的半 MSE 为 ,即 MSE 约 ,与噪声方差 相符。岭回归随 增大系数收缩、测试误差先微增后大幅上升,惩罚强度需通过验证集选择。

与 scikit-learn 的对照(需安装 scikit-learn):

import numpy as np
from sklearn.linear_model import LinearRegression, Ridge

ols = LinearRegression().fit(X, y)      # 内部用 SVD/最小二乘,不构造正规方程
print(np.round(np.r_[ols.intercept_, ols.coef_], 4))
# 期望 [0.697  1.9974 -1.0044  0.002]

ridge = Ridge(alpha=200.0).fit(Xs, y)   # alpha = n * lambda,此处 n=200, lambda=1
print(np.round(np.r_[ridge.intercept_, ridge.coef_], 4))
# 期望 [0.5472  1.7485 -1.0168  1.0175]

scikit-learn 的 Ridge 最小化 ,与本篇 的换算为 ;忽略该因子会把正则强度设错 倍。

易错点

常见错误

- 构造增广矩阵后仍单独惩罚截距,或把截距列也标准化。截距应保持全 列且不进入惩罚项,否则模型失去平移不变性。

- 直接写 np.linalg.inv(X.T @ X) @ X.T @ y。构造并求逆 会把 平方为 ,数值误差大;应使用 solve、lstsq 或 QR/SVD。

- 在标准化数据上训练后用标准化系数解释原始特征,或直接用于原始尺度预测。必须按 、 换回。

- 学习率固定为 或 而不检查 上界。特征量纲变化后同一学习率可能发散,损失出现 inf 时应先检查尺度与学习率。

- 用 比较不同测试集上的模型,或认为 必在 。它依赖测试集标签方差,跨数据集不可比,模型差于均值预测时为负。

- 在强共线性下解释单个系数的符号与大小。系数方差为 ,数据微小扰动即可使符号翻转,应报告区间或改用岭回归。

关联笔记

  • 前置:机器学习绪论 —— 线性回归是平方损失下 ERM 的闭式实例,风险与泛化间隙在此可计算。
  • 前置:线性代数 —— 列空间、正交投影、秩与特征值是正规方程几何解释与条件数分析的基础。
  • 前置:微积分与梯度 —— 矩阵求导规则与梯度下降收敛分析直接复用于第 3、6 节。
  • 后续:逻辑回归 —— 把线性预测值经 sigmoid 映射为概率,损失由平方误差换为交叉熵。
  • 后续:正则化与调参 —— 岭回归与 Lasso 的惩罚强度选择与交叉验证调参在该篇展开。

达标检测

  • [ ] 写出 的完整求导过程,包括两条矩阵求导公式与维度检查。
  • [ ] 对 、、 手算 、、残差与 MSE,并与代码输出对照。
  • [ ] 说明 为何对称幂等,并解释 的含义。
  • [ ] 从高斯似然推导 ,并说明无偏估计为何除以 。
  • [ ] 运行代码,把 x3 的缩放从 500 改为 5,重新计算条件数与标准化前后的迭代次数,解释变化。
  • [ ] 解释岭回归中 的来源,并说明先验方差 增大时系数如何变化。

参考来源

  • Hastie, Tibshirani, Friedman, The Elements of Statistical Learning, 2nd ed., 2009, 第 3 章 —— 对应最小二乘、正规方程、多重共线性、岭回归与 Lasso。
  • d2l.ai《动手学深度学习》,线性回归章节 —— 对应平方损失、梯度下降实现与特征缩放实验。
  • Stanford CS229 课程讲义,最小二乘与概率解释部分 —— 对应正规方程推导与高斯噪声下的最大似然等价。
  • NumPy 官方文档,numpy.linalg 部分 —— 对应 solve、lstsq、cond 的用法与数值稳定性说明。