线性回归
定义
线性回归假设输出是输入特征的仿射函数与零均值噪声之和,即 ,并以均方误差为损失,在仿射函数族中最小化经验风险。
符号定义:
- :单个样本的特征向量, 为特征维数;:连续标签。
- :权重向量, 为第 个特征的线性系数;:截距,也称偏置。
- :噪声随机变量,模型假设其条件均值为零。
- :设计矩阵,第 行为 ;:标签向量; 为样本数。
- :首列追加全 列的增广设计矩阵;:增广参数。
- 均方误差(mean squared error, MSE):。系数 抵消求导产生的因子 ,不改变最优解。
- 正规方程(normal equation):,即 的条件。
- 条件数(condition number):,非对称矩阵用奇异值之比,度量线性系统对扰动的敏感性。
- 多重共线性(multicollinearity):设计矩阵的列近似线性相关,使 接近奇异。
为什么重要
- 线性回归是平方损失下 ERM 最基础的实例,具有闭式解且解可完整分析,机器学习绪论 中的风险、假设空间与偏差-方差概念都可在此逐项计算。
- 它给出回归任务的基线。复杂模型必须在同一划分、同一指标下超过该基线;提升小于噪声水平时不可信。
- 正规方程、正交投影与条件数分别对应代数、几何与数值稳定性三个视角,岭回归、逻辑回归与神经网络的最小二乘层都复用其中至少一个视角。
- 最小二乘与高斯最大似然等价,该结论把平方损失从人为选择提升为概率假设下的推断,是理解 损失函数 与概率建模关系的起点。
- 特征缩放对梯度下降的影响在此可定量测量:条件数决定收敛步数,标准化把条件数从数百降至接近 。
- 岭回归与 Lasso 在此获得 MAP 解释,是 正则化与调参 的第一个可推导实例。
原理与推导
1. 模型假设
模型假设为:输出关于参数 、 线性(特征本身可先做非线性变换);噪声可加且与 独立;,从而 ,模型估计条件期望; 与 无关; 列满秩。零均值与同方差假设主要影响解的统计解释,列满秩影响解的唯一性;即使噪声异方差,正规方程仍给出最小二乘解,只是协方差不再是 。
2. 损失函数与矩阵形式
第 个样本的残差为 。经验风险取残差平方的均值:
把 视为与恒为 的特征相乘的权重,令 ,则 ,堆叠后
这一步称为偏置吸收:两个参数块合并为一个,导数可用单个矩阵表达式写出。若单独对 求导,会多出一个标量方程,最终结果相同。
3. 正规方程推导
展开范数:
所用矩阵求导规则为
第一式中 对称,故结果为 ;第二式中 。代入得
维度检查: 为 ,乘 后仍为 ,与参数同型。令梯度为零:
二阶条件:Hessian 为 。对任意 ,,故 Hessian 半正定、 凸,驻点即全局最小点。 列满秩时 Hessian 正定、解唯一; 或列相关时有无穷多解,常用最小范数解 , 为 Moore-Penrose 伪逆。
4. 几何解释
的列空间为 。最小化 即在 中寻找距 最近的点,该点是正交投影 。正交性要求残差 与列空间每一列正交:
这正是正规方程。定义帽矩阵 ,则 ,。 对称且幂等,是到 的正交投影算子;列满秩时 ,即投影子空间维数,也解释了残差平方和为何损失 个自由度。
5. 高斯噪声下的最大似然等价
设 相互独立且 。似然与对数似然为
固定 时,只有第二项依赖 且带负号,最大化 等价于最小化 。由于 ,二者最优解相同。对 求偏导并令其为零:
该估计有偏,无偏估计为 ,扣减的自由度对应已估计的 个参数。
6. 梯度下降解与学习率
显式计算 需 时间与 内存,求逆为 。梯度下降迭代
其中 为学习率。记 ,最优解满足 。令 ,两式相减得
设 的特征值为 ,则 的特征值为 ,收敛要求
取 时误差每步按 收缩,,达到精度 约需 次迭代。 时更新放大误差,损失发散。
7. 特征缩放的影响
某列量纲放大 倍时, 的对应特征值约放大 倍,条件数约放大 倍,因为 。收敛步数同比例增加,同时学习率上界 缩小为原来的 ,未调整学习率会直接发散。标准化把每列变为 ,其中 、 为该列均值与标准差;变换后各列均值为 、标准差为 , 的对角元为 ,条件数只由特征相关性决定。标准化不改变模型表达能力,参数可按
换回原始尺度,除法按元素进行。
8. 岭回归、Lasso 与 MAP 解释
当列近似相关时, 的最小特征值接近零,最小二乘解方差很大。岭回归加入参数范数惩罚:
对 求导并令其为零,得
其中 首个对角元为 ,表示不惩罚截距。加入惩罚后,对任意 ,
因为 时第二项为正,、 时截距列给出 。故矩阵正定、可逆;惩罚只作用于权重方向,不改变截距方向的曲率。
MAP 解释:设先验 ,各分量独立, 取平坦先验,似然为高斯。后验对数(省略常数)为
乘以 后,最大化后验等价于最小化
故 :先验方差 越小或噪声方差 越大,惩罚越强。Lasso 把惩罚换成 ,对应各分量独立的拉普拉斯先验 ( 为尺度参数),惩罚系数 。L1 惩罚在零点不可导,通常用坐标下降求解;其软阈值算子 会把绝对值小于 的系数置零,因此 Lasso 产生稀疏解。完整调参流程见 正则化与调参。
9. 评估指标
设测试集有 个样本,预测为 ,标签均值为 。
| 指标 | 定义 | 性质 |
|---|---|---|
| MSE | 放大大误差,量纲为标签的平方 | |
| RMSE | 与标签同量纲,可解释 | |
| MAE | 对异常值稳健,零点不可导 | |
| 相对均值预测的改进比例,可为负 |
表示无误差, 表示与均值预测相同, 表示比均值预测更差。指标应与误差的业务代价一致:大误差代价高时用 MSE 或 RMSE,异常值多时用 MAE。
10. 多重共线性与条件数
若存在非零 使 ,则 是 的小特征值方向。参数协方差为
沿该方向的方差为 ,可极大。诊断用方差膨胀因子 , 为第 个特征对其余特征回归的决定系数, 通常提示共线性严重。处理方式包括删除冗余特征、用 PCA与降维 构造正交特征、改用岭回归。 时正规方程的解对舍入误差敏感,应改用 QR 分解或 SVD 求解。
关键直觉
机制性直觉
最小二乘解等价于把 正交投影到设计矩阵的列空间:残差与每一列内积为零,正规方程是这组正交条件的矩阵写法。梯度下降沿负梯度方向逐步逼近同一投影;特征尺度差异大时,损失等高线呈狭长椭球,梯度方向与指向最优点的方向偏离,收敛步数与条件数成正比。岭回归在求逆前给 的每个特征方向加 ,压缩小特征值方向,从而降低方差。该直觉与第 4、6、8 节一一对应:投影对应 ,收敛因子对应 ,压缩对应 。
例子与代码
手算例子:数据 、、,模型 。,,,
解得 ,。预测约为 、、,残差为 、、,,,MSE 。
下面的代码比较闭式解、原始尺度梯度下降、标准化后梯度下降与岭回归。环境为 NumPy 2.x。
import numpy as np
rng = np.random.default_rng(42)
n = 200
x1 = rng.normal(0.0, 1.0, n)
x2 = rng.normal(0.0, 1.0, n)
x3 = 500.0 * rng.normal(0.0, 1.0, n) # 第三个特征量纲放大 500 倍
X = np.column_stack([x1, x2, x3])
y = X @ np.array([2.0, -1.0, 0.002]) + 0.7 + rng.normal(0.0, 0.1, n)
Xb = np.column_stack([np.ones(n), X]) # 偏置吸收为第 0 列
theta = np.linalg.solve(Xb.T @ Xb, Xb.T @ y)
print("闭式解 [b, w1, w2, w3] =", np.round(theta, 6))
print("cond(X^T X) =", f"{np.linalg.cond(Xb.T @ Xb):.3e}")
def gd(X, y, lr, n_iter, tol=1e-8):
theta = np.zeros(X.shape[1])
hist = []
for it in range(n_iter):
grad = X.T @ (X @ theta - y) / len(y) # ∇J = X^T(Xθ-y)/n
theta = theta - lr * grad
hist.append(0.5 * np.mean((X @ theta - y) ** 2))
if np.max(np.abs(grad)) < tol:
break
return theta, hist, it + 1
L = np.linalg.eigvalsh(Xb.T @ Xb / n).max() # 梯度 Lipschitz 常数
theta_raw, hist_raw, it_raw = gd(Xb, y, 1.0 / L, 20000, 1e-6)
print(f"原始尺度: L={L:.0f}, 迭代 {it_raw} 次, MSE={2 * hist_raw[-1]:.3f}")
with np.errstate(over="ignore", invalid="ignore"):
_, hist_bad, _ = gd(Xb, y, 1e-2, 60, 0.0)
print("lr=1e-2 前三次损失:", [f"{v:.2e}" for v in hist_bad[:3]],
"末次:", hist_bad[-1])
mu, sd = X.mean(axis=0), X.std(axis=0)
Xs = (X - mu) / sd
Xbs = np.column_stack([np.ones(n), Xs])
Ls = np.linalg.eigvalsh(Xbs.T @ Xbs / n).max()
theta_s, hist_s, it_s = gd(Xbs, y, 1.0 / Ls, 20000, 1e-6)
print(f"标准化: L={Ls:.3f}, 迭代 {it_s} 次, MSE={2 * hist_s[-1]:.2e}")
w_s, b_s = theta_s[1:], theta_s[0]
print("换回原始尺度:", np.round(np.r_[b_s - np.sum(w_s * mu / sd), w_s / sd], 6))
train, test = np.arange(150), np.arange(150, 200)
Xt, yt, Xe, ye = Xb[train], y[train], Xb[test], y[test]
th = np.linalg.solve(Xt.T @ Xt, Xt.T @ yt)
pred = Xe @ th
mse = np.mean((pred - ye) ** 2)
print("MSE/RMSE/MAE/R2:",
round(mse, 6), round(np.sqrt(mse), 6),
round(np.mean(np.abs(pred - ye)), 6),
round(1 - np.sum((ye - pred) ** 2) / np.sum((ye - ye.mean()) ** 2), 6))
# 岭回归:标准化特征上惩罚权重,不惩罚截距
Xtr_s, Xte_s = (X[train] - mu) / sd, (X[test] - mu) / sd
for lam in (0.0, 1.0, 10.0, 100.0):
A = np.column_stack([np.ones(len(train)), Xtr_s])
P = np.eye(A.shape[1]); P[0, 0] = 0.0
th_r = np.linalg.solve(A.T @ A + lam * P, A.T @ yt)
pred_r = np.column_stack([np.ones(len(test)), Xte_s]) @ th_r
print(f"lambda={lam:>5}: theta={np.round(th_r, 4)}, "
f"test MSE={np.mean((pred_r - ye) ** 2):.6f}")
代码说明:
np.linalg.solve解正规方程而不显式求逆;显式求逆在条件数大时误差更大,怀疑秩亏时改用np.linalg.lstsq。- 学习率取 , 为 的最大特征值。原始尺度下 ,学习率约 ,(即 ),因此 20000 次迭代后仍未收敛;这是条件数所致,不是实现错误。
lr=1e-2约为上界 的 1300 倍,损失逐步放大并溢出为inf。去掉该段不影响闭式解,但会掩盖学习率与尺度的关系。- 标准化后 、条件数约 ,9 次迭代即达到梯度无穷范数小于 ;换回原始尺度的参数与闭式解在 内一致。
- 岭回归在训练子集上拟合、测试子集上评估, 对应普通最小二乘。
- 代码为集中演示条件数与岭回归,标准化参数在全量数据上估计;严格评估流程应只在训练集上估计 、,再作用于验证集与测试集,否则测试集信息进入预处理。
运行结果:
闭式解 [b, w1, w2, w3] = [ 0.696951 1.997379 -1.004419 0.002018]
cond(X^T X) = 3.415e+05
原始尺度: L=258190, 迭代 20000 次, MSE=4.142
lr=1e-2 前三次损失: ['2.51e+06', '1.67e+13', '1.11e+20'] 末次: inf
标准化: L=1.102, 迭代 9 次, MSE=1.02e-02
换回原始尺度: [ 0.696951 1.997379 -1.004419 0.002018]
MSE/RMSE/MAE/R2: 0.010795 0.103898 0.085642 0.998369
lambda= 0.0: theta=[ 0.5381 1.7534 -1.0257 1.0278], test MSE=0.010795
lambda= 1.0: theta=[ 0.5381 1.7407 -1.0188 1.0197], test MSE=0.010996
lambda= 10.0: theta=[ 0.5381 1.6339 -0.9605 0.9517], test MSE=0.040282
lambda=100.0: theta=[ 0.5382 1.0133 -0.6118 0.5692], test MSE=1.185329
结果解读:闭式解恢复 、、、,与真实参数一致;原始尺度梯度下降 20000 次后 MSE 仍为 4.142;标准化后 9 次迭代的半 MSE 为 ,即 MSE 约 ,与噪声方差 相符。岭回归随 增大系数收缩、测试误差先微增后大幅上升,惩罚强度需通过验证集选择。
与 scikit-learn 的对照(需安装 scikit-learn):
import numpy as np
from sklearn.linear_model import LinearRegression, Ridge
ols = LinearRegression().fit(X, y) # 内部用 SVD/最小二乘,不构造正规方程
print(np.round(np.r_[ols.intercept_, ols.coef_], 4))
# 期望 [0.697 1.9974 -1.0044 0.002]
ridge = Ridge(alpha=200.0).fit(Xs, y) # alpha = n * lambda,此处 n=200, lambda=1
print(np.round(np.r_[ridge.intercept_, ridge.coef_], 4))
# 期望 [0.5472 1.7485 -1.0168 1.0175]
scikit-learn 的 Ridge 最小化 ,与本篇 的换算为 ;忽略该因子会把正则强度设错 倍。
易错点
常见错误
- 构造增广矩阵后仍单独惩罚截距,或把截距列也标准化。截距应保持全 列且不进入惩罚项,否则模型失去平移不变性。
- 直接写
np.linalg.inv(X.T @ X) @ X.T @ y。构造并求逆 会把 平方为 ,数值误差大;应使用solve、lstsq或 QR/SVD。- 在标准化数据上训练后用标准化系数解释原始特征,或直接用于原始尺度预测。必须按 、 换回。
- 学习率固定为 或 而不检查 上界。特征量纲变化后同一学习率可能发散,损失出现
inf时应先检查尺度与学习率。- 用 比较不同测试集上的模型,或认为 必在 。它依赖测试集标签方差,跨数据集不可比,模型差于均值预测时为负。
- 在强共线性下解释单个系数的符号与大小。系数方差为 ,数据微小扰动即可使符号翻转,应报告区间或改用岭回归。
关联笔记
- 前置:机器学习绪论 —— 线性回归是平方损失下 ERM 的闭式实例,风险与泛化间隙在此可计算。
- 前置:线性代数 —— 列空间、正交投影、秩与特征值是正规方程几何解释与条件数分析的基础。
- 前置:微积分与梯度 —— 矩阵求导规则与梯度下降收敛分析直接复用于第 3、6 节。
- 后续:逻辑回归 —— 把线性预测值经 sigmoid 映射为概率,损失由平方误差换为交叉熵。
- 后续:正则化与调参 —— 岭回归与 Lasso 的惩罚强度选择与交叉验证调参在该篇展开。
达标检测
- [ ] 写出 的完整求导过程,包括两条矩阵求导公式与维度检查。
- [ ] 对 、、 手算 、、残差与 MSE,并与代码输出对照。
- [ ] 说明 为何对称幂等,并解释 的含义。
- [ ] 从高斯似然推导 ,并说明无偏估计为何除以 。
- [ ] 运行代码,把
x3的缩放从 500 改为 5,重新计算条件数与标准化前后的迭代次数,解释变化。 - [ ] 解释岭回归中 的来源,并说明先验方差 增大时系数如何变化。
参考来源
- Hastie, Tibshirani, Friedman, The Elements of Statistical Learning, 2nd ed., 2009, 第 3 章 —— 对应最小二乘、正规方程、多重共线性、岭回归与 Lasso。
- d2l.ai《动手学深度学习》,线性回归章节 —— 对应平方损失、梯度下降实现与特征缩放实验。
- Stanford CS229 课程讲义,最小二乘与概率解释部分 —— 对应正规方程推导与高斯噪声下的最大似然等价。
- NumPy 官方文档,
numpy.linalg部分 —— 对应solve、lstsq、cond的用法与数值稳定性说明。