---
tags: [AI, 机器学习, 回归]
阶段: 03-经典机器学习
难度: ★★☆
created: 2026-10-18
related: "[[机器学习绪论]], [[正则化与调参]], [[逻辑回归]], [[模型评估与交叉验证]]"
---

# 线性回归

## 定义

> 线性回归假设输出是输入特征的仿射函数与零均值噪声之和，即 $y=\mathbf{w}^{\top}\mathbf{x}+b+\epsilon$，并以均方误差为损失，在仿射函数族中最小化经验风险。

符号定义：

- $\mathbf{x}\in\mathbb{R}^{d}$：单个样本的特征向量，$d$ 为特征维数；$y\in\mathbb{R}$：连续标签。
- $\mathbf{w}\in\mathbb{R}^{d}$：权重向量，$w_j$ 为第 $j$ 个特征的线性系数；$b\in\mathbb{R}$：截距，也称偏置。
- $\epsilon$：噪声随机变量，模型假设其条件均值为零。
- $\mathbf{X}\in\mathbb{R}^{n\times d}$：设计矩阵，第 $i$ 行为 $\mathbf{x}_i^{\top}$；$\mathbf{y}\in\mathbb{R}^{n}$：标签向量；$n$ 为样本数。
- $\tilde{\mathbf{X}}=[\mathbf{1},\mathbf{X}]\in\mathbb{R}^{n\times(d+1)}$：首列追加全 $1$ 列的增广设计矩阵；$\boldsymbol{\theta}=(b,\mathbf{w})\in\mathbb{R}^{d+1}$：增广参数。
- **均方误差**（mean squared error, MSE）：$J(\boldsymbol{\theta})=\dfrac{1}{2n}\|\tilde{\mathbf{X}}\boldsymbol{\theta}-\mathbf{y}\|_{2}^{2}$。系数 $1/2$ 抵消求导产生的因子 $2$，不改变最优解。
- **正规方程**（normal equation）：$\tilde{\mathbf{X}}^{\top}\tilde{\mathbf{X}}\boldsymbol{\theta}=\tilde{\mathbf{X}}^{\top}\mathbf{y}$，即 $\nabla J=\mathbf{0}$ 的条件。
- **条件数**（condition number）：$\kappa(\mathbf{A})=\lambda_{\max}(\mathbf{A})/\lambda_{\min}(\mathbf{A})$，非对称矩阵用奇异值之比，度量线性系统对扰动的敏感性。
- **多重共线性**（multicollinearity）：设计矩阵的列近似线性相关，使 $\tilde{\mathbf{X}}^{\top}\tilde{\mathbf{X}}$ 接近奇异。

## 为什么重要

- 线性回归是平方损失下 ERM 最基础的实例，具有闭式解且解可完整分析，[[机器学习绪论]] 中的风险、假设空间与偏差-方差概念都可在此逐项计算。
- 它给出回归任务的基线。复杂模型必须在同一划分、同一指标下超过该基线；提升小于噪声水平时不可信。
- 正规方程、正交投影与条件数分别对应代数、几何与数值稳定性三个视角，岭回归、逻辑回归与神经网络的最小二乘层都复用其中至少一个视角。
- 最小二乘与高斯最大似然等价，该结论把平方损失从人为选择提升为概率假设下的推断，是理解 [[损失函数]] 与概率建模关系的起点。
- 特征缩放对梯度下降的影响在此可定量测量：条件数决定收敛步数，标准化把条件数从数百降至接近 $1$。
- 岭回归与 Lasso 在此获得 MAP 解释，是 [[正则化与调参]] 的第一个可推导实例。

## 原理与推导

### 1. 模型假设

模型假设为：输出关于参数 $\mathbf{w}$、$b$ 线性（特征本身可先做非线性变换）；噪声可加且与 $\mathbf{x}$ 独立；$\mathbb{E}[\epsilon\mid\mathbf{x}]=0$，从而 $f(\mathbf{x})=\mathbb{E}[y\mid\mathbf{x}]$，模型估计条件期望；$\operatorname{Var}(\epsilon\mid\mathbf{x})=\sigma^{2}$ 与 $\mathbf{x}$ 无关；$\tilde{\mathbf{X}}$ 列满秩。零均值与同方差假设主要影响解的统计解释，列满秩影响解的唯一性；即使噪声异方差，正规方程仍给出最小二乘解，只是协方差不再是 $\sigma^{2}(\tilde{\mathbf{X}}^{\top}\tilde{\mathbf{X}})^{-1}$。

### 2. 损失函数与矩阵形式

第 $i$ 个样本的残差为 $y_i-\mathbf{w}^{\top}\mathbf{x}_i-b$。经验风险取残差平方的均值：

$$
J(\mathbf{w},b)=\frac{1}{2n}\sum_{i=1}^{n}\left(y_i-\mathbf{w}^{\top}\mathbf{x}_i-b\right)^{2}.
$$

把 $b$ 视为与恒为 $1$ 的特征相乘的权重，令 $\tilde{\mathbf{x}}_i=(1,\mathbf{x}_i^{\top})^{\top}$，则 $\mathbf{w}^{\top}\mathbf{x}_i+b=\tilde{\mathbf{x}}_i^{\top}\boldsymbol{\theta}$，堆叠后

$$
J(\boldsymbol{\theta})=\frac{1}{2n}\|\tilde{\mathbf{X}}\boldsymbol{\theta}-\mathbf{y}\|_{2}^{2}.
$$

这一步称为偏置吸收：两个参数块合并为一个，导数可用单个矩阵表达式写出。若单独对 $b$ 求导，会多出一个标量方程，最终结果相同。

### 3. 正规方程推导

展开范数：

$$
\|\tilde{\mathbf{X}}\boldsymbol{\theta}-\mathbf{y}\|^{2}
=\boldsymbol{\theta}^{\top}\tilde{\mathbf{X}}^{\top}\tilde{\mathbf{X}}\boldsymbol{\theta}
-2\mathbf{y}^{\top}\tilde{\mathbf{X}}\boldsymbol{\theta}+\mathbf{y}^{\top}\mathbf{y}.
$$

所用矩阵求导规则为

$$
\nabla_{\boldsymbol{\theta}}\left(\boldsymbol{\theta}^{\top}\mathbf{A}\boldsymbol{\theta}\right)=(\mathbf{A}+\mathbf{A}^{\top})\boldsymbol{\theta},
\qquad
\nabla_{\boldsymbol{\theta}}\left(\mathbf{b}^{\top}\boldsymbol{\theta}\right)=\mathbf{b}.
$$

第一式中 $\mathbf{A}=\tilde{\mathbf{X}}^{\top}\tilde{\mathbf{X}}$ 对称，故结果为 $2\tilde{\mathbf{X}}^{\top}\tilde{\mathbf{X}}\boldsymbol{\theta}$；第二式中 $\mathbf{b}^{\top}=\mathbf{y}^{\top}\tilde{\mathbf{X}}$。代入得

$$
\nabla_{\boldsymbol{\theta}}J
=\frac{1}{2n}\left(2\tilde{\mathbf{X}}^{\top}\tilde{\mathbf{X}}\boldsymbol{\theta}-2\tilde{\mathbf{X}}^{\top}\mathbf{y}\right)
=\frac{1}{n}\left(\tilde{\mathbf{X}}^{\top}\tilde{\mathbf{X}}\boldsymbol{\theta}-\tilde{\mathbf{X}}^{\top}\mathbf{y}\right).
$$

维度检查：$\tilde{\mathbf{X}}^{\top}\tilde{\mathbf{X}}$ 为 $(d+1)\times(d+1)$，乘 $\boldsymbol{\theta}$ 后仍为 $(d+1)\times 1$，与参数同型。令梯度为零：

$$
\tilde{\mathbf{X}}^{\top}\tilde{\mathbf{X}}\boldsymbol{\theta}=\tilde{\mathbf{X}}^{\top}\mathbf{y}
\quad\Longrightarrow\quad
\hat{\boldsymbol{\theta}}=\left(\tilde{\mathbf{X}}^{\top}\tilde{\mathbf{X}}\right)^{-1}\tilde{\mathbf{X}}^{\top}\mathbf{y}.
$$

二阶条件：Hessian 为 $\nabla^{2}J=\tilde{\mathbf{X}}^{\top}\tilde{\mathbf{X}}/n$。对任意 $\mathbf{v}\ne\mathbf{0}$，$\mathbf{v}^{\top}\tilde{\mathbf{X}}^{\top}\tilde{\mathbf{X}}\mathbf{v}=\|\tilde{\mathbf{X}}\mathbf{v}\|^{2}\ge0$，故 Hessian 半正定、$J$ 凸，驻点即全局最小点。$\tilde{\mathbf{X}}$ 列满秩时 Hessian 正定、解唯一；$n<d+1$ 或列相关时有无穷多解，常用最小范数解 $\hat{\boldsymbol{\theta}}=\tilde{\mathbf{X}}^{+}\mathbf{y}$，$\tilde{\mathbf{X}}^{+}$ 为 Moore-Penrose 伪逆。

### 4. 几何解释

$\tilde{\mathbf{X}}$ 的列空间为 $C(\tilde{\mathbf{X}})=\{\tilde{\mathbf{X}}\boldsymbol{\theta}:\boldsymbol{\theta}\in\mathbb{R}^{d+1}\}\subseteq\mathbb{R}^{n}$。最小化 $\|\tilde{\mathbf{X}}\boldsymbol{\theta}-\mathbf{y}\|^{2}$ 即在 $C(\tilde{\mathbf{X}})$ 中寻找距 $\mathbf{y}$ 最近的点，该点是正交投影 $\hat{\mathbf{y}}$。正交性要求残差 $\mathbf{r}=\mathbf{y}-\hat{\mathbf{y}}$ 与列空间每一列正交：

$$
\tilde{\mathbf{X}}^{\top}\mathbf{r}=\tilde{\mathbf{X}}^{\top}\left(\mathbf{y}-\tilde{\mathbf{X}}\hat{\boldsymbol{\theta}}\right)=\mathbf{0},
$$

这正是正规方程。定义帽矩阵 $\mathbf{H}=\tilde{\mathbf{X}}(\tilde{\mathbf{X}}^{\top}\tilde{\mathbf{X}})^{-1}\tilde{\mathbf{X}}^{\top}$，则 $\hat{\mathbf{y}}=\mathbf{H}\mathbf{y}$，$\mathbf{r}=(\mathbf{I}-\mathbf{H})\mathbf{y}$。$\mathbf{H}$ 对称且幂等，是到 $C(\tilde{\mathbf{X}})$ 的正交投影算子；列满秩时 $\operatorname{tr}(\mathbf{H})=\operatorname{rank}(\mathbf{H})=d+1$，即投影子空间维数，也解释了残差平方和为何损失 $d+1$ 个自由度。

### 5. 高斯噪声下的最大似然等价

设 $y_i\mid\mathbf{x}_i$ 相互独立且 $y_i\sim\mathcal{N}(\tilde{\mathbf{x}}_i^{\top}\boldsymbol{\theta},\sigma^{2})$。似然与对数似然为

$$
L(\boldsymbol{\theta},\sigma^{2})=\prod_{i=1}^{n}\frac{1}{\sqrt{2\pi}\sigma}\exp\left(-\frac{\left(y_i-\tilde{\mathbf{x}}_i^{\top}\boldsymbol{\theta}\right)^{2}}{2\sigma^{2}}\right),
$$

$$
\ell(\boldsymbol{\theta},\sigma^{2})
=-\frac{n}{2}\ln(2\pi\sigma^{2})
-\frac{1}{2\sigma^{2}}\sum_{i=1}^{n}\left(y_i-\tilde{\mathbf{x}}_i^{\top}\boldsymbol{\theta}\right)^{2}.
$$

固定 $\sigma^{2}$ 时，只有第二项依赖 $\boldsymbol{\theta}$ 且带负号，最大化 $\ell$ 等价于最小化 $\mathrm{SSE}=\sum_i(y_i-\tilde{\mathbf{x}}_i^{\top}\boldsymbol{\theta})^{2}$。由于 $J=\mathrm{SSE}/(2n)$，二者最优解相同。对 $\sigma^{2}$ 求偏导并令其为零：

$$
\frac{\partial\ell}{\partial\sigma^{2}}
=-\frac{n}{2\sigma^{2}}+\frac{\mathrm{SSE}}{2\sigma^{4}}=0
\quad\Longrightarrow\quad
\hat{\sigma}^{2}=\frac{\mathrm{SSE}}{n}.
$$

该估计有偏，无偏估计为 $\mathrm{SSE}/(n-d-1)$，扣减的自由度对应已估计的 $d+1$ 个参数。

### 6. 梯度下降解与学习率

显式计算 $\tilde{\mathbf{X}}^{\top}\tilde{\mathbf{X}}$ 需 $O(nd^{2})$ 时间与 $O(d^{2})$ 内存，求逆为 $O(d^{3})$。梯度下降迭代

$$
\boldsymbol{\theta}_{t+1}=\boldsymbol{\theta}_{t}-\eta\nabla J(\boldsymbol{\theta}_{t})
=\boldsymbol{\theta}_{t}-\frac{\eta}{n}\tilde{\mathbf{X}}^{\top}\left(\tilde{\mathbf{X}}\boldsymbol{\theta}_{t}-\mathbf{y}\right),
$$

其中 $\eta>0$ 为学习率。记 $\mathbf{H}=\tilde{\mathbf{X}}^{\top}\tilde{\mathbf{X}}/n$，最优解满足 $\mathbf{H}\boldsymbol{\theta}^{*}=\tilde{\mathbf{X}}^{\top}\mathbf{y}/n$。令 $\mathbf{e}_t=\boldsymbol{\theta}_t-\boldsymbol{\theta}^{*}$，两式相减得

$$
\mathbf{e}_{t+1}=\left(\mathbf{I}-\eta\mathbf{H}\right)\mathbf{e}_t
\quad\Longrightarrow\quad
\mathbf{e}_t=\left(\mathbf{I}-\eta\mathbf{H}\right)^{t}\mathbf{e}_0.
$$

设 $\mathbf{H}$ 的特征值为 $0\le\lambda_1\le\cdots\le\lambda_{d+1}$，则 $\mathbf{I}-\eta\mathbf{H}$ 的特征值为 $1-\eta\lambda_j$，收敛要求

$$
\left|1-\eta\lambda_j\right|<1\ \ \forall j
\quad\Longleftrightarrow\quad
0<\eta<\frac{2}{\lambda_{\max}}.
$$

取 $\eta=2/(\lambda_{\max}+\lambda_{\min})$ 时误差每步按 $(\kappa-1)/(\kappa+1)$ 收缩，$\kappa=\lambda_{\max}/\lambda_{\min}$，达到精度 $\varepsilon$ 约需 $O(\kappa\ln(1/\varepsilon))$ 次迭代。$\eta\ge2/\lambda_{\max}$ 时更新放大误差，损失发散。

### 7. 特征缩放的影响

某列量纲放大 $s$ 倍时，$\tilde{\mathbf{X}}^{\top}\tilde{\mathbf{X}}$ 的对应特征值约放大 $s^{2}$ 倍，条件数约放大 $s^{2}$ 倍，因为 $\kappa(\mathbf{A}^{\top}\mathbf{A})=\kappa(\mathbf{A})^{2}$。收敛步数同比例增加，同时学习率上界 $2/\lambda_{\max}$ 缩小为原来的 $1/s^{2}$，未调整学习率会直接发散。标准化把每列变为 $(x_{ij}-\mu_j)/s_j$，其中 $\mu_j$、$s_j$ 为该列均值与标准差；变换后各列均值为 $0$、标准差为 $1$，$\tilde{\mathbf{X}}^{\top}\tilde{\mathbf{X}}/n$ 的对角元为 $1$，条件数只由特征相关性决定。标准化不改变模型表达能力，参数可按

$$
\mathbf{w}=\frac{\mathbf{w}_{s}}{\mathbf{s}},\qquad
b=b_{s}-\sum_{j=1}^{d}\frac{w_{s,j}\mu_j}{s_j}
$$

换回原始尺度，除法按元素进行。

### 8. 岭回归、Lasso 与 MAP 解释

当列近似相关时，$\tilde{\mathbf{X}}^{\top}\tilde{\mathbf{X}}$ 的最小特征值接近零，最小二乘解方差很大。岭回归加入参数范数惩罚：

$$
J_{\lambda}(\mathbf{w},b)=\frac{1}{2n}\|\tilde{\mathbf{X}}\boldsymbol{\theta}-\mathbf{y}\|^{2}+\frac{\lambda}{2}\|\mathbf{w}\|^{2},\qquad \lambda>0.
$$

对 $\mathbf{w}$ 求导并令其为零，得

$$
\left(\tilde{\mathbf{X}}^{\top}\tilde{\mathbf{X}}+n\lambda\mathbf{P}\right)\hat{\boldsymbol{\theta}}=\tilde{\mathbf{X}}^{\top}\mathbf{y},
\qquad
\mathbf{P}=\operatorname{diag}(0,1,\dots,1),
$$

其中 $\mathbf{P}$ 首个对角元为 $0$，表示不惩罚截距。加入惩罚后，对任意 $\mathbf{v}=(v_b,\mathbf{v}_w)\ne\mathbf{0}$，

$$
\mathbf{v}^{\top}\left(\tilde{\mathbf{X}}^{\top}\tilde{\mathbf{X}}+n\lambda\mathbf{P}\right)\mathbf{v}
=\|\tilde{\mathbf{X}}\mathbf{v}\|^{2}+n\lambda\|\mathbf{v}_w\|^{2}>0,
$$

因为 $\mathbf{v}_w\ne\mathbf{0}$ 时第二项为正，$\mathbf{v}_w=\mathbf{0}$、$v_b\ne0$ 时截距列给出 $\|\tilde{\mathbf{X}}\mathbf{v}\|^{2}=nv_b^{2}>0$。故矩阵正定、可逆；惩罚只作用于权重方向，不改变截距方向的曲率。

MAP 解释：设先验 $\mathbf{w}\sim\mathcal{N}(\mathbf{0},\tau^{2}\mathbf{I})$，各分量独立，$b$ 取平坦先验，似然为高斯。后验对数（省略常数）为

$$
\ln p(\boldsymbol{\theta}\mid\tilde{\mathbf{X}},\mathbf{y})
=\text{const}-\frac{1}{2\sigma^{2}}\|\tilde{\mathbf{X}}\boldsymbol{\theta}-\mathbf{y}\|^{2}-\frac{1}{2\tau^{2}}\|\mathbf{w}\|^{2}.
$$

乘以 $-\sigma^{2}/n$ 后，最大化后验等价于最小化

$$
\frac{1}{2n}\|\tilde{\mathbf{X}}\boldsymbol{\theta}-\mathbf{y}\|^{2}+\frac{\sigma^{2}}{2n\tau^{2}}\|\mathbf{w}\|^{2},
$$

故 $\lambda=\sigma^{2}/(n\tau^{2})$：先验方差 $\tau^{2}$ 越小或噪声方差 $\sigma^{2}$ 越大，惩罚越强。Lasso 把惩罚换成 $\|\mathbf{w}\|_{1}=\sum_j|w_j|$，对应各分量独立的拉普拉斯先验 $p(w_j)=\frac{1}{2\beta}e^{-|w_j|/\beta}$（$\beta>0$ 为尺度参数），惩罚系数 $\lambda=\sigma^{2}/(n\beta)$。L1 惩罚在零点不可导，通常用坐标下降求解；其软阈值算子 $S(z,\gamma)=\operatorname{sign}(z)\max(|z|-\gamma,0)$ 会把绝对值小于 $\gamma$ 的系数置零，因此 Lasso 产生稀疏解。完整调参流程见 [[正则化与调参]]。

### 9. 评估指标

设测试集有 $m$ 个样本，预测为 $\hat{y}_i$，标签均值为 $\bar{y}$。

| 指标 | 定义 | 性质 |
| --- | --- | --- |
| MSE | $\frac{1}{m}\sum_i(y_i-\hat{y}_i)^{2}$ | 放大大误差，量纲为标签的平方 |
| RMSE | $\sqrt{\mathrm{MSE}}$ | 与标签同量纲，可解释 |
| MAE | $\frac{1}{m}\sum_i\left|y_i-\hat{y}_i\right|$ | 对异常值稳健，零点不可导 |
| $R^{2}$ | $1-\dfrac{\sum_i(y_i-\hat{y}_i)^{2}}{\sum_i(y_i-\bar{y})^{2}}$ | 相对均值预测的改进比例，可为负 |

$R^{2}=1$ 表示无误差，$R^{2}=0$ 表示与均值预测相同，$R^{2}<0$ 表示比均值预测更差。指标应与误差的业务代价一致：大误差代价高时用 MSE 或 RMSE，异常值多时用 MAE。

### 10. 多重共线性与条件数

若存在非零 $\mathbf{v}$ 使 $\mathbf{X}\mathbf{v}\approx\mathbf{0}$，则 $\mathbf{v}$ 是 $\mathbf{X}^{\top}\mathbf{X}$ 的小特征值方向。参数协方差为

$$
\operatorname{Var}\left(\hat{\boldsymbol{\theta}}\right)=\sigma^{2}\left(\tilde{\mathbf{X}}^{\top}\tilde{\mathbf{X}}\right)^{-1},
$$

沿该方向的方差为 $\sigma^{2}/\lambda_{\min}$，可极大。诊断用方差膨胀因子 $\mathrm{VIF}_j=1/(1-R_j^{2})$，$R_j^{2}$ 为第 $j$ 个特征对其余特征回归的决定系数，$\mathrm{VIF}_j>10$ 通常提示共线性严重。处理方式包括删除冗余特征、用 [[PCA与降维]] 构造正交特征、改用岭回归。$\kappa(\tilde{\mathbf{X}}^{\top}\tilde{\mathbf{X}})>10^{4}$ 时正规方程的解对舍入误差敏感，应改用 QR 分解或 SVD 求解。

## 关键直觉

> [!tip] 机制性直觉
> 最小二乘解等价于把 $\mathbf{y}$ 正交投影到设计矩阵的列空间：残差与每一列内积为零，正规方程是这组正交条件的矩阵写法。梯度下降沿负梯度方向逐步逼近同一投影；特征尺度差异大时，损失等高线呈狭长椭球，梯度方向与指向最优点的方向偏离，收敛步数与条件数成正比。岭回归在求逆前给 $\tilde{\mathbf{X}}^{\top}\tilde{\mathbf{X}}$ 的每个特征方向加 $n\lambda$，压缩小特征值方向，从而降低方差。该直觉与第 4、6、8 节一一对应：投影对应 $\mathbf{H}$，收敛因子对应 $(\kappa-1)/(\kappa+1)$，压缩对应 $(\tilde{\mathbf{X}}^{\top}\tilde{\mathbf{X}}+n\lambda\mathbf{P})^{-1}$。

## 例子与代码

手算例子：数据 $(1,2)$、$(2,4)$、$(3,5)$，模型 $y=wx+b$。$n=3$，$\bar{x}=2$，$\bar{y}=11/3$，

$$
S_{xx}=\sum_i(x_i-\bar{x})^{2}=2,\qquad
S_{xy}=\sum_i(x_i-\bar{x})(y_i-\bar{y})=\frac{5}{3}+0+\frac{4}{3}=3.
$$

解得 $w=S_{xy}/S_{xx}=1.5$，$b=\bar{y}-w\bar{x}=2/3$。预测约为 $2.1667$、$3.6667$、$5.1667$，残差为 $-1/6$、$1/3$、$-1/6$，$\mathrm{SSE}=1/6$，$J=\mathrm{SSE}/(2n)=1/36$，MSE $=1/18\approx0.0556$。

下面的代码比较闭式解、原始尺度梯度下降、标准化后梯度下降与岭回归。环境为 NumPy 2.x。

```python
import numpy as np

rng = np.random.default_rng(42)
n = 200
x1 = rng.normal(0.0, 1.0, n)
x2 = rng.normal(0.0, 1.0, n)
x3 = 500.0 * rng.normal(0.0, 1.0, n)        # 第三个特征量纲放大 500 倍
X = np.column_stack([x1, x2, x3])
y = X @ np.array([2.0, -1.0, 0.002]) + 0.7 + rng.normal(0.0, 0.1, n)

Xb = np.column_stack([np.ones(n), X])       # 偏置吸收为第 0 列
theta = np.linalg.solve(Xb.T @ Xb, Xb.T @ y)
print("闭式解 [b, w1, w2, w3] =", np.round(theta, 6))
print("cond(X^T X) =", f"{np.linalg.cond(Xb.T @ Xb):.3e}")

def gd(X, y, lr, n_iter, tol=1e-8):
    theta = np.zeros(X.shape[1])
    hist = []
    for it in range(n_iter):
        grad = X.T @ (X @ theta - y) / len(y)   # ∇J = X^T(Xθ-y)/n
        theta = theta - lr * grad
        hist.append(0.5 * np.mean((X @ theta - y) ** 2))
        if np.max(np.abs(grad)) < tol:
            break
    return theta, hist, it + 1

L = np.linalg.eigvalsh(Xb.T @ Xb / n).max()    # 梯度 Lipschitz 常数
theta_raw, hist_raw, it_raw = gd(Xb, y, 1.0 / L, 20000, 1e-6)
print(f"原始尺度: L={L:.0f}, 迭代 {it_raw} 次, MSE={2 * hist_raw[-1]:.3f}")

with np.errstate(over="ignore", invalid="ignore"):
    _, hist_bad, _ = gd(Xb, y, 1e-2, 60, 0.0)
print("lr=1e-2 前三次损失:", [f"{v:.2e}" for v in hist_bad[:3]],
      "末次:", hist_bad[-1])

mu, sd = X.mean(axis=0), X.std(axis=0)
Xs = (X - mu) / sd
Xbs = np.column_stack([np.ones(n), Xs])
Ls = np.linalg.eigvalsh(Xbs.T @ Xbs / n).max()
theta_s, hist_s, it_s = gd(Xbs, y, 1.0 / Ls, 20000, 1e-6)
print(f"标准化: L={Ls:.3f}, 迭代 {it_s} 次, MSE={2 * hist_s[-1]:.2e}")
w_s, b_s = theta_s[1:], theta_s[0]
print("换回原始尺度:", np.round(np.r_[b_s - np.sum(w_s * mu / sd), w_s / sd], 6))

train, test = np.arange(150), np.arange(150, 200)
Xt, yt, Xe, ye = Xb[train], y[train], Xb[test], y[test]
th = np.linalg.solve(Xt.T @ Xt, Xt.T @ yt)
pred = Xe @ th
mse = np.mean((pred - ye) ** 2)
print("MSE/RMSE/MAE/R2:",
      round(mse, 6), round(np.sqrt(mse), 6),
      round(np.mean(np.abs(pred - ye)), 6),
      round(1 - np.sum((ye - pred) ** 2) / np.sum((ye - ye.mean()) ** 2), 6))

# 岭回归：标准化特征上惩罚权重，不惩罚截距
Xtr_s, Xte_s = (X[train] - mu) / sd, (X[test] - mu) / sd
for lam in (0.0, 1.0, 10.0, 100.0):
    A = np.column_stack([np.ones(len(train)), Xtr_s])
    P = np.eye(A.shape[1]); P[0, 0] = 0.0
    th_r = np.linalg.solve(A.T @ A + lam * P, A.T @ yt)
    pred_r = np.column_stack([np.ones(len(test)), Xte_s]) @ th_r
    print(f"lambda={lam:>5}: theta={np.round(th_r, 4)}, "
          f"test MSE={np.mean((pred_r - ye) ** 2):.6f}")
```

代码说明：

- `np.linalg.solve` 解正规方程而不显式求逆；显式求逆在条件数大时误差更大，怀疑秩亏时改用 `np.linalg.lstsq`。
- 学习率取 $1/L$，$L$ 为 $\tilde{\mathbf{X}}^{\top}\tilde{\mathbf{X}}/n$ 的最大特征值。原始尺度下 $L\approx2.58\times10^{5}$，学习率约 $3.9\times10^{-6}$，$\kappa(\tilde{\mathbf{X}}^{\top}\tilde{\mathbf{X}})\approx3.4\times10^{5}$（即 $\kappa(\tilde{\mathbf{X}})\approx584$），因此 20000 次迭代后仍未收敛；这是条件数所致，不是实现错误。
- `lr=1e-2` 约为上界 $2/L$ 的 1300 倍，损失逐步放大并溢出为 `inf`。去掉该段不影响闭式解，但会掩盖学习率与尺度的关系。
- 标准化后 $L\approx1.10$、条件数约 $1.19$，9 次迭代即达到梯度无穷范数小于 $10^{-6}$；换回原始尺度的参数与闭式解在 $10^{-6}$ 内一致。
- 岭回归在训练子集上拟合、测试子集上评估，$\lambda=0$ 对应普通最小二乘。
- 代码为集中演示条件数与岭回归，标准化参数在全量数据上估计；严格评估流程应只在训练集上估计 $\mu_j$、$s_j$，再作用于验证集与测试集，否则测试集信息进入预处理。

运行结果：

```text
闭式解 [b, w1, w2, w3] = [ 0.696951  1.997379 -1.004419  0.002018]
cond(X^T X) = 3.415e+05
原始尺度: L=258190, 迭代 20000 次, MSE=4.142
lr=1e-2 前三次损失: ['2.51e+06', '1.67e+13', '1.11e+20'] 末次: inf
标准化: L=1.102, 迭代 9 次, MSE=1.02e-02
换回原始尺度: [ 0.696951  1.997379 -1.004419  0.002018]
MSE/RMSE/MAE/R2: 0.010795 0.103898 0.085642 0.998369
lambda=  0.0: theta=[ 0.5381  1.7534 -1.0257  1.0278], test MSE=0.010795
lambda=  1.0: theta=[ 0.5381  1.7407 -1.0188  1.0197], test MSE=0.010996
lambda= 10.0: theta=[ 0.5381  1.6339 -0.9605  0.9517], test MSE=0.040282
lambda=100.0: theta=[ 0.5382  1.0133 -0.6118  0.5692], test MSE=1.185329
```

结果解读：闭式解恢复 $b\approx0.697$、$w_1\approx1.997$、$w_2\approx-1.004$、$w_3\approx0.002$，与真实参数一致；原始尺度梯度下降 20000 次后 MSE 仍为 4.142；标准化后 9 次迭代的半 MSE 为 $5.10\times10^{-3}$，即 MSE 约 $0.0102$，与噪声方差 $0.01$ 相符。岭回归随 $\lambda$ 增大系数收缩、测试误差先微增后大幅上升，惩罚强度需通过验证集选择。

与 scikit-learn 的对照（需安装 scikit-learn）：

```python
import numpy as np
from sklearn.linear_model import LinearRegression, Ridge

ols = LinearRegression().fit(X, y)      # 内部用 SVD/最小二乘，不构造正规方程
print(np.round(np.r_[ols.intercept_, ols.coef_], 4))
# 期望 [0.697  1.9974 -1.0044  0.002]

ridge = Ridge(alpha=200.0).fit(Xs, y)   # alpha = n * lambda，此处 n=200, lambda=1
print(np.round(np.r_[ridge.intercept_, ridge.coef_], 4))
# 期望 [0.5472  1.7485 -1.0168  1.0175]
```

scikit-learn 的 `Ridge` 最小化 $\|\mathbf{y}-\mathbf{X}\mathbf{w}\|^{2}+\alpha\|\mathbf{w}\|^{2}$，与本篇 $J$ 的换算为 $\alpha=n\lambda$；忽略该因子会把正则强度设错 $n$ 倍。

## 易错点

> [!warning] 常见错误
> - 构造增广矩阵后仍单独惩罚截距，或把截距列也标准化。截距应保持全 $1$ 列且不进入惩罚项，否则模型失去平移不变性。
> - 直接写 `np.linalg.inv(X.T @ X) @ X.T @ y`。构造并求逆 $\mathbf{X}^{\top}\mathbf{X}$ 会把 $\kappa(\mathbf{X})$ 平方为 $\kappa(\mathbf{X}^{\top}\mathbf{X})$，数值误差大；应使用 `solve`、`lstsq` 或 QR/SVD。
> - 在标准化数据上训练后用标准化系数解释原始特征，或直接用于原始尺度预测。必须按 $w_j=w_{s,j}/s_j$、$b=b_s-\sum_j w_{s,j}\mu_j/s_j$ 换回。
> - 学习率固定为 $10^{-2}$ 或 $10^{-3}$ 而不检查 $2/\lambda_{\max}$ 上界。特征量纲变化后同一学习率可能发散，损失出现 `inf` 时应先检查尺度与学习率。
> - 用 $R^{2}$ 比较不同测试集上的模型，或认为 $R^{2}$ 必在 $[0,1]$。它依赖测试集标签方差，跨数据集不可比，模型差于均值预测时为负。
> - 在强共线性下解释单个系数的符号与大小。系数方差为 $\sigma^{2}/\lambda_{\min}$，数据微小扰动即可使符号翻转，应报告区间或改用岭回归。

## 关联笔记

- 前置：[[机器学习绪论]] —— 线性回归是平方损失下 ERM 的闭式实例，风险与泛化间隙在此可计算。
- 前置：[[线性代数]] —— 列空间、正交投影、秩与特征值是正规方程几何解释与条件数分析的基础。
- 前置：[[微积分与梯度]] —— 矩阵求导规则与梯度下降收敛分析直接复用于第 3、6 节。
- 后续：[[逻辑回归]] —— 把线性预测值经 sigmoid 映射为概率，损失由平方误差换为交叉熵。
- 后续：[[正则化与调参]] —— 岭回归与 Lasso 的惩罚强度选择与交叉验证调参在该篇展开。

## 达标检测

- [ ] 写出 $J(\boldsymbol{\theta})=\frac{1}{2n}\|\tilde{\mathbf{X}}\boldsymbol{\theta}-\mathbf{y}\|^{2}$ 的完整求导过程，包括两条矩阵求导公式与维度检查。
- [ ] 对 $(1,2)$、$(2,4)$、$(3,5)$ 手算 $w$、$b$、残差与 MSE，并与代码输出对照。
- [ ] 说明 $\mathbf{H}=\tilde{\mathbf{X}}(\tilde{\mathbf{X}}^{\top}\tilde{\mathbf{X}})^{-1}\tilde{\mathbf{X}}^{\top}$ 为何对称幂等，并解释 $\operatorname{tr}(\mathbf{H})=d+1$ 的含义。
- [ ] 从高斯似然推导 $\hat{\sigma}^{2}=\mathrm{SSE}/n$，并说明无偏估计为何除以 $n-d-1$。
- [ ] 运行代码，把 `x3` 的缩放从 500 改为 5，重新计算条件数与标准化前后的迭代次数，解释变化。
- [ ] 解释岭回归中 $\lambda=\sigma^{2}/(n\tau^{2})$ 的来源，并说明先验方差 $\tau^{2}$ 增大时系数如何变化。

## 参考来源

- Hastie, Tibshirani, Friedman, *The Elements of Statistical Learning*, 2nd ed., 2009, 第 3 章 —— 对应最小二乘、正规方程、多重共线性、岭回归与 Lasso。
- d2l.ai《动手学深度学习》，线性回归章节 —— 对应平方损失、梯度下降实现与特征缩放实验。
- Stanford CS229 课程讲义，最小二乘与概率解释部分 —— 对应正规方程推导与高斯噪声下的最大似然等价。
- NumPy 官方文档，`numpy.linalg` 部分 —— 对应 `solve`、`lstsq`、`cond` 的用法与数值稳定性说明。
