w wyl123ly 的博客
MD

机器学习绪论

23 KB 2026.10.18 原文件

机器学习绪论

定义

机器学习研究如何从有限样本中选取假设空间内的映射 ,使 在同一数据分布抽取的未见样本上的期望损失尽可能小。

逐项定义上式涉及的符号与术语:

  • 输入空间 :样本特征的取值集合, 为特征维数,单个样本记作 。
  • 输出空间 :回归任务取 ,二分类取 ,多分类取 。
  • 数据分布 :特征与标签的联合分布,学习算法无法直接访问,只能通过样本近似。
  • 训练集 :从 独立同分布抽取的 个样本。
  • 假设空间 :算法允许选取的全部映射, 表示由参数 确定的映射, 为参数集合。线性模型、决策树、神经网络的 不同。
  • 损失函数 :度量预测 与真实标签 的差异, 越小表示预测越接近。
  • 风险(risk): 在全体数据分布上的期望损失,也称泛化误差。
  • 经验风险(empirical risk): 在训练集上的平均损失。
  • 经验风险最小化(empirical risk minimization, ERM):在 内选取 的学习准则。
  • 泛化间隙(generalization gap):,即泛化误差与训练误差之差。
  • 归纳偏置(inductive bias):学习算法对未见样本作出预测时所依赖的、无法由训练数据唯一确定的偏好,它由假设空间与优化过程共同决定。
  • 过拟合(overfitting):训练误差低而泛化误差明显偏高,泛化间隙大。
  • 欠拟合(underfitting):训练误差与泛化误差都高,模型未能捕捉数据中的主要结构。
  • 生成式模型(generative model):对联合分布 或条件分布 建模的模型。
  • 判别式模型(discriminative model):对条件分布 或决策函数 直接建模的模型。

为什么重要

  • 没有形式化,模型比较只能依据训练集损失,而过参数化模型可以把训练误差降到零,训练误差无法区分有效学习与记忆。
  • 风险 含未知分布 ,不能直接计算,因此需要把泛化问题转化为可用有限样本估计的问题:一部分工作由泛化界给出理论保证,另一部分由数据划分与交叉验证给出经验估计。
  • ERM 是监督学习算法的共同框架:线性回归 以平方损失实例化 ERM 并获得闭式解,逻辑回归 以交叉熵实例化 ERM,支持向量机SVM 以合页损失加正则项实例化 ERM。
  • 偏差-方差分解把测试误差拆成不可约噪声、偏差与方差三项,为容量选择提供定量语言:增大容量降低偏差、提高方差,最优容量位于两者之和的最小处。
  • 归纳偏置决定了假设空间与任务的匹配程度。卷积网络在图像上的有效性来自局部连接与平移等变,而不是来自参数数量;把同一结构用于特征无空间结构的表格数据通常不会带来收益。
  • 在能力目标中的位置:形式化与分解对应懂原理;ERM 的代码实现对应能复现;数据划分、模型选择与误差分析对应会评估。

原理与推导

1. 学习问题的形式化

学习任务由三元组 与损失 确定,算法在假设空间 内搜索。对固定 ,风险为

由于 未知,只能最小化经验风险

ERM 的合理性依赖一个事实:当 且 固定时,由大数定律,对每个固定的 有 (依概率)。但 ERM 选取的 依赖 ,且是在 中取最小值的函数,因此不能直接对 套用该结论,需要一致收敛性。

把误差进一步分解。设 为假设空间内的最优函数, 为全体可测函数中的最优函数(贝叶斯最优),则

近似误差由 的表达能力决定,扩大 可降低它;估计误差由用有限样本从 中选取 的随机性决定,扩大 通常提高它。

2. 经验风险最小化与泛化

对有限假设空间 ,设 。对任意固定 ,Hoeffding 不等式给出

对 中全部假设取并集界:

令右端等于 ,解得 。于是以至少 的概率,对所有 同时成立

将 与 ERM 的最优性 代入,得到

该界说明泛化间隙随 增大、随 以 减小。界本身通常偏松,但给出了容量与样本量必须匹配的定量依据。对无限假设空间,需用 VC 维、Rademacher 复杂度等容量度量替换 。

3. 归纳偏置

ERM 只规定「在训练集上损失最小」,满足该条件的函数通常不止一个。算法必须额外规定如何在候选函数之间排序,这一规定即归纳偏置。典型例子:

模型归纳偏置失效情形
线性模型输出是输入的仿射函数,特征对输出的影响可加且全局恒定特征与标签存在交互或非线性关系,如异或问题
决策树决策区域由与坐标轴平行的切分组成,区域内输出为常数决策边界是斜线时需要用大量切分逼近,方差高
卷积网络相邻位置的特征相关,同一模式在不同位置以相同权重出现特征无空间或序列结构,权值共享无收益

没有免费午餐定理指出:在目标函数服从均匀先验的设定下,对全部可能的目标函数取平均,任意学习算法的期望泛化性能相同。因此算法性能只能相对于任务分布来比较,归纳偏置与任务结构的匹配程度决定学习效率。

4. 学习范式的区分

范式数据目标典型方法
监督学习成对样本 最小化预测损失 线性回归、逻辑回归、SVM、CNN 分类器
无监督学习仅有 发现密度结构、簇结构或低维结构K-Means、高斯混合模型、PCA
自监督学习仅有 ,标签由数据自身生成最小化代理任务损失掩码语言建模、下一 token 预测、对比学习
强化学习智能体与环境交互产生的轨迹 最大化期望折扣回报 Q-learning、策略梯度、PPO

表中 为策略,即从状态到动作分布的映射; 为折扣因子, 为第 步的奖励, 为回合长度, 与 分别为第 步的状态与动作。

区别的实质在于监督信号的来源与数据分布的性质。自监督学习并非无监督:它构造了显式标签(如被掩码的词、下一个 token),因此优化目标仍是监督式的经验风险,只是标签由数据变换产生,无需人工标注。强化学习的数据由当前策略 生成,样本分布随策略更新而变化,不满足独立同分布假设,且奖励常延迟,因而不能直接套用固定分布下的 ERM 分析。

5. 生成式与判别式模型

生成式模型建模 ,再通过贝叶斯公式得到

判别式模型直接建模 或决策函数 。二者的差异在于是否对特征分布施加约束:

  • 生成式模型需要假设 的形式,假设正确时能以更少样本达到较好效果,并可用于采样、缺失特征填补与异常检测;假设错误时偏差较大。
  • 判别式模型不约束 ,直接优化条件分布,通常在分类边界附近更准确,但无法生成样本,也难以直接处理缺失特征。
  • 两者不是任务分类。生成式模型可以用于分类(如朴素贝叶斯),判别式模型也可以输出概率(如逻辑回归)。

6. 过拟合与欠拟合

以训练误差 与泛化误差 为坐标,两种失败模式的判据如下:

现象训练误差泛化误差常见原因处理
欠拟合高高假设空间容量不足、特征信息不足、优化未收敛增大容量、增加特征、延长训练
过拟合低高容量相对样本量过大、噪声被拟合、选择过程泄漏增加数据、正则化、降低容量、早停

容量可以用有效参数数量、模型深度、多项式阶数等度量。经典理论给出测试误差随容量先降后升的 U 型曲线;在现代过参数化模型中,继续增大容量时测试误差可能再次下降,该现象称为双下降,说明 U 型曲线描述的是特定容量控制方式下的趋势,而非普遍规律。

7. 偏差-方差分解

设真实回归函数为 ,观测标签为

并设噪声 与训练集 独立。记在训练集 上得到的模型为 。在固定测试点 处,对 与 取期望:

步骤 1,展开平方:

由 与 独立、,交叉项为零;。故

步骤 2,在 中插入 :

平方后取期望,交叉项为

因为括号内的期望等于 。于是

步骤 3,合并两项并命名:

三项的含义:

  • 噪声 由数据生成过程决定,与模型无关,是不可约误差。
  • 偏差平方度量模型在全部可能训练集上的平均预测与真实函数的偏离,反映假设空间的表达能力。
  • 方差度量模型预测随训练集变化的波动,反映模型对样本扰动的敏感性。

上式是逐点结论,对测试分布取期望后得到全局分解。容量增大时偏差通常下降、方差上升,测试误差的最小值出现在两者之和最小处。训练误差只反映模型对当前 的拟合程度,不能替代该分解。

8. 训练集、验证集与测试集

  • 训练集:用于拟合参数 。
  • 验证集:用于选择超参数与模型结构。超参数是不由训练过程直接优化、需在训练前设定的量,如多项式阶数、正则化系数 、学习率、网络层数。
  • 测试集:用于在全部选择完成后估计泛化误差,只能使用一次。

若反复用测试集挑选模型,测试误差会成为选择过程的最小值,产生乐观偏差。模型选择流程如下:

flowchart LR
    A[全部数据] --> B[训练集]
    A --> C[验证集]
    A --> D[测试集]
    B --> E[在候选超参数上训练]
    C --> F[比较验证误差]
    F --> G[选定超参数并重新训练]
    D --> H[一次性估计泛化误差]

候选超参数较多或数据较少时,用 折交叉验证代替单次验证集划分:把训练集分为 份,轮流取一份作验证、其余作训练,以 次验证误差的均值作为选择依据,详见 模型评估与交叉验证。若还需要评估「选择流程本身」的泛化性能,应使用嵌套交叉验证,避免外层测试数据参与内层选择。

9. 机器学习项目流程

  1. 定义任务与评价指标:确定 、损失 与业务约束(如误报成本、延迟上限)。指标必须与损失一致,否则优化方向与目标错位。
  2. 收集数据并划分:先划分训练、验证、测试集,再在训练集上计算标准化参数、填补缺失值、选择特征,避免测试信息进入训练。
  3. 建立基线:用均值预测、多数类预测或最简单的线性模型给出基线指标,后续改进须与基线比较。
  4. 迭代特征与模型:在训练集上拟合,在验证集上比较,记录每次改动的验证指标与随机种子。
  5. 误差分析:按类别、特征区间、置信度分层统计错误,判断错误来自偏差(系统性偏离)还是方差(对样本敏感)。
  6. 测试集评估:选择结束后仅评估一次,报告指标及其置信区间。
  7. 部署与监控:监控输入分布漂移与指标下降,分布变化后重新训练或调整阈值。

关键直觉

机制性直觉

学习可视为在假设空间内用有限样本进行的带约束搜索:训练只约束模型在 个点上的平均损失,泛化要求搜索到的函数在分布其余部分同样成立。容量过小,搜索范围覆盖不到真实函数,偏差占主导;容量过大,搜索会利用样本中的噪声,方差占主导。测试误差是噪声、偏差平方与方差之和,模型选择就是在后两项之间取平衡。该表述与形式化的对应关系是:偏差与方差都是对训练集分布取的期望,单个训练集上训练的模型只有一次实现,不能据单次结果直接读出偏差与方差。

例子与代码

先给出可手算的最小二乘例子。设三个样本 、、,用 拟合。均值 、,

故 ,。预测值为 、、,残差为 、、,残差平方和为 ,均方误差为 。该结果可由 线性回归 的正规方程复现。

下面的代码用多项式阶数控制假设空间容量,通过重复抽样估计偏差与方差。环境为 NumPy 2.x。

import numpy as np

rng = np.random.default_rng(0)

def target(x):
    # 真实函数 f(x);它不是任何有限阶多项式,故任何阶数都存在近似误差
    return np.sin(2.0 * np.pi * x)

def sample(n):
    # 抽取一份训练集:x ~ U(0,1),y = f(x) + N(0, 0.2^2)
    x = rng.uniform(0.0, 1.0, n)
    y = target(x) + rng.normal(0.0, 0.2, n)
    return x, y

n_train, n_rep = 50, 200
x_test = np.linspace(0.0, 1.0, 400)
f_test = target(x_test)
# 先映射到 [-1,1] 再构造范德蒙矩阵,降低高阶拟合的数值条件数
t_test = 2.0 * x_test - 1.0

print(f"{'阶数':>4}{'训练MSE':>10}{'测试MSE':>10}{'偏差^2':>10}{'方差':>10}")
for degree in range(1, 12):
    train_mse, test_mse, preds = [], [], []
    for _ in range(n_rep):
        x_tr, y_tr = sample(n_train)
        t_tr = 2.0 * x_tr - 1.0
        coef = np.polyfit(t_tr, y_tr, degree)   # ERM:最小二乘的闭式解
        train_mse.append(np.mean((np.polyval(coef, t_tr) - y_tr) ** 2))
        pred = np.polyval(coef, t_test)         # 同一模型在测试点上的预测
        test_mse.append(np.mean((pred - f_test) ** 2))
        preds.append(pred)
    preds = np.stack(preds)                     # 形状 (n_rep, 400)
    bias2 = np.mean((preds.mean(axis=0) - f_test) ** 2)
    var = np.mean(preds.var(axis=0))
    print(f"{degree:>6}{np.mean(train_mse):>10.4f}"
          f"{np.mean(test_mse):>10.4f}{bias2:>10.4f}{var:>10.4f}")

代码说明:

  • 外层循环遍历阶数 到 ,阶数加一意味着参数个数加一,即扩大假设空间容量。
  • 内层重复 次独立抽样,用 个训练集上的预测均值与方差近似 与 。若只训练一次,只能得到一个实现,无法估计方差。
  • 测试误差对无噪声的 计算,因此不含 ,按第 7 节分解应满足「测试 MSE 偏差 方差」;若改为对含噪 计算,表中每项需再加 。去掉重复抽样改为单次训练,偏差与方差两列失去意义。

运行结果:

阶数训练 MSE测试 MSE偏差方差
10.22250.20930.19790.0114
20.21470.22120.19860.0226
30.03990.00880.00450.0042
40.04010.01020.00460.0056
50.03480.00600.00010.0060
60.03410.01180.00010.0117
70.03320.01190.00000.0119
80.03330.04850.00040.0482
90.03220.17710.00040.1767
100.03100.33660.00170.3349
110.030422.66630.124722.5416

结果分析:

  • 1 阶与 2 阶的偏差平方约 ,方差约 至 ,测试误差由偏差主导,属于欠拟合。
  • 5 阶的测试误差最小(),偏差平方约 ,方差约 ,二者之和最小。
  • 8 阶起方差迅速增大,11 阶测试误差达到 ,训练误差却降到 ,是过拟合的典型形态。
  • 训练 MSE 在高阶时低于噪声方差 ,与理论一致: 个参数的线性最小二乘在训练集上的期望残差为 ,11 阶时 、,给出 。

易错点

常见错误

- 用训练误差衡量泛化性能。训练误差可以通过增加参数持续降低,而测试误差并不随之下降,第 11 阶的结果即为反例。

- 把偏差与方差当作单个模型的属性。二者是对训练集分布取的期望,单个训练得到的模型只对应其中一个实现,需重复抽样或理论假设才能估计。

- 在测试集上反复调超参数。每比较一次,测试集就参与一次选择,最终报告的最小值带有乐观偏差;应使用验证集或交叉验证,测试集只评估一次。

- 认为噪声项 可以通过更换模型消除。它来自数据生成过程,任何以 为输入的模型都无法降低该项。

- 把自监督学习等同于无监督学习。自监督构造了显式标签,其目标函数仍是监督式的经验风险;区别在于标签来源而非有无标签。

- 在划分数据集之前做标准化或特征选择。这样测试集的均值、方差或特征相关性会进入训练过程,属于数据泄漏,验证误差会偏低。

关联笔记

  • 前置:概率与统计 —— 期望、方差、条件分布与最大似然是风险、泛化间隙与偏差-方差分解的语言。
  • 前置:线性代数 —— 假设空间的参数化、设计矩阵与投影是理解 ERM 解的基础。
  • 后续:线性回归 —— 平方损失下 ERM 的第一个闭式可解实例,可验证本篇的形式化与正规方程。
  • 后续:模型评估与交叉验证 —— 把泛化误差的估计操作化,补足本篇只给出原则而未给出抽样方案的部分。
  • 对照:正则化与调参 —— 通过约束假设空间或惩罚参数范数控制方差,是偏差-方差权衡的直接干预手段。

达标检测

  • [ ] 写出学习问题的五元组 ,并说明 ERM 与风险 的关系。
  • [ ] 不查笔记,从 出发完成偏差-方差分解的三步推导,说明交叉项为零所用的两个条件。
  • [ ] 对「例子与代码」中的代码把 n_rep 改为 1、把 n_train 改为 500,解释输出的偏差与方差两列为何不可用或如何变化。
  • [ ] 给定「训练误差 0.01、验证误差 0.35」与「训练误差 0.30、验证误差 0.32」两组结果,判断哪组更可能过拟合、哪组更可能欠拟合,并给出各自的处理方向。
  • [ ] 说明为什么生成式模型可以用于分类,而判别式模型不能直接用于采样。
  • [ ] 指出「在测试集上尝试 20 组超参数并报告最好结果」这一做法的问题,并给出正确流程。

参考来源

  • Hastie, Tibshirani, Friedman, The Elements of Statistical Learning, 2nd ed., 2009, 第 2 章 —— 对应风险、偏差-方差分解、模型复杂度与模型选择。
  • Hastie, Tibshirani, Friedman, The Elements of Statistical Learning, 2nd ed., 2009, 第 7 章 —— 对应泛化误差的估计与交叉验证流程。
  • Goodfellow, Bengio, Courville, Deep Learning, 2016, 第 5 章 —— 对应估计、容量、过拟合与欠拟合、偏差与方差的机器学习基础。
  • d2l.ai《动手学深度学习》,线性回归与模型选择相关章节 —— 对应 ERM 的代码实现与多项式拟合实验。
  • Stanford CS229 课程讲义,监督学习与生成学习部分 —— 对应学习问题形式化与生成式/判别式模型的区分。