w wyl123ly 的博客
MD

模型评估与交叉验证

22 KB 2026.10.18 原文件

模型评估与交叉验证

定义

模型评估(model evaluation)是用有限样本估计模型在未见数据上的期望损失,并在候选模型、超参数与阈值之间做出可复现选择的过程;交叉验证(cross-validation, CV)是把样本反复划分为训练子集与验证子集、以多次验证误差的平均值估计该期望损失的重采样方法。

符号与术语:

  • :数据集;, 为标签。
  • :模型或决策函数; 为预测。
  • :经验风险,即训练集上的平均损失; 为期望风险,评估的目标是估计后者。
  • :真正例、假正例、真负例、假负例的计数。
  • :指示函数,条件成立取 1,否则取 0。
  • 、:正类与负类样本数,。
  • :正类先验比例。
  • :交叉验证的折数;:第 折上的验证误差。
  • 超参数:不由训练数据直接拟合、需在训练前设定的参数,如正则化系数、树深度、 近邻的 。

为什么重要

训练误差不能用于选择模型。模型容量足够时,训练误差可以被压到接近 0,而测试误差可能很高;用训练误差选模型等价于持续增加容量。评估要回答的问题是:在独立同分布假设或明确的时间/分组结构下,模型对未参与训练的样本的损失期望是多少。

没有可靠的评估协议时,会出现三类可观测的失败:其一,超参数在测试集上反复调整,测试集变成训练集的一部分,报告指标偏乐观;其二,预处理在划分之前完成,测试折的统计量进入训练折,离线指标无法在线上复现;其三,少数几个折的均值被当作确定结论,忽略估计方差,导致模型选择建立在噪声上。

在全书中的位置:本篇是 03 阶段的方法论收口,前置为 逻辑回归 中的概率输出与阈值、概率与统计 中的期望与置信区间;后续为 树模型与集成学习 的超参数调优、机器学习系统设计 的离线与在线评估、异常检测 的不平衡指标,以及 09 阶段的 模型评估矩阵。

原理与推导

1. 混淆矩阵与四个计数

二分类在阈值 下的混淆矩阵为

预测为正预测为负
实际为正
实际为负

四个计数满足 、、。由此派生两个归一化比率:

TPR 又称召回率(recall)或敏感度(sensitivity); 又称特异度(specificity)。

2. 精确率、召回率与 F 值

的分母是预测为正的样本数,衡量报警中有多少是真的; 的分母是实际为正的样本数,衡量真实正例被找回多少。二者随阈值反向变化:降低 使更多样本判正, 上升、 通常下降。

是二者的调和平均:

调和平均对小值敏感:若 、,算术平均为 0.5,。更一般地,

为权重参数, 时更重视召回, 时更重视精确率。 把两个指标压成一个标量,代价是隐式规定了二者的交换比例;若业务代价已知,应直接使用代价函数而不是 。

3. ROC 曲线与 AUC 的概率解释

把样本按分数降序排列,阈值从 降到 ,每经过一个正样本,TPR 增加 ;每经过一个负样本,FPR 增加 。以 FPR 为横轴、TPR 为纵轴得到的折线即 ROC 曲线。曲线下的面积

可由梯形法在经验曲线上计算。它等于

即随机抽取一个正样本与一个负样本、正样本分数更高的概率。推导:固定正样本 ,它在 ROC 曲线中贡献的纵向增量为 ,横向位置由分数低于 的负样本比例决定,因此其贡献的面积为 ;对全部正样本求和即得上式。

等价的秩公式为

其中 为样本 在全部样本按分数升序排列中的秩(并列取平均秩)。该式把 AUC 的计算降为排序,复杂度 。

AUC 的性质:对分数的任意严格单调变换不变;不依赖阈值;不反映概率校准(预测概率整体平移或压缩不改变排序);在 极小时仍可能很高,因此不能单独作为部署依据。

4. PR 曲线与不平衡数据

以召回率为横轴、精确率为纵轴得到 PR 曲线。平均精度定义为

求和按阈值从高到低进行。随机猜测的 PR 曲线水平于 ,故 PR-AUC 的基线是 而非 0.5。这一点使 PR-AUC 在不同先验的数据集之间不可直接比较,但在同一数据集上比 ROC 更能反映低误报区间的表现:当 时,FPR 的微小变化对应大量 FP,而精确率会直接反映这些 FP 对报警质量的影响。

实践中的报告口径应明确:固定阈值下的 、、 与混淆矩阵;固定误报率(如 )下的召回;或报警预算(每日前 个)下的精确率。三者回答的问题不同,不能互相替代。

5. 多分类的平均方式

设类别集合为 ,第 类的 由「第 类为正、其余为负」的一对其余划分计算, 为该类样本数。

  • 宏平均(macro):,各类等权,稀有类与常见类权重相同。
  • 微平均(micro):先合并计数再计算,。单标签多分类中 等于准确率分子,,故 。
  • 加权平均(weighted):,按类支持度加权,介于宏平均与微平均之间。

宏平均对稀有类的错误敏感,适合各类同等重要的场景;微平均被常见类主导,适合按样本量衡量总体性能的场景。报告中必须写明平均方式,否则同一组预测可以给出差异很大的数值。

6. 回归指标

MAE 对大误差线性惩罚,RMSE 对大误差平方惩罚,故 RMSE 对离群样本更敏感;二者量纲与 相同。决定系数为

表示相对「始终预测均值」这一基线的改进比例;在测试集上可以为负,负值说明模型不如均值基线。平均绝对百分比误差为

它在 处无定义,且不对称:低估时单项误差上界为 100%,高估时可以超过 100%,因此高估被更重地惩罚。计数型或接近零的目标不应使用 MAPE。

7. 交叉验证协议

留出法(hold-out):一次划分训练集与测试集,常用 7:3 或 8:2。只训练一个模型,计算代价最低;估计方差大,且结果依赖单次划分。数据量充足或需要快速筛选时使用,最终结论应由交叉验证复核。

K 折交叉验证:把样本均分为 份,轮流以其中一份为验证集、其余 份训练,得到 个验证误差,取平均

每个样本恰好被验证一次。 或 是常用折中: 增大使训练集更接近 、偏差减小,但各折训练集高度重叠、验证误差相关性强,均值的方差不一定下降。

分层 K 折(stratified K-fold):在每个折内保持类别比例与全体一致。类别不平衡时必用;否则某些折可能只含极少数正例, 的方差急剧增大。

留一法(leave-one-out, LOOCV):,每次只留一个样本验证。训练集大小为 ,偏差在 折中最小。对线性模型,其误差有闭式:

其中 为帽子矩阵 的第 个对角元(杠杆值)。LOOCV 的缺点是 个训练集几乎相同,验证误差高度相关,均值的方差大;同时计算 个模型, 大时不可行。

时间序列切分:样本存在时间顺序时,随机打乱会把未来信息带入训练。应使用扩张窗口或滑动窗口,并设置间隔(gap):若标签由未来 步决定,则训练集末端与验证集起点之间至少空出 步,否则标签窗口重叠构成泄漏。

分组切分(group K-fold):同一用户、同一设备、同一患者的多个样本必须落在同一折,否则模型可通过记忆实体身份在验证集上取得虚高分数。

8. 偏差-方差与 CV 的关系

设 折中每次训练使用 个样本。交叉验证估计的是「训练规模为 的模型的期望误差」,而最终模型使用全部 个样本训练,因此 对最终模型略有悲观偏差;当学习曲线在 附近仍陡峭时,该偏差不可忽略。

另一方面, 的方差来自两方面:样本划分的随机性,以及各折训练集重叠导致的误差相关性。 小则训练集差异大、相关性低,但每个模型见到的数据少、偏差大; 大则偏差小、相关性高。重复 次 折交叉验证并对 个结果取平均,可降低划分随机性带来的方差,但不消除相关性带来的方差。

9. 超参数搜索

网格搜索(grid search):在给定集合的笛卡尔积上穷举,复杂度为 , 为超参数个数。它保证覆盖每个网格点,但代价随 指数增长,且大部分计算花在不敏感的超参数上。

随机搜索(random search):从每个超参数的分布中独立采样 组配置。当只有少数超参数真正影响性能时, 次采样在每个重要维度上覆盖的取值数量多于同样预算的网格搜索。实践中先对每个超参数做粗粒度随机搜索确定量级,再在窄区间内细化。

贝叶斯优化(Bayesian optimization):用代理模型(高斯过程或树状 Parzen 估计)拟合「超参数到验证误差」的映射,再以采集函数(期望改进 EI、置信上界 UCB)选择下一组配置。它利用历史试验,适合单次训练代价高、试验预算小的场景;代理模型的拟合本身有开销,且高维超参数空间中收益下降。

三种方法都必须在内层验证集上选择超参数,外层测试集只用于最终报告。

10. 数据泄漏与嵌套 CV

数据泄漏指训练阶段以任何形式接触了验证或测试阶段的信息,使离线指标高于部署表现。常见路径:

  1. 预处理在划分之前完成:标准化、缺失值填补、PCA、特征选择、目标编码都使用了全体样本的统计量。修正:把这些步骤放入 Pipeline,只在训练折上 fit。
  2. 重采样在划分之前完成:先对全量数据做 SMOTE 或欠采样,合成样本可能同时出现在训练折与验证折。
  3. 时间泄漏:随机划分时间序列,或用未来窗口聚合的特征预测过去。
  4. 分组泄漏:同一实体的样本跨折分布。
  5. 测试集复用:用测试集反复选择模型或阈值,测试集实际参与了模型选择。

嵌套交叉验证(nested CV)用两层循环分离调参与评估:

for 外层第 k 折 (训练集 D_k, 测试集 T_k):
    在外层训练集 D_k 内做内层 K 折交叉验证
    用内层平均误差选择超参数 λ*
    用 λ* 在 D_k 上重新训练
    在 T_k 上计算误差 e_k
报告 mean(e_k) 与标准差

外层估计的是「包含超参数选择流程」的完整学习算法的泛化误差,因此无选择偏差。代价是 次训练。若只做单层 CV 并在同一批折上选择超参数、报告最小误差,报告值会偏乐观,模型越多、候选超参数越多,乐观程度越大。

11. 统计显著性与置信区间

比较两个模型 、 时,对每折计算配对差 ,。配对 检验统计量为

在 下近似服从自由度 的 分布。均值差的 置信区间为

该检验假设 独立且近似正态。交叉验证的各折训练集高度重叠, 正相关,独立性假设被违反, 低估真实标准误, 值偏小(检验偏激进)。缓解方式:使用校正重采样 检验、重复 交叉验证,或对样本做 bootstrap 并重跑完整调参流程。无论采用哪种检验,都应同时报告效应量(均值差及其区间),仅报告 不足以支持模型选择。

关键直觉

机制性直觉

评估是在「训练集规模小于 」的条件下反复测量损失,再把多次测量平均;交叉验证的偏差来自训练集规模,方差来自划分随机性与折间相关性。它与严格定义的对应关系是: 是期望风险 在训练规模 处的估计,而不是 的估计;嵌套 CV 的作用是把超参数选择这一步也纳入被评估的学习算法。

例子与代码

数值例子:20 个样本的混淆矩阵与 ROC

取 6 个正例、14 个负例,分数如下(正例在前):

取阈值 :预测为正的样本为分数不小于 0.5 的 10 个,其中正例 5 个、负例 5 个,故 、、、。于是 ,,。

正例的秩(升序)为 ,秩和 ,故

手写混淆矩阵、ROC 与 sklearn 对照

import numpy as np
from sklearn.metrics import roc_auc_score

y = np.array([1] * 6 + [0] * 14)
s = np.array([.95, .88, .72, .65, .55, .40,
              .90, .80, .70, .60, .50, .45, .35, .30,
              .28, .25, .22, .20, .15, .10])

def confusion(y, s, t):
    pred = (s >= t).astype(int)                 # 阈值比较统一用 >=
    tp = int(((pred == 1) & (y == 1)).sum())
    fp = int(((pred == 1) & (y == 0)).sum())
    tn = int(((pred == 0) & (y == 0)).sum())
    fn = int(((pred == 0) & (y == 1)).sum())
    return tp, fp, tn, fn

def roc_points(y, s):
    ths = np.r_[np.inf, np.sort(np.unique(s))[::-1], -np.inf]
    tpr, fpr = [], []
    for t in ths:
        tp, fp, tn, fn = confusion(y, s, t)
        tpr.append(tp / (tp + fn))
        fpr.append(fp / (fp + tn))
    return np.array(tpr), np.array(fpr)

tpr, fpr = roc_points(y, s)
auc_trap = np.sum(np.diff(fpr) * (tpr[1:] + tpr[:-1]) / 2)

order = np.argsort(s)
ranks = np.empty(len(s), dtype=float)
ranks[order] = np.arange(1, len(s) + 1)
n_pos, n_neg = int(y.sum()), int((y == 0).sum())
auc_rank = (ranks[y == 1].sum() - n_pos * (n_pos + 1) / 2) / (n_pos * n_neg)

print("梯形法 AUC:", round(float(auc_trap), 4))
print("秩公式 AUC:", round(float(auc_rank), 4))
print("sklearn AUC:", round(float(roc_auc_score(y, s)), 4))
print("正例秩:", ranks[y == 1])

for t in [0.8, 0.65, 0.5]:
    tp, fp, tn, fn = confusion(y, s, t)
    p = tp / (tp + fp); r = tp / (tp + fn)
    print(f"tau={t}: TP={tp} FP={fp} TN={tn} FN={fn} "
          f"P={p:.4f} R={r:.4f} F1={2*p*r/(p+r):.4f}")

预期输出:

梯形法 AUC: 0.8095
秩公式 AUC: 0.8095
sklearn AUC: 0.8095
正例秩: [20. 18. 16. 14. 12.  9.]
tau=0.8: TP=2 FP=2 TN=12 FN=4 P=0.5000 R=0.3333 F1=0.4000
tau=0.65: TP=4 FP=3 TN=11 FN=2 P=0.5714 R=0.6667 F1=0.6154
tau=0.5: TP=5 FP=5 TN=9 FN=1 P=0.5000 R=0.8333 F1=0.6250

说明:

  1. 三种 AUC 计算一致,验证了第 3 节的面积公式与秩公式等价。
  2. 阈值从 0.8 降到 0.5,召回从 0.3333 升到 0.8333,精确率在 0.5 附近波动; 的最优点不一定对应 或 的最优点,必须按业务目标选择。
  3. 20 个样本的 AUC 标准误约为 ,此处数值只用于演示计算过程,不足以支持模型间的显著性结论。

多分类平均方式的计算

以 对 预测:各类精确率为 ,各类召回率为 ,支持度为 。宏平均 、、;微平均 ;加权平均 、、。三个值回答不同的问题:宏平均给三个类相同权重,微平均等价于准确率,加权平均按支持度 加权。

回归指标计算

对 、:绝对误差为 ,故 ;平方误差为 ,,。,,,故 。

易错点

常见错误

- 在不平衡数据上以准确率作为主指标。全部预测为负即可取得 的准确率;应报告 PR-AUC、固定误报率下的召回与混淆矩阵。

- 把 AUC 当作概率校准质量。AUC 只依赖排序,对分数做任意单调变换不变;需要概率解释时应看 Brier 分数或校准曲线。

- 在划分之前做标准化、特征选择或重采样,导致验证折信息进入训练折。所有依赖数据的步骤都应在折内 fit。

- 对时间序列随机划分,或忽略标签窗口造成的重叠。应使用带 gap 的时间切分,并保证特征只使用预测时点之前的信息。

- 用同一层交叉验证既选超参数又报告性能,或反复用测试集挑模型。前者偏乐观,后者使测试集失去独立性;应使用嵌套 CV 或独立留出集。

- 对 折结果直接做配对 检验并解读 值。折间相关性使标准误被低估,检验偏激进;应使用校正方法并报告效应量区间。

关联笔记

  • 前置:概率与统计 —— 期望风险、置信区间与假设检验是评估推断的语言;不理解抽样分布就无法解释 CV 均值的波动。
  • 前置:逻辑回归 —— 概率输出、阈值与对数损失给出本篇混淆矩阵与 ROC 的具体来源。
  • 后续:树模型与集成学习 —— 超参数数量多,网格/随机/贝叶斯搜索与嵌套 CV 在该篇直接使用。
  • 后续:机器学习系统设计 —— 离线评估如何映射到在线 A/B、监控指标与再训练触发条件。
  • 对照:异常检测 —— 同一套 AUROC、PR-AUC 与代价阈值,在极低先验与异质异常下有额外的解释限制。

达标检测

  • [ ] 能由 TP、FP、TN、FN 推出 、、、TPR、FPR,并说明 为什么使用调和平均。
  • [ ] 能独立完成本篇 20 样本例子的 AUC 计算(面积法与秩公式各一遍),并说明并列分数如何处理。
  • [ ] 能写出嵌套 CV 的伪代码,指出单层 CV 调参后报告最小误差为何偏乐观。
  • [ ] 能构造一个数据泄漏例子(标准化、目标编码或时间切分),说明泄漏发生的具体行与修正方式。
  • [ ] 能对给定的 5 折误差做配对 检验,计算均值差、标准误、置信区间,并说明该检验偏激进的原因。
  • [ ] 能解释为什么 PR-AUC 的随机基线是 ,而 AUROC 的随机基线是 0.5。

参考来源

  • Hastie, Tibshirani, Friedman, The Elements of Statistical Learning, 2nd ed., 2009, 第 7 章 —— 对应本篇模型评估、交叉验证、偏差-方差与模型选择的理论框架。
  • d2l.ai《动手学深度学习》,模型选择、欠拟合与过拟合相关章节 —— 对应本篇训练/验证划分与 K 折交叉验证的实现口径。
  • scikit-learn 用户指南,Model selection and evaluation 与 Metrics and scoring —— 对应本篇 roc_curve、roc_auc_score、precision_recall_fscore_support 的接口语义与平均方式定义。
  • scikit-learn API 文档,sklearn.model_selection 中的 KFold、StratifiedKFold、TimeSeriesSplit、cross_val_score 条目 —— 对应本篇各切分协议与嵌套 CV 的实现。