---
tags: [AI, 经典机器学习, 模型评估]
阶段: 03-经典机器学习
难度: ★★☆
created: 2026-10-18
related: "[[逻辑回归]], [[机器学习系统设计]], [[异常检测]]"
---

# 模型评估与交叉验证

## 定义

**模型评估**（model evaluation）是用有限样本估计模型在未见数据上的期望损失，并在候选模型、超参数与阈值之间做出可复现选择的过程；**交叉验证**（cross-validation, CV）是把样本反复划分为训练子集与验证子集、以多次验证误差的平均值估计该期望损失的重采样方法。

符号与术语：

- $\mathcal{D}=\{(\mathbf{x}_i,y_i)\}_{i=1}^{n}$：数据集；$\mathbf{x}_i\in\mathbb{R}^d$，$y_i$ 为标签。
- $f$：模型或决策函数；$\hat{y}_i=f(\mathbf{x}_i)$ 为预测。
- $\hat{R}(f)$：经验风险，即训练集上的平均损失；$R(f)=\mathbb{E}_{(\mathbf{x},y)\sim P}[\ell(f(\mathbf{x}),y)]$ 为期望风险，评估的目标是估计后者。
- $\mathrm{TP},\mathrm{FP},\mathrm{TN},\mathrm{FN}$：真正例、假正例、真负例、假负例的计数。
- $\mathbb{1}[\cdot]$：指示函数，条件成立取 1，否则取 0。
- $n_+$、$n_-$：正类与负类样本数，$n=n_++n_-$。
- $\pi=n_+/n$：正类先验比例。
- $K$：交叉验证的折数；$\hat{R}_k$：第 $k$ 折上的验证误差。
- 超参数：不由训练数据直接拟合、需在训练前设定的参数，如正则化系数、树深度、$k$ 近邻的 $k$。

## 为什么重要

训练误差不能用于选择模型。模型容量足够时，训练误差可以被压到接近 0，而测试误差可能很高；用训练误差选模型等价于持续增加容量。评估要回答的问题是：在独立同分布假设或明确的时间/分组结构下，模型对未参与训练的样本的损失期望是多少。

没有可靠的评估协议时，会出现三类可观测的失败：其一，超参数在测试集上反复调整，测试集变成训练集的一部分，报告指标偏乐观；其二，预处理在划分之前完成，测试折的统计量进入训练折，离线指标无法在线上复现；其三，少数几个折的均值被当作确定结论，忽略估计方差，导致模型选择建立在噪声上。

在全书中的位置：本篇是 03 阶段的方法论收口，前置为 [[逻辑回归]] 中的概率输出与阈值、[[概率与统计]] 中的期望与置信区间；后续为 [[树模型与集成学习]] 的超参数调优、[[机器学习系统设计]] 的离线与在线评估、[[异常检测]] 的不平衡指标，以及 09 阶段的 [[模型评估矩阵]]。

## 原理与推导

### 1. 混淆矩阵与四个计数

二分类在阈值 $\tau$ 下的混淆矩阵为

| | 预测为正 | 预测为负 |
|---|---|---|
| 实际为正 | $\mathrm{TP}(\tau)$ | $\mathrm{FN}(\tau)$ |
| 实际为负 | $\mathrm{FP}(\tau)$ | $\mathrm{TN}(\tau)$ |

四个计数满足 $\mathrm{TP}+\mathrm{FN}=n_+$、$\mathrm{FP}+\mathrm{TN}=n_-$、$\mathrm{TP}+\mathrm{FP}+\mathrm{TN}+\mathrm{FN}=n$。由此派生两个归一化比率：

$$
\mathrm{TPR}(\tau)=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FN}}=\frac{\mathrm{TP}}{n_+},
\qquad
\mathrm{FPR}(\tau)=\frac{\mathrm{FP}}{\mathrm{FP}+\mathrm{TN}}=\frac{\mathrm{FP}}{n_-}.
$$

TPR 又称召回率（recall）或敏感度（sensitivity）；$\mathrm{TNR}=1-\mathrm{FPR}$ 又称特异度（specificity）。

### 2. 精确率、召回率与 F 值

$$
P=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FP}},
\qquad
R=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FN}}.
$$

$P$ 的分母是预测为正的样本数，衡量报警中有多少是真的；$R$ 的分母是实际为正的样本数，衡量真实正例被找回多少。二者随阈值反向变化：降低 $\tau$ 使更多样本判正，$R$ 上升、$P$ 通常下降。

$F_1$ 是二者的调和平均：

$$
F_1=\frac{2PR}{P+R}=\frac{2\mathrm{TP}}{2\mathrm{TP}+\mathrm{FP}+\mathrm{FN}}.
$$

调和平均对小值敏感：若 $P=0.9$、$R=0.1$，算术平均为 0.5，$F_1\approx0.18$。更一般地，

$$
F_\beta=\frac{(1+\beta^2)PR}{\beta^2P+R},
$$

$\beta>0$ 为权重参数，$\beta>1$ 时更重视召回，$\beta<1$ 时更重视精确率。$F_\beta$ 把两个指标压成一个标量，代价是隐式规定了二者的交换比例；若业务代价已知，应直接使用代价函数而不是 $F_1$。

### 3. ROC 曲线与 AUC 的概率解释

把样本按分数降序排列，阈值从 $+\infty$ 降到 $-\infty$，每经过一个正样本，TPR 增加 $1/n_+$；每经过一个负样本，FPR 增加 $1/n_-$。以 FPR 为横轴、TPR 为纵轴得到的折线即 ROC 曲线。曲线下的面积

$$
\mathrm{AUC}=\int_0^1\mathrm{TPR}\,d(\mathrm{FPR})
$$

可由梯形法在经验曲线上计算。它等于

$$
\mathrm{AUC}=\frac{1}{n_+n_-}\sum_{i:\,y_i=1}\ \sum_{j:\,y_j=0}\mathbb{1}\left[s_i>s_j\right]
+\frac{1}{2}\mathbb{1}\left[s_i=s_j\right],
$$

即随机抽取一个正样本与一个负样本、正样本分数更高的概率。推导：固定正样本 $i$，它在 ROC 曲线中贡献的纵向增量为 $1/n_+$，横向位置由分数低于 $s_i$ 的负样本比例决定，因此其贡献的面积为 $\frac{1}{n_+}\cdot\frac{\#\{j:s_j<s_i\}}{n_-}$；对全部正样本求和即得上式。

等价的秩公式为

$$
\mathrm{AUC}=\frac{1}{n_+n_-}\left(\sum_{i:\,y_i=1}r_i-\frac{n_+(n_+ +1)}{2}\right),
$$

其中 $r_i$ 为样本 $i$ 在全部样本按分数升序排列中的秩（并列取平均秩）。该式把 AUC 的计算降为排序，复杂度 $O(n\log n)$。

AUC 的性质：对分数的任意严格单调变换不变；不依赖阈值；不反映概率校准（预测概率整体平移或压缩不改变排序）；在 $\pi$ 极小时仍可能很高，因此不能单独作为部署依据。

### 4. PR 曲线与不平衡数据

以召回率为横轴、精确率为纵轴得到 PR 曲线。平均精度定义为

$$
\mathrm{AP}=\sum_{n}\left(R_n-R_{n-1}\right)P_n,
$$

求和按阈值从高到低进行。随机猜测的 PR 曲线水平于 $P=\pi$，故 PR-AUC 的基线是 $\pi$ 而非 0.5。这一点使 PR-AUC 在不同先验的数据集之间不可直接比较，但在同一数据集上比 ROC 更能反映低误报区间的表现：当 $n_-\gg n_+$ 时，FPR 的微小变化对应大量 FP，而精确率会直接反映这些 FP 对报警质量的影响。

实践中的报告口径应明确：固定阈值下的 $P$、$R$、$F_1$ 与混淆矩阵；固定误报率（如 $\mathrm{FPR}=10^{-3}$）下的召回；或报警预算（每日前 $B$ 个）下的精确率。三者回答的问题不同，不能互相替代。

### 5. 多分类的平均方式

设类别集合为 $\{1,\dots,C\}$，第 $c$ 类的 $P_c,R_c,F_c$ 由「第 $c$ 类为正、其余为负」的一对其余划分计算，$n_c$ 为该类样本数。

- 宏平均（macro）：$P_{\mathrm{macro}}=\frac{1}{C}\sum_c P_c$，各类等权，稀有类与常见类权重相同。
- 微平均（micro）：先合并计数再计算，$P_{\mathrm{micro}}=\frac{\sum_c\mathrm{TP}_c}{\sum_c(\mathrm{TP}_c+\mathrm{FP}_c)}$。单标签多分类中 $\sum_c\mathrm{TP}_c$ 等于准确率分子，$\sum_c(\mathrm{TP}_c+\mathrm{FP}_c)=n$，故 $P_{\mathrm{micro}}=R_{\mathrm{micro}}=F_{1,\mathrm{micro}}=\text{准确率}$。
- 加权平均（weighted）：$P_{\mathrm{weighted}}=\sum_c\frac{n_c}{n}P_c$，按类支持度加权，介于宏平均与微平均之间。

宏平均对稀有类的错误敏感，适合各类同等重要的场景；微平均被常见类主导，适合按样本量衡量总体性能的场景。报告中必须写明平均方式，否则同一组预测可以给出差异很大的数值。

### 6. 回归指标

$$
\mathrm{MAE}=\frac{1}{n}\sum_{i=1}^{n}|y_i-\hat{y}_i|,
\qquad
\mathrm{MSE}=\frac{1}{n}\sum_{i=1}^{n}(y_i-\hat{y}_i)^2,
\qquad
\mathrm{RMSE}=\sqrt{\mathrm{MSE}}.
$$

MAE 对大误差线性惩罚，RMSE 对大误差平方惩罚，故 RMSE 对离群样本更敏感；二者量纲与 $y$ 相同。决定系数为

$$
R^2=1-\frac{\mathrm{SSE}}{\mathrm{SST}},\qquad
\mathrm{SSE}=\sum_i(y_i-\hat{y}_i)^2,\qquad
\mathrm{SST}=\sum_i(y_i-\bar{y})^2.
$$

$R^2$ 表示相对「始终预测均值」这一基线的改进比例；在测试集上可以为负，负值说明模型不如均值基线。平均绝对百分比误差为

$$
\mathrm{MAPE}=\frac{100\%}{n}\sum_{i=1}^{n}\left|\frac{y_i-\hat{y}_i}{y_i}\right|,
$$

它在 $y_i=0$ 处无定义，且不对称：低估时单项误差上界为 100%，高估时可以超过 100%，因此高估被更重地惩罚。计数型或接近零的目标不应使用 MAPE。

### 7. 交叉验证协议

**留出法**（hold-out）：一次划分训练集与测试集，常用 7:3 或 8:2。只训练一个模型，计算代价最低；估计方差大，且结果依赖单次划分。数据量充足或需要快速筛选时使用，最终结论应由交叉验证复核。

**K 折交叉验证**：把样本均分为 $K$ 份，轮流以其中一份为验证集、其余 $K-1$ 份训练，得到 $K$ 个验证误差，取平均

$$
\widehat{R}_{\mathrm{CV}}=\frac{1}{K}\sum_{k=1}^{K}\widehat{R}_k.
$$

每个样本恰好被验证一次。$K=5$ 或 $10$ 是常用折中：$K$ 增大使训练集更接近 $n$、偏差减小，但各折训练集高度重叠、验证误差相关性强，均值的方差不一定下降。

**分层 K 折**（stratified K-fold）：在每个折内保持类别比例与全体一致。类别不平衡时必用；否则某些折可能只含极少数正例，$\widehat{R}_k$ 的方差急剧增大。

**留一法**（leave-one-out, LOOCV）：$K=n$，每次只留一个样本验证。训练集大小为 $n-1$，偏差在 $K$ 折中最小。对线性模型，其误差有闭式：

$$
\mathrm{CV}_{(n)}=\frac{1}{n}\sum_{i=1}^{n}\left(\frac{y_i-\hat{y}_i}{1-h_{ii}}\right)^2,
$$

其中 $h_{ii}$ 为帽子矩阵 $\mathbf{H}=\mathbf{X}(\mathbf{X}^\top\mathbf{X})^{-1}\mathbf{X}^\top$ 的第 $i$ 个对角元（杠杆值）。LOOCV 的缺点是 $n$ 个训练集几乎相同，验证误差高度相关，均值的方差大；同时计算 $n$ 个模型，$n$ 大时不可行。

**时间序列切分**：样本存在时间顺序时，随机打乱会把未来信息带入训练。应使用扩张窗口或滑动窗口，并设置间隔（gap）：若标签由未来 $h$ 步决定，则训练集末端与验证集起点之间至少空出 $h$ 步，否则标签窗口重叠构成泄漏。

**分组切分**（group K-fold）：同一用户、同一设备、同一患者的多个样本必须落在同一折，否则模型可通过记忆实体身份在验证集上取得虚高分数。

### 8. 偏差-方差与 CV 的关系

设 $K$ 折中每次训练使用 $m=\frac{K-1}{K}n$ 个样本。交叉验证估计的是「训练规模为 $m$ 的模型的期望误差」，而最终模型使用全部 $n$ 个样本训练，因此 $\widehat{R}_{\mathrm{CV}}$ 对最终模型略有悲观偏差；当学习曲线在 $n$ 附近仍陡峭时，该偏差不可忽略。

另一方面，$\widehat{R}_{\mathrm{CV}}$ 的方差来自两方面：样本划分的随机性，以及各折训练集重叠导致的误差相关性。$K$ 小则训练集差异大、相关性低，但每个模型见到的数据少、偏差大；$K$ 大则偏差小、相关性高。重复 $R$ 次 $K$ 折交叉验证并对 $RK$ 个结果取平均，可降低划分随机性带来的方差，但不消除相关性带来的方差。

### 9. 超参数搜索

**网格搜索**（grid search）：在给定集合的笛卡尔积上穷举，复杂度为 $O\left(\prod_{j=1}^{p}|\Theta_j|\right)$，$p$ 为超参数个数。它保证覆盖每个网格点，但代价随 $p$ 指数增长，且大部分计算花在不敏感的超参数上。

**随机搜索**（random search）：从每个超参数的分布中独立采样 $T$ 组配置。当只有少数超参数真正影响性能时，$T$ 次采样在每个重要维度上覆盖的取值数量多于同样预算的网格搜索。实践中先对每个超参数做粗粒度随机搜索确定量级，再在窄区间内细化。

**贝叶斯优化**（Bayesian optimization）：用代理模型（高斯过程或树状 Parzen 估计）拟合「超参数到验证误差」的映射，再以采集函数（期望改进 EI、置信上界 UCB）选择下一组配置。它利用历史试验，适合单次训练代价高、试验预算小的场景；代理模型的拟合本身有开销，且高维超参数空间中收益下降。

三种方法都必须在内层验证集上选择超参数，外层测试集只用于最终报告。

### 10. 数据泄漏与嵌套 CV

**数据泄漏**指训练阶段以任何形式接触了验证或测试阶段的信息，使离线指标高于部署表现。常见路径：

1. 预处理在划分之前完成：标准化、缺失值填补、PCA、特征选择、目标编码都使用了全体样本的统计量。修正：把这些步骤放入 `Pipeline`，只在训练折上 `fit`。
2. 重采样在划分之前完成：先对全量数据做 SMOTE 或欠采样，合成样本可能同时出现在训练折与验证折。
3. 时间泄漏：随机划分时间序列，或用未来窗口聚合的特征预测过去。
4. 分组泄漏：同一实体的样本跨折分布。
5. 测试集复用：用测试集反复选择模型或阈值，测试集实际参与了模型选择。

**嵌套交叉验证**（nested CV）用两层循环分离调参与评估：

```text
for 外层第 k 折 (训练集 D_k, 测试集 T_k):
    在外层训练集 D_k 内做内层 K 折交叉验证
    用内层平均误差选择超参数 λ*
    用 λ* 在 D_k 上重新训练
    在 T_k 上计算误差 e_k
报告 mean(e_k) 与标准差
```

外层估计的是「包含超参数选择流程」的完整学习算法的泛化误差，因此无选择偏差。代价是 $K_{\mathrm{out}}\times(K_{\mathrm{in}}+1)$ 次训练。若只做单层 CV 并在同一批折上选择超参数、报告最小误差，报告值会偏乐观，模型越多、候选超参数越多，乐观程度越大。

### 11. 统计显著性与置信区间

比较两个模型 $A$、$B$ 时，对每折计算配对差 $d_k=e_{A,k}-e_{B,k}$，$k=1,\dots,K$。配对 $t$ 检验统计量为

$$
t=\frac{\bar{d}}{s_d/\sqrt{K}},\qquad
\bar{d}=\frac{1}{K}\sum_{k=1}^{K}d_k,\qquad
s_d^2=\frac{1}{K-1}\sum_{k=1}^{K}(d_k-\bar{d})^2,
$$

在 $H_0:\mathbb{E}[d]=0$ 下近似服从自由度 $K-1$ 的 $t$ 分布。均值差的 $1-\alpha$ 置信区间为

$$
\bar{d}\pm t_{1-\alpha/2,\,K-1}\frac{s_d}{\sqrt{K}}.
$$

该检验假设 $d_k$ 独立且近似正态。交叉验证的各折训练集高度重叠，$d_k$ 正相关，独立性假设被违反，$s_d$ 低估真实标准误，$p$ 值偏小（检验偏激进）。缓解方式：使用校正重采样 $t$ 检验、重复 $5\times2$ 交叉验证，或对样本做 bootstrap 并重跑完整调参流程。无论采用哪种检验，都应同时报告效应量（均值差及其区间），仅报告 $p<0.05$ 不足以支持模型选择。

## 关键直觉

> [!tip] 机制性直觉
> 评估是在「训练集规模小于 $n$」的条件下反复测量损失，再把多次测量平均；交叉验证的偏差来自训练集规模，方差来自划分随机性与折间相关性。它与严格定义的对应关系是：$\widehat{R}_{\mathrm{CV}}$ 是期望风险 $R(f_m)$ 在训练规模 $m=\frac{K-1}{K}n$ 处的估计，而不是 $R(f_n)$ 的估计；嵌套 CV 的作用是把超参数选择这一步也纳入被评估的学习算法。

## 例子与代码

### 数值例子：20 个样本的混淆矩阵与 ROC

取 6 个正例、14 个负例，分数如下（正例在前）：

$$
s=(0.95,0.88,0.72,0.65,0.55,0.40,\ 0.90,0.80,0.70,0.60,0.50,0.45,0.35,0.30,0.28,0.25,0.22,0.20,0.15,0.10).
$$

取阈值 $\tau=0.5$：预测为正的样本为分数不小于 0.5 的 10 个，其中正例 5 个、负例 5 个，故 $\mathrm{TP}=5$、$\mathrm{FP}=5$、$\mathrm{FN}=1$、$\mathrm{TN}=9$。于是 $P=5/10=0.5$，$R=5/6\approx0.8333$，$F_1=2\cdot0.5\cdot0.8333/(1.3333)=0.625$。

正例的秩（升序）为 $9,12,14,16,18,20$，秩和 $89$，故

$$
\mathrm{AUC}=\frac{89-\frac{6\cdot7}{2}}{6\cdot14}=\frac{68}{84}\approx0.8095.
$$

### 手写混淆矩阵、ROC 与 sklearn 对照

```python
import numpy as np
from sklearn.metrics import roc_auc_score

y = np.array([1] * 6 + [0] * 14)
s = np.array([.95, .88, .72, .65, .55, .40,
              .90, .80, .70, .60, .50, .45, .35, .30,
              .28, .25, .22, .20, .15, .10])

def confusion(y, s, t):
    pred = (s >= t).astype(int)                 # 阈值比较统一用 >=
    tp = int(((pred == 1) & (y == 1)).sum())
    fp = int(((pred == 1) & (y == 0)).sum())
    tn = int(((pred == 0) & (y == 0)).sum())
    fn = int(((pred == 0) & (y == 1)).sum())
    return tp, fp, tn, fn

def roc_points(y, s):
    ths = np.r_[np.inf, np.sort(np.unique(s))[::-1], -np.inf]
    tpr, fpr = [], []
    for t in ths:
        tp, fp, tn, fn = confusion(y, s, t)
        tpr.append(tp / (tp + fn))
        fpr.append(fp / (fp + tn))
    return np.array(tpr), np.array(fpr)

tpr, fpr = roc_points(y, s)
auc_trap = np.sum(np.diff(fpr) * (tpr[1:] + tpr[:-1]) / 2)

order = np.argsort(s)
ranks = np.empty(len(s), dtype=float)
ranks[order] = np.arange(1, len(s) + 1)
n_pos, n_neg = int(y.sum()), int((y == 0).sum())
auc_rank = (ranks[y == 1].sum() - n_pos * (n_pos + 1) / 2) / (n_pos * n_neg)

print("梯形法 AUC:", round(float(auc_trap), 4))
print("秩公式 AUC:", round(float(auc_rank), 4))
print("sklearn AUC:", round(float(roc_auc_score(y, s)), 4))
print("正例秩:", ranks[y == 1])

for t in [0.8, 0.65, 0.5]:
    tp, fp, tn, fn = confusion(y, s, t)
    p = tp / (tp + fp); r = tp / (tp + fn)
    print(f"tau={t}: TP={tp} FP={fp} TN={tn} FN={fn} "
          f"P={p:.4f} R={r:.4f} F1={2*p*r/(p+r):.4f}")
```

预期输出：

```text
梯形法 AUC: 0.8095
秩公式 AUC: 0.8095
sklearn AUC: 0.8095
正例秩: [20. 18. 16. 14. 12.  9.]
tau=0.8: TP=2 FP=2 TN=12 FN=4 P=0.5000 R=0.3333 F1=0.4000
tau=0.65: TP=4 FP=3 TN=11 FN=2 P=0.5714 R=0.6667 F1=0.6154
tau=0.5: TP=5 FP=5 TN=9 FN=1 P=0.5000 R=0.8333 F1=0.6250
```

说明：

1. 三种 AUC 计算一致，验证了第 3 节的面积公式与秩公式等价。
2. 阈值从 0.8 降到 0.5，召回从 0.3333 升到 0.8333，精确率在 0.5 附近波动；$F_1$ 的最优点不一定对应 $P$ 或 $R$ 的最优点，必须按业务目标选择。
3. 20 个样本的 AUC 标准误约为 $0.12$，此处数值只用于演示计算过程，不足以支持模型间的显著性结论。

### 多分类平均方式的计算

以 $\hat{y}=(0,1,1,2,2,2,1)$ 对 $y=(0,0,1,1,2,2,2)$ 预测：各类精确率为 $(1,\ 1/3,\ 2/3)$，各类召回率为 $(1/2,\ 1/2,\ 2/3)$，支持度为 $(2,2,3)$。宏平均 $P=0.6667$、$R=0.5556$、$F_1=0.5778$；微平均 $P=R=F_1=4/7\approx0.5714$；加权平均 $P=0.6667$、$R=0.5714$、$F_1=0.5905$。三个值回答不同的问题：宏平均给三个类相同权重，微平均等价于准确率，加权平均按支持度 $2:2:3$ 加权。

### 回归指标计算

对 $y=(3,-0.5,2,7)$、$\hat{y}=(2.5,0,2,8)$：绝对误差为 $0.5,0.5,0,1$，故 $\mathrm{MAE}=0.5$；平方误差为 $0.25,0.25,0,1$，$\mathrm{MSE}=0.375$，$\mathrm{RMSE}\approx0.6124$。$\bar{y}=2.875$，$\mathrm{SST}=29.1875$，$\mathrm{SSE}=1.5$，故 $R^2=1-1.5/29.1875\approx0.9486$。

## 易错点

> [!warning] 常见错误
> - 在不平衡数据上以准确率作为主指标。全部预测为负即可取得 $1-\pi$ 的准确率；应报告 PR-AUC、固定误报率下的召回与混淆矩阵。
> - 把 AUC 当作概率校准质量。AUC 只依赖排序，对分数做任意单调变换不变；需要概率解释时应看 Brier 分数或校准曲线。
> - 在划分之前做标准化、特征选择或重采样，导致验证折信息进入训练折。所有依赖数据的步骤都应在折内 `fit`。
> - 对时间序列随机划分，或忽略标签窗口造成的重叠。应使用带 gap 的时间切分，并保证特征只使用预测时点之前的信息。
> - 用同一层交叉验证既选超参数又报告性能，或反复用测试集挑模型。前者偏乐观，后者使测试集失去独立性；应使用嵌套 CV 或独立留出集。
> - 对 $K$ 折结果直接做配对 $t$ 检验并解读 $p$ 值。折间相关性使标准误被低估，检验偏激进；应使用校正方法并报告效应量区间。

## 关联笔记

- 前置：[[概率与统计]] —— 期望风险、置信区间与假设检验是评估推断的语言；不理解抽样分布就无法解释 CV 均值的波动。
- 前置：[[逻辑回归]] —— 概率输出、阈值与对数损失给出本篇混淆矩阵与 ROC 的具体来源。
- 后续：[[树模型与集成学习]] —— 超参数数量多，网格/随机/贝叶斯搜索与嵌套 CV 在该篇直接使用。
- 后续：[[机器学习系统设计]] —— 离线评估如何映射到在线 A/B、监控指标与再训练触发条件。
- 对照：[[异常检测]] —— 同一套 AUROC、PR-AUC 与代价阈值，在极低先验与异质异常下有额外的解释限制。

## 达标检测

- [ ] 能由 TP、FP、TN、FN 推出 $P$、$R$、$F_1$、TPR、FPR，并说明 $F_1$ 为什么使用调和平均。
- [ ] 能独立完成本篇 20 样本例子的 AUC 计算（面积法与秩公式各一遍），并说明并列分数如何处理。
- [ ] 能写出嵌套 CV 的伪代码，指出单层 CV 调参后报告最小误差为何偏乐观。
- [ ] 能构造一个数据泄漏例子（标准化、目标编码或时间切分），说明泄漏发生的具体行与修正方式。
- [ ] 能对给定的 5 折误差做配对 $t$ 检验，计算均值差、标准误、置信区间，并说明该检验偏激进的原因。
- [ ] 能解释为什么 PR-AUC 的随机基线是 $\pi$，而 AUROC 的随机基线是 0.5。

## 参考来源

- Hastie, Tibshirani, Friedman, *The Elements of Statistical Learning*, 2nd ed., 2009, 第 7 章 —— 对应本篇模型评估、交叉验证、偏差-方差与模型选择的理论框架。
- d2l.ai《动手学深度学习》，模型选择、欠拟合与过拟合相关章节 —— 对应本篇训练/验证划分与 K 折交叉验证的实现口径。
- scikit-learn 用户指南，*Model selection and evaluation* 与 *Metrics and scoring* —— 对应本篇 `roc_curve`、`roc_auc_score`、`precision_recall_fscore_support` 的接口语义与平均方式定义。
- scikit-learn API 文档，`sklearn.model_selection` 中的 `KFold`、`StratifiedKFold`、`TimeSeriesSplit`、`cross_val_score` 条目 —— 对应本篇各切分协议与嵌套 CV 的实现。
