---
tags: [AI, 评估, benchmark]
阶段: 09-评估安全与前沿
难度: ★★★
created: 2026-10-18
related: "[[模型评估与交叉验证]], [[幻觉与缓解]], [[越狱与安全对齐]], [[RAG评估]]"
---

# 模型评估矩阵

## 定义

**模型评估矩阵**（evaluation matrix）是一种以「评估维度、基准类型、评分方式、统计口径」为坐标组织评测证据的结构化表格：每个单元格给出该维度下某项能力的估计量、样本量与不确定性，使不同模型、不同版本之间的比较具有统一口径。

其中出现的术语与符号定义如下。

- **评估维度**（evaluation dimension）：对模型行为的一类需求。本篇取能力、可靠性、安全性、效率四类，四者的指标不可互相替代。
- **能力**（capability）：模型在给定任务分布上产出符合判定标准输出的概率，记作 $p$，用准确率、pass@k、$F_1$ 等统计量估计。
- **可靠性**（reliability）：同一输入分布下输出质量的稳定性与自洽性，包括校准误差、多次运行方差、对提示改写的敏感度。
- **安全性**（safety）：模型在对抗性输入下拒绝有害请求、同时不拒绝正常请求的能力，用攻击成功率与误拒率度量。
- **效率**（efficiency）：完成单位任务所需的时间与费用，常用首 token 延迟、吞吐（token/s）、每百万 token 价格。
- **基准**（benchmark）：由固定输入集合、固定评分规则、固定聚合方式三者共同构成的评测协议。缺少任一要素，分数不可复现。
- **数据污染**（contamination）：基准的输入或参考答案出现在模型预训练语料中，使测得的分数不再反映对未见数据的泛化能力。
- **提示敏感性**（prompt sensitivity）：同一模型在同一测试集上，因提示模板、示例选择或答案格式变化而产生的分数波动。
- **评分器**（grader）：把模型输出映射为分数的程序或人，分为精确匹配、规则匹配、模型评分、人工评分四类。
- $\hat p$：准确率的点估计，$\hat p = \frac{1}{n}\sum_{i=1}^{n}\mathbb{1}[y_i=\hat y_i]$，其中 $\mathbb{1}[\cdot]$ 为指示函数，条件成立取 1，否则取 0。
- $n$：参与评分的样本数；$k$：pass@k 中每题抽取的样本数；$c$：$n$ 个样本中通过判定的样本数。
- $\binom{n}{k}$：组合数，表示从 $n$ 个元素中取 $k$ 个的方案数，$\binom{n}{k}=\frac{n!}{k!(n-k)!}$。
- $z$：标准正态分位数，95% 置信水平取 $z=1.96$；$\alpha$：显著性水平；$\beta$：第二类错误概率，$1-\beta$ 为统计功效。

## 为什么重要

评估结论直接决定三类决策：是否上线、是否替换、是否继续投入训练算力。若只有一个总分，这三类决策都缺少依据。

因果链如下。第一，能力分数高不表示可靠：模型可能在 80% 的样本上正确，在另外 20% 上以同等置信度给出错误答案，而用户无法从输出中区分这两种情况。第二，能力分数本身可能被污染抬高：若测试题已进入预训练语料，测得的分数包含记忆成分，换到新数据上会显著下降。第三，即使测量无污染，单次运行的点估计也没有精度信息：$n=200$ 时准确率的标准误约为 3 个百分点，两个模型相差 2 个百分点无法区分。第四，安全性必须单独度量：对齐训练降低有害输出概率，同时可能提高误拒率，两个方向都要报告。

在本书结构中，本篇承接 [[模型评估与交叉验证]] 中交叉验证、偏差方差与指标选择的结论，把监督学习时代的评估工具扩展到生成模型；它为 [[幻觉与缓解]] 提供忠实性与事实性的度量口径，为 [[越狱与安全对齐]] 提供攻击成功率与误拒率的统计框架，也为 [[RAG评估]] 中检索与生成的分解评估提供方法基础。

## 原理与推导

### 1. 四维评估空间

四个维度对应不同的估计对象，混用会产生错误结论。能力维度估计条件正确率 $P(\text{correct}\mid x)$；可靠性维度估计该条件概率的稳定性与输出分布的自洽程度；安全性维度估计对抗条件下的违规概率；效率维度估计资源消耗。

| 维度 | 核心问题 | 主指标 | 数据来源 | 典型失效 |
|---|---|---|---|---|
| 能力 | 会不会做 | 准确率、pass@k、$F_1$、EM | 静态基准、领域测试集 | 饱和、污染、口径不一致 |
| 可靠性 | 是否稳定、是否知道自己不确定 | 多次运行标准差、ECE、自一致性 | 重复采样、校准集 | 单次运行、忽略方差 |
| 安全性 | 对抗输入下是否守规则 | ASR、误拒率、违规率 | 红队集、越狱集 | 只测英文单轮、过拟合攻击集 |
| 效率 | 代价是否可接受 | p50/p95 延迟、吞吐、单价 | 压测、账单 | 只看均值、忽略长尾 |

四个维度之间存在耦合。提升安全阈值的直接后果是误拒率上升，能力分数下降；增加思维链长度可以提升推理准确率，同时提高延迟与成本。评估矩阵的作用是把这种耦合显式记录为同一张表上的多列数值，而不是用单一总分掩盖。

### 2. 基准类型与构造效度

基准的构造效度指它测到的能力与声称测量的能力是否一致。常见基准按任务形式分为六类，各自的有效范围与局限如下。

| 类型 | 代表 | 判定方式 | 样本规模 | 主要局限 |
|---|---|---|---|---|
| 知识 | MMLU | 四选一选项匹配 | 57 个学科，约 1.4 万道测试题 | 选项位置偏差、知识过时、污染风险最高 |
| 推理 | GSM8K | 抽取最终数值比对 | 约 8.5k 道小学应用题 | 模板化、可用计算器绕过、步骤不参与评分 |
| 代码 | HumanEval | 单元测试通过 | 164 道函数补全题 | 题量小导致方差大、函数签名约束强 |
| 指令跟随 | IFEval 类 | 可程序化验证的约束 | 约 500 条提示、25 类约束 | 只覆盖可验证约束，开放式要求无法判定 |
| 长上下文 | 检索与聚合任务 | 目标片段命中、答案精确匹配 | 长度按 token 分级 | 位置偏差、干扰项设计影响大 |
| 多语言 | 翻译与跨语言推理 | BLEU、COMET、准确率 | 按语种分层 | 训练语料重叠、低资源语种标注质量低 |

知识类基准的分数主要由参数记忆决定。MMLU 的四选一形式给出 25% 的随机基线，报告时必须同时给出随机基线与人类基线，否则 30% 的分数无法解释。推理类基准的判定只看最终数值，模型可以通过写方程后调用计算器得到正确结果，这不等于具备多步推理能力；若需要测量推理过程，必须引入步骤级评分或过程奖励。代码类基准以单元测试为准，测试覆盖不足时错误实现也可能通过；HumanEval 每题平均不足十个测试断言，通过率对测试强度敏感。

### 3. 数据污染与检测

污染有三种来源：预训练语料直接抓取基准页面；基准从公开语料构造，题目与语料同源；微调数据中混入测试题。污染的效果是分数上界被抬高，且抬高幅度随模型记忆容量增大。

检测方法分四类，各有盲区。

第一，$n$-gram 重叠检测。把测试样本与训练语料都切成 $n$ 元组，统计测试样本中被训练语料覆盖的 $n$-gram 比例：

$$
\mathrm{cov}(x)=\frac{\left|\{g\in G_n(x): g\in G_n(\mathcal{D}_{\text{train}})\}\right|}{|G_n(x)|}
$$

其中 $G_n(\cdot)$ 为 $n$-gram 集合，$\mathcal{D}_{\text{train}}$ 为可获得的训练语料。GPT-3 的技术报告使用 13-gram 作为判定单位，覆盖率达到一定阈值即视为污染。该方法的盲区是：训练语料往往不公开，只能检测可获得的子集；改写后的题目 $n$-gram 不重叠，但语义相同。

第二，嵌入相似检测。把测试样本与训练样本编码为向量，取余弦相似度 $\cos(\boldsymbol u,\boldsymbol v)=\frac{\boldsymbol u^\top\boldsymbol v}{\lVert\boldsymbol u\rVert\lVert\boldsymbol v\rVert}$，对每个测试样本取训练集中的最大相似度并排序。该方法的盲区是阈值依赖编码器，同义改写也可能相似度高，需要人工复核高相似样本。

第三，时间切分。设模型训练数据的截止时间为 $t_{\text{cut}}$，只使用发布时间晚于 $t_{\text{cut}}$ 的基准或题目。该方法的前提是发布时间可靠，且基准发布后没有被再次抓取进后续语料。对持续更新的模型，必须记录每个基准的版本与发布时间。

第四，扰动一致性检验。对测试题做不改变语义的扰动（改人名、改数值、改写句式），比较原题与扰动题的正确率。若原题正确率显著高于扰动题，说明模型依赖表面模式而非解题能力，是污染或过拟合的间接证据。该检验的盲区是扰动本身可能改变难度。

污染无法被完全排除，只能界定。可报告的量是：可检测污染比例的下界、时间切分后分数的下降幅度、扰动后的分数差。三者都不报告时，跨模型比较不具备说服力。

### 4. few-shot 设置与提示敏感性

上下文学习使同一模型在不同提示下表现不同，因此提示是评测协议的一部分，必须完整记录。

few-shot 设置包含四个自由度：示例数量 $k_{\text{shot}}$、示例选择策略（随机、按相似度检索、按类别均衡）、示例顺序、标签空间映射方式（直接给答案、给推理步骤、给选项字母）。示例的选取方式、排列顺序与标签映射都会改变输出分布：同一模型在随机示例与按相似度检索的示例下，分类准确率可以相差数个到十余个百分点；模型规模增大后，依据示例中的输入-标签映射作答的倾向增强，参数先验的作用相对减弱。因此报告必须写明选择策略与示例内容，而不是只写 $k_{\text{shot}}$。

设第 $j$ 个提示模板下第 $i$ 个样本的得分为 $s_{ij}\in\{0,1\}$，模板数为 $J$，样本数为 $n$。模板带来的方差可以用模板均值的离散程度估计：

$$
\hat\sigma^2_{\text{prompt}}=\frac{1}{J-1}\sum_{j=1}^{J}\left(\bar s_{\cdot j}-\bar s\right)^2,\qquad \bar s_{\cdot j}=\frac{1}{n}\sum_{i=1}^{n}s_{ij}
$$

若 $\hat\sigma^2_{\text{prompt}}$ 与二项抽样方差 $\hat p(1-\hat p)/n$ 同量级，则两个模型的分数差可能完全由模板选择造成。报告应给出至少 3 个模板的均值与极差，而不是单模板分数。

提示敏感性的来源包括：指令措辞、分隔符、答案格式要求、系统提示、示例顺序、语言。评测时固定解码参数（温度、top-p、最大 token 数）与固定提示同等重要，否则分数不可复现。

### 5. 评分方式

评分器决定指标的语义，四类评分器的适用条件不同。

精确匹配（EM）要求输出与参考答案在归一化后完全一致，适用于答案空间封闭的任务。它低估生成质量：语义正确但表述不同的答案被判为错误。归一化规则（小写、去标点、去冠词、数字格式）必须写入报告，否则不同实现的 EM 不可比。

词元级 $F_1$ 用于抽取式问答，定义为：

$$
P=\frac{|T\cap \hat T|}{|\hat T|},\qquad R=\frac{|T\cap\hat T|}{|T|},\qquad F_1=\frac{2PR}{P+R}
$$

其中 $T$ 为参考答案词元集合，$\hat T$ 为预测词元集合，$P$ 为精确率，$R$ 为召回率。$F_1$ 对词元重叠敏感，对同义替换不敏感。

pass@k 用于代码等允许每题多次采样的任务。设每题采样 $n$ 个候选，其中 $c$ 个通过测试，无偏估计为：

$$
\widehat{\mathrm{pass@}k}=1-\frac{\binom{n-c}{k}}{\binom{n}{k}},\qquad n\ge k
$$

推导：固定任意 $k$ 个候选，它们全部失败的概率为 $(1-p)^k$，其中 $p$ 为单次采样通过概率。由于 $c$ 个通过样本在 $n$ 个位置上的分布是均匀的，$\binom{n-c}{k}/\binom{n}{k}$ 恰为「随机抽取 $k$ 个候选全部失败」的概率，因而是 $(1-p)^k$ 的无偏估计，取补即得 $\widehat{\mathrm{pass@}k}$ 对 $1-(1-p)^k$ 无偏。

常见的错误替代是先用 $\hat p=c/n$ 估计单次通过率，再计算 $1-(1-\hat p)^k$。由于 $x^k$ 在 $[0,1]$ 上是凸函数，当 $k\ge 2$ 时 $\mathbb{E}[(1-\hat p)^k]\ge(1-p)^k$，该替代估计系统性偏低。$n$ 越小偏差越大，$n=5$、$k=2$ 时偏差可达数个百分点。

模型评分（LLM-as-judge）用另一个模型给输出打分，成本低、可扩展，但引入评分器自身的偏差，见第 8 节。人工评分是校准基准，成本最高；两人独立标注时用 Cohen's $\kappa$ 衡量一致性：

$$
\kappa=\frac{p_o-p_e}{1-p_e}
$$

其中 $p_o$ 为观测一致率，$p_e$ 为按边际分布计算的期望一致率。$\kappa<0.4$ 说明标注指南本身需要修订，此时人工评分不能作为金标准。

### 6. 统计可靠性

任何分数都是估计量，必须给出不确定性。

单次运行的准确率标准误为：

$$
\mathrm{SE}(\hat p)=\sqrt{\frac{\hat p(1-\hat p)}{n}}
$$

$n=200$、$\hat p=0.73$ 时 $\mathrm{SE}\approx 0.031$，95% 置信区间约为 $[0.67,0.79]$，宽度 12 个百分点。这说明 200 题的测试集只能区分差距接近 9 个百分点的模型，低于该幅度的差异无法与抽样波动区分。

正态近似在 $\hat p$ 接近 0 或 1 时失效，应使用 Wilson 区间：

$$
\frac{\hat p+\frac{z^2}{2n}}{1+\frac{z^2}{n}}\pm\frac{z}{1+\frac{z^2}{n}}\sqrt{\frac{\hat p(1-\hat p)}{n}+\frac{z^2}{4n^2}}
$$

bootstrap 区间不依赖正态假设，适用于任意统计量（如 pass@k、$F_1$、分位数延迟）。算法为：从 $n$ 个样本中有放回抽取 $n$ 个，计算统计量，重复 $B$ 次（常取 $10^3$ 至 $10^4$），取经验分布的 2.5% 与 97.5% 分位数。bootstrap 的前提是样本独立同分布；同一道题的多条采样不独立，应先在题内聚合再在题间重采样。

多次运行的方差需要用全方差公式分解：

$$
\mathrm{Var}(S)=\mathbb{E}\left[\mathrm{Var}(S\mid \text{run})\right]+\mathrm{Var}\left(\mathbb{E}[S\mid \text{run}]\right)
$$

第一项是抽样方差，第二项是运行间方差（种子、温度、提示、服务端版本）。只报告单次运行会漏掉第二项；在温度大于 0 的配置下，第二项往往与第一项同量级。

两个模型的最小可检测差异为：

$$
\mathrm{MDD}=z\sqrt{\frac{2\bar p(1-\bar p)}{n}}
$$

$\bar p=0.7$、$n=1000$、$z=1.96$ 时 $\mathrm{MDD}\approx 0.04$。样本量规划由此反解：要在 $\pm 0.02$ 内估计 $p=0.5$ 的准确率，需要 $n=z^2p(1-p)/\epsilon^2\approx 2401$。

同时比较 $m$ 个模型时，族错误率约为 $1-(1-\alpha)^m$，$\alpha=0.05$、$m=5$ 时约为 0.23。Bonferroni 校正把每次比较的显著性水平取为 $\alpha/m$，代价是统计功效下降。

### 7. 评估集设计

评估集的质量由抽样方案、难度分布、对抗性三者决定。

分层抽样按领域或题型划分层 $h=1,\dots,H$，层内方差为 $\sigma_h^2$，层权重为 $w_h$，样本量为 $n_h$。分层估计量的方差为：

$$
\mathrm{Var}(\hat p_{\text{str}})=\sum_{h=1}^{H}w_h^2\frac{\sigma_h^2}{n_h}
$$

在总样本量固定时，按 $n_h\propto w_h\sigma_h$ 分配可使方差最小。实践中领域均衡（每层等量）与按比例分配要分开报告，二者回答的问题不同：前者测「各领域平均表现」，后者测「真实流量下的表现」。

难度分布用参考模型的通过率标定。把题目按通过率分为 $[0,0.2)$、$[0.2,0.4)$、$[0.4,0.6)$、$[0.6,0.8)$、$[0.8,1]$ 五档，报告各档题目数与目标模型的通过率。若 80% 的题目落在最后一档，测试集已经饱和，总分无法区分强模型；若集中在第一档，总分接近随机基线，同样无信息量。

对抗样本用于测量脆弱性而非平均能力。构造方式包括：反事实改写（改变关键实体或数值，正确答案随之改变）、指令干扰（加入无关但显眼的约束）、格式压力（要求 JSON 输出同时保持推理正确）。对抗样本比例不宜过高，否则总分反映的是鲁棒性而不是常规能力，两类分数应分开报告。

测试集还必须防止调参泄漏：同一测试集被用于选择提示、选择模型、选择解码参数时，其分数会高估泛化能力。可用的控制手段是划分开发集与保留集、限制提交次数、使用定期更新的活基准。

### 8. LLM-as-judge 的偏差与校准

模型评分器有四类已记录的偏差。

位置偏差：成对比较时，评分器偏向第一个或第二个候选。度量方式为交换顺序后的分数差：

$$
\Delta_{\text{pos}}=\frac{1}{N}\sum_{i=1}^{N}\left|s_i^{(AB)}-s_i^{(BA)}\right|
$$

其中 $s_i^{(AB)}$ 为 A 在前时的分数，$s_i^{(BA)}$ 为交换后的分数。$\Delta_{\text{pos}}$ 显著大于 0 说明存在位置效应。缓解方式是两次评分取平均，或强制评分器先输出分析再输出偏好。

长度偏差：评分器给更长的回答更高分，即使内容相同。度量方式是固定内容质量、只改变长度，观察分数变化；缓解方式是在提示中显式要求忽略长度，或在回归中把长度作为协变量。

自我偏好：评分器偏好同族模型或自身生成的文本。度量方式是让评分器给来自不同模型但质量匹配的回答打分，比较组间差值。缓解方式是使用与被评模型不同族的评分器，或用人工标注校准。

谄媚与评分漂移：评分器倾向同意提示中暗示的结论；模型版本更新后评分标准发生变化。缓解方式是固定评分器版本、使用带参考答案的评分提示、定期用人工标注重测一致性。

校准的目标是让模型评分与人工评分的一致性达到可用水平。做法是抽取 $N$ 条（常取 200 至 500 条）分层样本做人工标注，计算模型评分与人工评分的 Cohen's $\kappa$ 或 Spearman 相关系数；若一致性不足，降低评分粒度（五级改三级）、提供评分细则与示例、改为成对比较。

### 9. 在线评估与离线评估

离线评估在固定测试集上运行，可复现、成本低、可并行比较多个模型，缺点是测试分布与真实流量不一致，且无法测量用户行为。

在线评估通过受控实验测量真实指标：任务成功率、人工接管率、会话轮数、留存、单次任务成本。在线实验的样本量由最小可检测效应决定，两组比例比较所需样本量为：

$$
n=\frac{\left(z_{\alpha/2}+z_{\beta}\right)^2\left[p_1(1-p_1)+p_2(1-p_2)\right]}{(p_2-p_1)^2}
$$

若基线成功率 $p_1=0.6$，希望以 80% 功效检测 $p_2=0.62$ 的提升，取 $z_{\alpha/2}=1.96$、$z_{\beta}=0.84$，每组约需 9300 个任务。在线指标的噪声来源包括流量构成变化、季节效应、模型版本混用，必须随机分流并固定实验周期。

两类评估的分工是：离线评估筛选候选与定位失败模式，在线评估确认业务效果。二者的差异本身是有信息的量，若离线提升而在线无变化，通常说明测试集与流量分布不匹配，或指标定义与用户目标不一致。

### 10. 评测报告模板

一份可复核的报告至少包含以下字段。

1. 评估目标与假设：要回答的问题、比较的对象、预先设定的判定阈值。
2. 模型与版本：模型标识、权重版本、服务端版本、量化方式。
3. 推理配置：提示模板全文、few-shot 示例、温度、top-p、最大输出长度、是否使用工具。
4. 数据：来源、构造方式、样本量、分层方案、去重规则、污染检查结果。
5. 指标：每个指标的精确定义、归一化规则、聚合方式（宏平均或微平均）。
6. 统计：点估计、标准误、置信区间、运行次数、运行间方差。
7. 失败分类：错误类型分布，附代表性样本编号。
8. 成本：每千次调用的 token 消耗与费用、p50 与 p95 延迟。
9. 限制：未覆盖的能力、已知污染风险、不可比的对象。

报告的核心要求是使第三方能用同一协议复现同一数值。凡是无法复现的部分，都应标注为未验证。

## 关键直觉

> [!tip] 把每个分数视为带误差棒的估计量
> 评估矩阵的每个单元格不是「模型得了多少分」，而是「在协议 $P$ 下、样本 $S$ 上、评分器 $G$ 给出的统计量 $\hat\theta$，其标准误为 $\mathrm{SE}$」。矩阵的价值不在总分，而在维度之间的不一致：能力高而可靠性低，说明输出不可直接采信；离线高而在线低，说明测试分布与流量分布不匹配；安全阈值提高后误拒率上升，说明安全与有用性处在同一条权衡曲线上。该直觉是第 6 节统计定义的直接推论，而不是经验概括。

## 例子与代码

### 例 1：手算 pass@k

设每题采样 $n=5$ 个候选，其中 $c=1$ 个通过，报告 $k=2$。

$$
\widehat{\mathrm{pass@}2}=1-\frac{\binom{5-1}{2}}{\binom{5}{2}}=1-\frac{6}{10}=0.4
$$

若改用朴素估计 $\hat p=c/n=0.2$，得到 $1-(1-0.2)^2=0.36$，低于无偏估计 0.04。该差值来自 $\hat p$ 的抽样波动，样本越少偏差越大。

### 例 2：pass@k 与 bootstrap 置信区间

下面的脚本实现两个估计量：pass@k 的组合数版本与对数域版本，后者用于避免大 $n$ 下组合数溢出；随后用 bootstrap 与 Wilson 两种方法给出准确率的 95% 置信区间，并模拟同一配置重复 5 次的运行间波动。

```python
import math
from math import comb

import numpy as np


def pass_at_k(n: int, c: int, k: int) -> float:
    """无偏估计：n 为每题采样数，c 为其中通过数，k 为报告口径。"""
    if n - c < k:                     # 失败样本不足 k 个，抽取 k 个必然含正确样本
        return 1.0
    return 1.0 - comb(n - c, k) / comb(n, k)


def pass_at_k_log(n: int, c: int, k: int) -> float:
    """对数域版本，避免大 n 下 comb 溢出为 inf。"""
    if n - c < k:
        return 1.0
    lg = math.lgamma
    log_num = lg(n - c + 1) - lg(k + 1) - lg(n - c - k + 1)
    log_den = lg(n + 1) - lg(k + 1) - lg(n - k + 1)
    return -math.expm1(log_num - log_den)      # 1 - exp(x) 的稳定写法


n, c = 200, 20
print(f"n={n}, c={c}, 朴素估计 c/n={c / n:.4f}")
for k in (1, 5, 10, 50):
    print(f"k={k:3d}  pass@k={pass_at_k(n, c, k):.4f}  log版={pass_at_k_log(n, c, k):.4f}")
print(f"k=100  pass@k={pass_at_k(n, c, 100):.8f}")
print("小样本 n=5, c=1, k=2:", pass_at_k(5, 1, 2))

rng = np.random.default_rng(2026)
N, P, B = 500, 0.72, 20000
y = (rng.random(N) < P).astype(float)          # 1 表示答对
theta = y.mean()
idx = rng.integers(0, N, size=(B, N))          # 有放回重采样
boot = y[idx].mean(axis=1)
lo, hi = np.percentile(boot, [2.5, 97.5])
print(f"\n点估计={theta:.4f}  bootstrap 标准误={boot.std(ddof=1):.4f}  95%CI=[{lo:.4f}, {hi:.4f}]")

z = 1.96
den = 1 + z**2 / N
ctr = (theta + z**2 / (2 * N)) / den
half = z * math.sqrt(theta * (1 - theta) / N + z**2 / (4 * N**2)) / den
print(f"Wilson 95%CI=[{ctr - half:.4f}, {ctr + half:.4f}]")

print("\n同一配置重复 5 次、每次 200 题（真实准确率 0.72）：")
for r in range(5):
    print(f"  run{r + 1}: {(rng.random(200) < P).mean():.4f}")
```

运行环境为 Python 3.12、NumPy 2.3。输出如下。

```text
n=200, c=20, 朴素估计 c/n=0.1000
k=  1  pass@k=0.1000  log版=0.1000
k=  5  pass@k=0.4128  log版=0.4128
k= 10  pass@k=0.6602  log版=0.6602
k= 50  pass@k=0.9977  log版=0.9977
k=100  pass@k=0.99999967
小样本 n=5, c=1, k=2: 0.4

点估计=0.7300  bootstrap 标准误=0.0196  95%CI=[0.6920, 0.7680]
Wilson 95%CI=[0.6894, 0.7671]

同一配置重复 5 次、每次 200 题（真实准确率 0.72）：
  run1: 0.7600
  run2: 0.7850
  run3: 0.7150
  run4: 0.7200
  run5: 0.7300
```

脚本的第一部分在做什么：把第 5 节的组合数公式直接翻译为代码，`n - c < k` 分支对应「可用的失败样本不足 $k$ 个，任意 $k$ 元子集必然含通过样本」，此时概率为 1。为什么这样做：当 $n-c<k$ 时，任意 $k$ 个候选必然包含至少一个通过样本，pass@k 依定义为 1；显式写出该分支，使读者看到该值来自样本条件而不是模型能力。去掉会怎样：Python 的 `comb` 对 $k>n$ 返回 0，结果仍为 1.0，但代码不再提示该值由样本量不足造成，报告可能把 pass@k=1 误读为模型完全正确。

对数域版本在做什么：用 `lgamma` 把组合数拆成对数差，再用 `expm1` 计算 $1-e^{x}$。为什么这样做：当 $n$ 达到数千、$k$ 达到数百时，$\binom{n}{k}$ 超出双精度浮点范围变成 `inf`，直接相除得到 `nan`。去掉会怎样：pass@k 在大规模采样配置下不可计算。

第二部分在做什么：生成 500 条独立同分布的二值结果，用 20000 次有放回重采样估计准确率的标准误与分位数区间，同时用 Wilson 公式给出解析区间。为什么这样做：bootstrap 不依赖正态近似，可复用于 pass@k、$F_1$、延迟分位数等任意统计量；Wilson 区间用于在 $n$ 较小或 $\hat p$ 接近边界时替代正态近似。去掉会怎样：只报告点估计 0.73，读者无法判断 0.75 与 0.71 是否属于抽样波动。

第三部分在做什么：在真实准确率固定为 0.72 的条件下重复 5 次、每次 200 题，观察运行间波动。为什么这样做：第 6 节的全方差公式中第二项需要用重复运行估计，单次运行无法分离抽样方差与运行方差。去掉会怎样：把 0.785 与 0.715 的差异误判为模型改进，实际两者都来自同一个分布。

### 例 3：评估矩阵表格

把上述维度落到一张可执行的表上，每行是一个待填单元格。

| 维度 | 基准 | 指标 | 判定口径 | 样本量 | 报告要求 |
|---|---|---|---|---|---|
| 能力 | 领域知识集 | 准确率 | 选项字母精确匹配 | 1000 | 95% CI、随机基线 |
| 能力 | 代码集 | pass@10 | 单元测试全通过 | 164 题 × 20 采样 | $n$、$k$、温度 |
| 可靠性 | 同一测试集 | 运行间标准差 | 5 次独立运行 | 500 | 5 次原始分数 |
| 可靠性 | 校准集 | ECE | 10 分箱 | 2000 | 分箱曲线 |
| 安全性 | 红队集 | ASR | 人工判定违规 | 200 | 攻击类别分布 |
| 安全性 | 正常请求集 | 误拒率 | 人工判定可回答 | 300 | 判定指南 |
| 效率 | 压测 | p95 延迟、单价 | 固定并发 | 1000 请求 | 并发度、硬件 |

## 易错点

> [!warning] 五个可检验的错误
> 1. 污染未检。直接引用公开榜单分数并做跨模型比较，未报告训练数据截止时间、$n$-gram 覆盖检测或时间切分结果。检验方式：若无法说明测试集的发布时间与训练语料关系，该分数只能作为上界。
> 2. 单次运行。以温度大于 0 的单次采样结果作为模型能力，未重复运行。检验方式：用同一配置跑 5 次，若极差超过 2 倍标准误，单次结论不成立。
> 3. 指标口径不一致。比较两个模型时，一个用微平均、一个用宏平均；或一个用 `pass@1`、另一个用 `pass@10`；或 EM 的归一化规则不同。检验方式：把指标定义写成公式，逐项核对归一化与聚合方式。
> 4. 提示不同不可比。两个模型的分数来自不同提示模板、不同 few-shot 数量或不同答案格式，却放在同一张表中排序。检验方式：固定提示后重跑，观察排序是否变化。
> 5. 测试集调参。用测试集选择提示、阈值或模型版本，再在同一测试集上报告分数。检验方式：划分开发集与保留集，保留集只使用一次。

## 关联笔记

- 前置：[[模型评估与交叉验证]]，提供准确率、$F_1$、交叉验证与偏差方差分解的基础定义，本篇的统计区间是其估计理论的直接延伸。
- 前置：[[概率与统计]]，提供标准误、置信区间与假设检验的推导，本篇第 6 节的 Wilson 区间与 bootstrap 依赖该篇的抽样分布结论。
- 后续：[[幻觉与缓解]]，把可靠性维度细化为事实性与忠实性两类指标，并给出检测与缓解方法。
- 后续：[[越狱与安全对齐]]，把安全性维度细化为攻击成功率、误拒率与红队流程。
- 对照：[[RAG评估]]，同样使用分解式评估，但把总分拆为检索质量与生成质量两部分，可与本篇的四维矩阵对照使用。

## 达标检测

- [ ] 不看原文，写出评估矩阵的四个维度，并为每个维度给出两个可计算指标及其样本量要求。
- [ ] 手推 pass@k 的无偏估计公式，说明 $\binom{n-c}{k}/\binom{n}{k}$ 为何是 $(1-p)^k$ 的无偏估计，并计算 $n=10,c=2,k=3$ 的取值。
- [ ] 给定 $\hat p=0.78$、$n=300$，分别用正态近似与 Wilson 公式计算 95% 置信区间，说明两者差异的来源。
- [ ] 运行本篇代码，把 $n$ 改为 20、$c$ 改为 4，观察 pass@k 与对数域版本是否一致，并解释 $k=17$ 时的输出。
- [ ] 列出一个包含 5 个模型的比较实验的污染检查方案，说明在训练语料不可获得时如何界定污染上界。
- [ ] 找出一个已发表的模型对比结论，检查其是否报告了提示模板、样本量与置信区间；若缺失，说明结论可以被削弱到什么程度。

## 参考来源

- Liang et al., "Holistic Evaluation of Language Models", 2022, arXiv:2211.09110 —— 对应本篇第 1 节四维评估空间与第 10 节报告字段，HELM 以 42 个场景与 7 类指标组织评测。
- Chen et al., "Evaluating Large Language Models Trained on Code", 2021, arXiv:2107.03374 —— 对应第 5 节 pass@k 的定义与无偏估计公式，HumanEval 的 164 题设计亦出自该文。
- Hendrycks et al., "Measuring Massive Multitask Language Understanding", 2020, arXiv:2009.03300 —— 对应第 2 节知识类基准的构造与选项匹配评分，以及污染风险的讨论。
- Cobbe et al., "Training Verifiers to Solve Math Word Problems", 2021, arXiv:2110.14168 —— 对应第 2 节推理类基准的判定方式与 GSM8K 的样本规模。
- Biderman et al., "Larger language models do in-context learning differently", 2023, arXiv:2303.03846 —— 对应第 4 节 few-shot 中示例与标签映射对模型行为的影响，该文比较了模型依据示例映射与依据参数先验作答的差异。
