w wyl123ly 的博客
MD

模型评估矩阵

30 KB 2026.10.18 原文件

模型评估矩阵

定义

模型评估矩阵(evaluation matrix)是一种以「评估维度、基准类型、评分方式、统计口径」为坐标组织评测证据的结构化表格:每个单元格给出该维度下某项能力的估计量、样本量与不确定性,使不同模型、不同版本之间的比较具有统一口径。

其中出现的术语与符号定义如下。

  • 评估维度(evaluation dimension):对模型行为的一类需求。本篇取能力、可靠性、安全性、效率四类,四者的指标不可互相替代。
  • 能力(capability):模型在给定任务分布上产出符合判定标准输出的概率,记作 ,用准确率、pass@k、 等统计量估计。
  • 可靠性(reliability):同一输入分布下输出质量的稳定性与自洽性,包括校准误差、多次运行方差、对提示改写的敏感度。
  • 安全性(safety):模型在对抗性输入下拒绝有害请求、同时不拒绝正常请求的能力,用攻击成功率与误拒率度量。
  • 效率(efficiency):完成单位任务所需的时间与费用,常用首 token 延迟、吞吐(token/s)、每百万 token 价格。
  • 基准(benchmark):由固定输入集合、固定评分规则、固定聚合方式三者共同构成的评测协议。缺少任一要素,分数不可复现。
  • 数据污染(contamination):基准的输入或参考答案出现在模型预训练语料中,使测得的分数不再反映对未见数据的泛化能力。
  • 提示敏感性(prompt sensitivity):同一模型在同一测试集上,因提示模板、示例选择或答案格式变化而产生的分数波动。
  • 评分器(grader):把模型输出映射为分数的程序或人,分为精确匹配、规则匹配、模型评分、人工评分四类。
  • :准确率的点估计,,其中 为指示函数,条件成立取 1,否则取 0。
  • :参与评分的样本数;:pass@k 中每题抽取的样本数;: 个样本中通过判定的样本数。
  • :组合数,表示从 个元素中取 个的方案数,。
  • :标准正态分位数,95% 置信水平取 ;:显著性水平;:第二类错误概率, 为统计功效。

为什么重要

评估结论直接决定三类决策:是否上线、是否替换、是否继续投入训练算力。若只有一个总分,这三类决策都缺少依据。

因果链如下。第一,能力分数高不表示可靠:模型可能在 80% 的样本上正确,在另外 20% 上以同等置信度给出错误答案,而用户无法从输出中区分这两种情况。第二,能力分数本身可能被污染抬高:若测试题已进入预训练语料,测得的分数包含记忆成分,换到新数据上会显著下降。第三,即使测量无污染,单次运行的点估计也没有精度信息: 时准确率的标准误约为 3 个百分点,两个模型相差 2 个百分点无法区分。第四,安全性必须单独度量:对齐训练降低有害输出概率,同时可能提高误拒率,两个方向都要报告。

在本书结构中,本篇承接 模型评估与交叉验证 中交叉验证、偏差方差与指标选择的结论,把监督学习时代的评估工具扩展到生成模型;它为 幻觉与缓解 提供忠实性与事实性的度量口径,为 越狱与安全对齐 提供攻击成功率与误拒率的统计框架,也为 RAG评估 中检索与生成的分解评估提供方法基础。

原理与推导

1. 四维评估空间

四个维度对应不同的估计对象,混用会产生错误结论。能力维度估计条件正确率 ;可靠性维度估计该条件概率的稳定性与输出分布的自洽程度;安全性维度估计对抗条件下的违规概率;效率维度估计资源消耗。

维度核心问题主指标数据来源典型失效
能力会不会做准确率、pass@k、、EM静态基准、领域测试集饱和、污染、口径不一致
可靠性是否稳定、是否知道自己不确定多次运行标准差、ECE、自一致性重复采样、校准集单次运行、忽略方差
安全性对抗输入下是否守规则ASR、误拒率、违规率红队集、越狱集只测英文单轮、过拟合攻击集
效率代价是否可接受p50/p95 延迟、吞吐、单价压测、账单只看均值、忽略长尾

四个维度之间存在耦合。提升安全阈值的直接后果是误拒率上升,能力分数下降;增加思维链长度可以提升推理准确率,同时提高延迟与成本。评估矩阵的作用是把这种耦合显式记录为同一张表上的多列数值,而不是用单一总分掩盖。

2. 基准类型与构造效度

基准的构造效度指它测到的能力与声称测量的能力是否一致。常见基准按任务形式分为六类,各自的有效范围与局限如下。

类型代表判定方式样本规模主要局限
知识MMLU四选一选项匹配57 个学科,约 1.4 万道测试题选项位置偏差、知识过时、污染风险最高
推理GSM8K抽取最终数值比对约 8.5k 道小学应用题模板化、可用计算器绕过、步骤不参与评分
代码HumanEval单元测试通过164 道函数补全题题量小导致方差大、函数签名约束强
指令跟随IFEval 类可程序化验证的约束约 500 条提示、25 类约束只覆盖可验证约束,开放式要求无法判定
长上下文检索与聚合任务目标片段命中、答案精确匹配长度按 token 分级位置偏差、干扰项设计影响大
多语言翻译与跨语言推理BLEU、COMET、准确率按语种分层训练语料重叠、低资源语种标注质量低

知识类基准的分数主要由参数记忆决定。MMLU 的四选一形式给出 25% 的随机基线,报告时必须同时给出随机基线与人类基线,否则 30% 的分数无法解释。推理类基准的判定只看最终数值,模型可以通过写方程后调用计算器得到正确结果,这不等于具备多步推理能力;若需要测量推理过程,必须引入步骤级评分或过程奖励。代码类基准以单元测试为准,测试覆盖不足时错误实现也可能通过;HumanEval 每题平均不足十个测试断言,通过率对测试强度敏感。

3. 数据污染与检测

污染有三种来源:预训练语料直接抓取基准页面;基准从公开语料构造,题目与语料同源;微调数据中混入测试题。污染的效果是分数上界被抬高,且抬高幅度随模型记忆容量增大。

检测方法分四类,各有盲区。

第一,-gram 重叠检测。把测试样本与训练语料都切成 元组,统计测试样本中被训练语料覆盖的 -gram 比例:

其中 为 -gram 集合, 为可获得的训练语料。GPT-3 的技术报告使用 13-gram 作为判定单位,覆盖率达到一定阈值即视为污染。该方法的盲区是:训练语料往往不公开,只能检测可获得的子集;改写后的题目 -gram 不重叠,但语义相同。

第二,嵌入相似检测。把测试样本与训练样本编码为向量,取余弦相似度 ,对每个测试样本取训练集中的最大相似度并排序。该方法的盲区是阈值依赖编码器,同义改写也可能相似度高,需要人工复核高相似样本。

第三,时间切分。设模型训练数据的截止时间为 ,只使用发布时间晚于 的基准或题目。该方法的前提是发布时间可靠,且基准发布后没有被再次抓取进后续语料。对持续更新的模型,必须记录每个基准的版本与发布时间。

第四,扰动一致性检验。对测试题做不改变语义的扰动(改人名、改数值、改写句式),比较原题与扰动题的正确率。若原题正确率显著高于扰动题,说明模型依赖表面模式而非解题能力,是污染或过拟合的间接证据。该检验的盲区是扰动本身可能改变难度。

污染无法被完全排除,只能界定。可报告的量是:可检测污染比例的下界、时间切分后分数的下降幅度、扰动后的分数差。三者都不报告时,跨模型比较不具备说服力。

4. few-shot 设置与提示敏感性

上下文学习使同一模型在不同提示下表现不同,因此提示是评测协议的一部分,必须完整记录。

few-shot 设置包含四个自由度:示例数量 、示例选择策略(随机、按相似度检索、按类别均衡)、示例顺序、标签空间映射方式(直接给答案、给推理步骤、给选项字母)。示例的选取方式、排列顺序与标签映射都会改变输出分布:同一模型在随机示例与按相似度检索的示例下,分类准确率可以相差数个到十余个百分点;模型规模增大后,依据示例中的输入-标签映射作答的倾向增强,参数先验的作用相对减弱。因此报告必须写明选择策略与示例内容,而不是只写 。

设第 个提示模板下第 个样本的得分为 ,模板数为 ,样本数为 。模板带来的方差可以用模板均值的离散程度估计:

若 与二项抽样方差 同量级,则两个模型的分数差可能完全由模板选择造成。报告应给出至少 3 个模板的均值与极差,而不是单模板分数。

提示敏感性的来源包括:指令措辞、分隔符、答案格式要求、系统提示、示例顺序、语言。评测时固定解码参数(温度、top-p、最大 token 数)与固定提示同等重要,否则分数不可复现。

5. 评分方式

评分器决定指标的语义,四类评分器的适用条件不同。

精确匹配(EM)要求输出与参考答案在归一化后完全一致,适用于答案空间封闭的任务。它低估生成质量:语义正确但表述不同的答案被判为错误。归一化规则(小写、去标点、去冠词、数字格式)必须写入报告,否则不同实现的 EM 不可比。

词元级 用于抽取式问答,定义为:

其中 为参考答案词元集合, 为预测词元集合, 为精确率, 为召回率。 对词元重叠敏感,对同义替换不敏感。

pass@k 用于代码等允许每题多次采样的任务。设每题采样 个候选,其中 个通过测试,无偏估计为:

推导:固定任意 个候选,它们全部失败的概率为 ,其中 为单次采样通过概率。由于 个通过样本在 个位置上的分布是均匀的, 恰为「随机抽取 个候选全部失败」的概率,因而是 的无偏估计,取补即得 对 无偏。

常见的错误替代是先用 估计单次通过率,再计算 。由于 在 上是凸函数,当 时 ,该替代估计系统性偏低。 越小偏差越大,、 时偏差可达数个百分点。

模型评分(LLM-as-judge)用另一个模型给输出打分,成本低、可扩展,但引入评分器自身的偏差,见第 8 节。人工评分是校准基准,成本最高;两人独立标注时用 Cohen's 衡量一致性:

其中 为观测一致率, 为按边际分布计算的期望一致率。 说明标注指南本身需要修订,此时人工评分不能作为金标准。

6. 统计可靠性

任何分数都是估计量,必须给出不确定性。

单次运行的准确率标准误为:

、 时 ,95% 置信区间约为 ,宽度 12 个百分点。这说明 200 题的测试集只能区分差距接近 9 个百分点的模型,低于该幅度的差异无法与抽样波动区分。

正态近似在 接近 0 或 1 时失效,应使用 Wilson 区间:

bootstrap 区间不依赖正态假设,适用于任意统计量(如 pass@k、、分位数延迟)。算法为:从 个样本中有放回抽取 个,计算统计量,重复 次(常取 至 ),取经验分布的 2.5% 与 97.5% 分位数。bootstrap 的前提是样本独立同分布;同一道题的多条采样不独立,应先在题内聚合再在题间重采样。

多次运行的方差需要用全方差公式分解:

第一项是抽样方差,第二项是运行间方差(种子、温度、提示、服务端版本)。只报告单次运行会漏掉第二项;在温度大于 0 的配置下,第二项往往与第一项同量级。

两个模型的最小可检测差异为:

、、 时 。样本量规划由此反解:要在 内估计 的准确率,需要 。

同时比较 个模型时,族错误率约为 ,、 时约为 0.23。Bonferroni 校正把每次比较的显著性水平取为 ,代价是统计功效下降。

7. 评估集设计

评估集的质量由抽样方案、难度分布、对抗性三者决定。

分层抽样按领域或题型划分层 ,层内方差为 ,层权重为 ,样本量为 。分层估计量的方差为:

在总样本量固定时,按 分配可使方差最小。实践中领域均衡(每层等量)与按比例分配要分开报告,二者回答的问题不同:前者测「各领域平均表现」,后者测「真实流量下的表现」。

难度分布用参考模型的通过率标定。把题目按通过率分为 、、、、 五档,报告各档题目数与目标模型的通过率。若 80% 的题目落在最后一档,测试集已经饱和,总分无法区分强模型;若集中在第一档,总分接近随机基线,同样无信息量。

对抗样本用于测量脆弱性而非平均能力。构造方式包括:反事实改写(改变关键实体或数值,正确答案随之改变)、指令干扰(加入无关但显眼的约束)、格式压力(要求 JSON 输出同时保持推理正确)。对抗样本比例不宜过高,否则总分反映的是鲁棒性而不是常规能力,两类分数应分开报告。

测试集还必须防止调参泄漏:同一测试集被用于选择提示、选择模型、选择解码参数时,其分数会高估泛化能力。可用的控制手段是划分开发集与保留集、限制提交次数、使用定期更新的活基准。

8. LLM-as-judge 的偏差与校准

模型评分器有四类已记录的偏差。

位置偏差:成对比较时,评分器偏向第一个或第二个候选。度量方式为交换顺序后的分数差:

其中 为 A 在前时的分数, 为交换后的分数。 显著大于 0 说明存在位置效应。缓解方式是两次评分取平均,或强制评分器先输出分析再输出偏好。

长度偏差:评分器给更长的回答更高分,即使内容相同。度量方式是固定内容质量、只改变长度,观察分数变化;缓解方式是在提示中显式要求忽略长度,或在回归中把长度作为协变量。

自我偏好:评分器偏好同族模型或自身生成的文本。度量方式是让评分器给来自不同模型但质量匹配的回答打分,比较组间差值。缓解方式是使用与被评模型不同族的评分器,或用人工标注校准。

谄媚与评分漂移:评分器倾向同意提示中暗示的结论;模型版本更新后评分标准发生变化。缓解方式是固定评分器版本、使用带参考答案的评分提示、定期用人工标注重测一致性。

校准的目标是让模型评分与人工评分的一致性达到可用水平。做法是抽取 条(常取 200 至 500 条)分层样本做人工标注,计算模型评分与人工评分的 Cohen's 或 Spearman 相关系数;若一致性不足,降低评分粒度(五级改三级)、提供评分细则与示例、改为成对比较。

9. 在线评估与离线评估

离线评估在固定测试集上运行,可复现、成本低、可并行比较多个模型,缺点是测试分布与真实流量不一致,且无法测量用户行为。

在线评估通过受控实验测量真实指标:任务成功率、人工接管率、会话轮数、留存、单次任务成本。在线实验的样本量由最小可检测效应决定,两组比例比较所需样本量为:

若基线成功率 ,希望以 80% 功效检测 的提升,取 、,每组约需 9300 个任务。在线指标的噪声来源包括流量构成变化、季节效应、模型版本混用,必须随机分流并固定实验周期。

两类评估的分工是:离线评估筛选候选与定位失败模式,在线评估确认业务效果。二者的差异本身是有信息的量,若离线提升而在线无变化,通常说明测试集与流量分布不匹配,或指标定义与用户目标不一致。

10. 评测报告模板

一份可复核的报告至少包含以下字段。

  1. 评估目标与假设:要回答的问题、比较的对象、预先设定的判定阈值。
  2. 模型与版本:模型标识、权重版本、服务端版本、量化方式。
  3. 推理配置:提示模板全文、few-shot 示例、温度、top-p、最大输出长度、是否使用工具。
  4. 数据:来源、构造方式、样本量、分层方案、去重规则、污染检查结果。
  5. 指标:每个指标的精确定义、归一化规则、聚合方式(宏平均或微平均)。
  6. 统计:点估计、标准误、置信区间、运行次数、运行间方差。
  7. 失败分类:错误类型分布,附代表性样本编号。
  8. 成本:每千次调用的 token 消耗与费用、p50 与 p95 延迟。
  9. 限制:未覆盖的能力、已知污染风险、不可比的对象。

报告的核心要求是使第三方能用同一协议复现同一数值。凡是无法复现的部分,都应标注为未验证。

关键直觉

把每个分数视为带误差棒的估计量

评估矩阵的每个单元格不是「模型得了多少分」,而是「在协议 下、样本 上、评分器 给出的统计量 ,其标准误为 」。矩阵的价值不在总分,而在维度之间的不一致:能力高而可靠性低,说明输出不可直接采信;离线高而在线低,说明测试分布与流量分布不匹配;安全阈值提高后误拒率上升,说明安全与有用性处在同一条权衡曲线上。该直觉是第 6 节统计定义的直接推论,而不是经验概括。

例子与代码

例 1:手算 pass@k

设每题采样 个候选,其中 个通过,报告 。

若改用朴素估计 ,得到 ,低于无偏估计 0.04。该差值来自 的抽样波动,样本越少偏差越大。

例 2:pass@k 与 bootstrap 置信区间

下面的脚本实现两个估计量:pass@k 的组合数版本与对数域版本,后者用于避免大 下组合数溢出;随后用 bootstrap 与 Wilson 两种方法给出准确率的 95% 置信区间,并模拟同一配置重复 5 次的运行间波动。

import math
from math import comb

import numpy as np


def pass_at_k(n: int, c: int, k: int) -> float:
    """无偏估计:n 为每题采样数,c 为其中通过数,k 为报告口径。"""
    if n - c < k:                     # 失败样本不足 k 个,抽取 k 个必然含正确样本
        return 1.0
    return 1.0 - comb(n - c, k) / comb(n, k)


def pass_at_k_log(n: int, c: int, k: int) -> float:
    """对数域版本,避免大 n 下 comb 溢出为 inf。"""
    if n - c < k:
        return 1.0
    lg = math.lgamma
    log_num = lg(n - c + 1) - lg(k + 1) - lg(n - c - k + 1)
    log_den = lg(n + 1) - lg(k + 1) - lg(n - k + 1)
    return -math.expm1(log_num - log_den)      # 1 - exp(x) 的稳定写法


n, c = 200, 20
print(f"n={n}, c={c}, 朴素估计 c/n={c / n:.4f}")
for k in (1, 5, 10, 50):
    print(f"k={k:3d}  pass@k={pass_at_k(n, c, k):.4f}  log版={pass_at_k_log(n, c, k):.4f}")
print(f"k=100  pass@k={pass_at_k(n, c, 100):.8f}")
print("小样本 n=5, c=1, k=2:", pass_at_k(5, 1, 2))

rng = np.random.default_rng(2026)
N, P, B = 500, 0.72, 20000
y = (rng.random(N) < P).astype(float)          # 1 表示答对
theta = y.mean()
idx = rng.integers(0, N, size=(B, N))          # 有放回重采样
boot = y[idx].mean(axis=1)
lo, hi = np.percentile(boot, [2.5, 97.5])
print(f"\n点估计={theta:.4f}  bootstrap 标准误={boot.std(ddof=1):.4f}  95%CI=[{lo:.4f}, {hi:.4f}]")

z = 1.96
den = 1 + z**2 / N
ctr = (theta + z**2 / (2 * N)) / den
half = z * math.sqrt(theta * (1 - theta) / N + z**2 / (4 * N**2)) / den
print(f"Wilson 95%CI=[{ctr - half:.4f}, {ctr + half:.4f}]")

print("\n同一配置重复 5 次、每次 200 题(真实准确率 0.72):")
for r in range(5):
    print(f"  run{r + 1}: {(rng.random(200) < P).mean():.4f}")

运行环境为 Python 3.12、NumPy 2.3。输出如下。

n=200, c=20, 朴素估计 c/n=0.1000
k=  1  pass@k=0.1000  log版=0.1000
k=  5  pass@k=0.4128  log版=0.4128
k= 10  pass@k=0.6602  log版=0.6602
k= 50  pass@k=0.9977  log版=0.9977
k=100  pass@k=0.99999967
小样本 n=5, c=1, k=2: 0.4

点估计=0.7300  bootstrap 标准误=0.0196  95%CI=[0.6920, 0.7680]
Wilson 95%CI=[0.6894, 0.7671]

同一配置重复 5 次、每次 200 题(真实准确率 0.72):
  run1: 0.7600
  run2: 0.7850
  run3: 0.7150
  run4: 0.7200
  run5: 0.7300

脚本的第一部分在做什么:把第 5 节的组合数公式直接翻译为代码,n - c < k 分支对应「可用的失败样本不足 个,任意 元子集必然含通过样本」,此时概率为 1。为什么这样做:当 时,任意 个候选必然包含至少一个通过样本,pass@k 依定义为 1;显式写出该分支,使读者看到该值来自样本条件而不是模型能力。去掉会怎样:Python 的 comb 对 返回 0,结果仍为 1.0,但代码不再提示该值由样本量不足造成,报告可能把 pass@k=1 误读为模型完全正确。

对数域版本在做什么:用 lgamma 把组合数拆成对数差,再用 expm1 计算 。为什么这样做:当 达到数千、 达到数百时, 超出双精度浮点范围变成 inf,直接相除得到 nan。去掉会怎样:pass@k 在大规模采样配置下不可计算。

第二部分在做什么:生成 500 条独立同分布的二值结果,用 20000 次有放回重采样估计准确率的标准误与分位数区间,同时用 Wilson 公式给出解析区间。为什么这样做:bootstrap 不依赖正态近似,可复用于 pass@k、、延迟分位数等任意统计量;Wilson 区间用于在 较小或 接近边界时替代正态近似。去掉会怎样:只报告点估计 0.73,读者无法判断 0.75 与 0.71 是否属于抽样波动。

第三部分在做什么:在真实准确率固定为 0.72 的条件下重复 5 次、每次 200 题,观察运行间波动。为什么这样做:第 6 节的全方差公式中第二项需要用重复运行估计,单次运行无法分离抽样方差与运行方差。去掉会怎样:把 0.785 与 0.715 的差异误判为模型改进,实际两者都来自同一个分布。

例 3:评估矩阵表格

把上述维度落到一张可执行的表上,每行是一个待填单元格。

维度基准指标判定口径样本量报告要求
能力领域知识集准确率选项字母精确匹配100095% CI、随机基线
能力代码集pass@10单元测试全通过164 题 × 20 采样、、温度
可靠性同一测试集运行间标准差5 次独立运行5005 次原始分数
可靠性校准集ECE10 分箱2000分箱曲线
安全性红队集ASR人工判定违规200攻击类别分布
安全性正常请求集误拒率人工判定可回答300判定指南
效率压测p95 延迟、单价固定并发1000 请求并发度、硬件

易错点

五个可检验的错误

1. 污染未检。直接引用公开榜单分数并做跨模型比较,未报告训练数据截止时间、-gram 覆盖检测或时间切分结果。检验方式:若无法说明测试集的发布时间与训练语料关系,该分数只能作为上界。

2. 单次运行。以温度大于 0 的单次采样结果作为模型能力,未重复运行。检验方式:用同一配置跑 5 次,若极差超过 2 倍标准误,单次结论不成立。

3. 指标口径不一致。比较两个模型时,一个用微平均、一个用宏平均;或一个用 pass@1、另一个用 pass@10;或 EM 的归一化规则不同。检验方式:把指标定义写成公式,逐项核对归一化与聚合方式。

4. 提示不同不可比。两个模型的分数来自不同提示模板、不同 few-shot 数量或不同答案格式,却放在同一张表中排序。检验方式:固定提示后重跑,观察排序是否变化。

5. 测试集调参。用测试集选择提示、阈值或模型版本,再在同一测试集上报告分数。检验方式:划分开发集与保留集,保留集只使用一次。

关联笔记

  • 前置:模型评估与交叉验证,提供准确率、、交叉验证与偏差方差分解的基础定义,本篇的统计区间是其估计理论的直接延伸。
  • 前置:概率与统计,提供标准误、置信区间与假设检验的推导,本篇第 6 节的 Wilson 区间与 bootstrap 依赖该篇的抽样分布结论。
  • 后续:幻觉与缓解,把可靠性维度细化为事实性与忠实性两类指标,并给出检测与缓解方法。
  • 后续:越狱与安全对齐,把安全性维度细化为攻击成功率、误拒率与红队流程。
  • 对照:RAG评估,同样使用分解式评估,但把总分拆为检索质量与生成质量两部分,可与本篇的四维矩阵对照使用。

达标检测

  • [ ] 不看原文,写出评估矩阵的四个维度,并为每个维度给出两个可计算指标及其样本量要求。
  • [ ] 手推 pass@k 的无偏估计公式,说明 为何是 的无偏估计,并计算 的取值。
  • [ ] 给定 、,分别用正态近似与 Wilson 公式计算 95% 置信区间,说明两者差异的来源。
  • [ ] 运行本篇代码,把 改为 20、 改为 4,观察 pass@k 与对数域版本是否一致,并解释 时的输出。
  • [ ] 列出一个包含 5 个模型的比较实验的污染检查方案,说明在训练语料不可获得时如何界定污染上界。
  • [ ] 找出一个已发表的模型对比结论,检查其是否报告了提示模板、样本量与置信区间;若缺失,说明结论可以被削弱到什么程度。

参考来源

  • Liang et al., "Holistic Evaluation of Language Models", 2022, arXiv:2211.09110 —— 对应本篇第 1 节四维评估空间与第 10 节报告字段,HELM 以 42 个场景与 7 类指标组织评测。
  • Chen et al., "Evaluating Large Language Models Trained on Code", 2021, arXiv:2107.03374 —— 对应第 5 节 pass@k 的定义与无偏估计公式,HumanEval 的 164 题设计亦出自该文。
  • Hendrycks et al., "Measuring Massive Multitask Language Understanding", 2020, arXiv:2009.03300 —— 对应第 2 节知识类基准的构造与选项匹配评分,以及污染风险的讨论。
  • Cobbe et al., "Training Verifiers to Solve Math Word Problems", 2021, arXiv:2110.14168 —— 对应第 2 节推理类基准的判定方式与 GSM8K 的样本规模。
  • Biderman et al., "Larger language models do in-context learning differently", 2023, arXiv:2303.03846 —— 对应第 4 节 few-shot 中示例与标签映射对模型行为的影响,该文比较了模型依据示例映射与依据参数先验作答的差异。