如何解读指标
定义
指标解读指把一个评测数值映射为一个可检验的陈述,并同时给出该陈述的适用范围与不确定度。一个完整的解读包含四部分:数值、样本量、协议、不确定度;缺少任一部分时,数值只能作为记录,不能作为证据。
符号与术语定义如下。
- 点估计(point estimate):由样本算出的单个数值,例如准确率 。
- 标准误(standard error,SE):点估计的抽样标准差;对二项比例,。
- 置信区间(confidence interval,CI):以一定置信水平覆盖真值的区间;大样本下近似为 ,95% 置信水平取 。
- :参与判定的样本数;对单任务是该任务的题数。CORE 是 22 个任务准确率的等权平均,其不确定度不由单一的 决定。
- :准确率的点估计。
- CORE:22 项 ICL 任务中心化准确率的等权平均, 为随机水平, 为满分。
- centered 尺度:中心化准确率 所在的尺度; 为原始准确率, 为随机基线。
- bpb:每字节比特数,。
- ChatCORE:5 个 chat 任务中心化准确率的等权平均。
- pass@:每题采样 个解、至少一个通过的比例。
- MBU:解码阶段实际搬运字节数与峰值带宽之比。
- 效应量(effect size):两个测量值之差,需与不确定度比较才有意义。
- 配对比较(paired comparison):同一批题目上比较两个模型,用差值而非各自均值做统计。
- 门槛(threshold):判定「达到某能力」的固定数值,nanochat 中为 0.256525。
为什么重要
评测数字的常见误读有三类,每一类都会导致错误决策。
第一类是把归一化分数当百分比。CORE 为 0.256525 不表示「准确率 25.65%」,而表示 22 个任务的中心化准确率平均为 0.2565;对四选一任务,这大致对应 44.2% 的原始准确率。若把它读成百分比,会低估 GPT-2 的实际水平,也会误判 nanochat 的差距。
第二类是把单次运行当稳定值。同一命令 7 次独立训练的 CORE 极差为 0.01646(dev/LEADERBOARD.md Run 4),这一范围大于排行榜上多数相邻名次的差距;不重复运行就无法区分模型改进与训练噪声。第三类是把不同协议的数字并列。CORE 与 ChatCORE 的任务集不同,ChatCORE 的 GSM8K 与 RL 的 pass@k 生成参数不同,bpb 在换数据后不可比;并列会造出一个不存在的「综合排名」。
解读的作用是把这三类误读变成可检查的陈述。它要求报告者写出样本量、协议与区间,使读者能判断「0.2585 比 0.2565 好」这句话在统计上是否成立。在三个维度中,本篇属于「懂原理」:公式不多,但每个公式都对应一个不能省略的前提。
原理与推导
1. CORE 的尺度与 0.256525
CORE 是 22 个中心化准确率的等权平均,因此它的单位是「超出随机的比例」,不是准确率。三个参照点必须同时记住:随机水平为 0,满分为 1,GPT-2(1.6B)的实测值为 0.256525。三者构成一个绝对尺度,使不同模型可以在同一坐标上比较。
0.256525 不是理论值,而是一次测量:dev/LEADERBOARD.md 说明 GPT-2 在 22 项任务上的 CORE 为 0.256525,并注明若要自行复核,需要回到提交 21a7774 或更早的版本,因为 base_eval.py 曾支持 --hf-path openai-community/gpt2-xl 加载 HuggingFace 检查点,该功能后来被移除。因此「0.256525」这一门槛的可复算性依赖于历史版本,当前 master 只能复算 nanochat 自己的检查点。
CORE 的尺度还意味着:它衡量的是「相对随机猜的改进比例」,因此同样 1 个百分点的原始准确率,在不同基线的任务上换算出的 CORE 增量不同。对四选一任务,原始准确率提高 1 个百分点带来
对二选一任务为 。反过来,CORE 提高 0.01 需要某一个四选一任务的原始准确率提高
即 16.5 个百分点。这两个换算解释了为什么 CORE 的小数点后第三位也有意义:它对应单个任务上可观的准确率变化。
2. CORE 的运行间波动
dev/LEADERBOARD.md Run 4 记录了同一命令的 7 次独立运行:
| 运行 | CORE |
|---|---|
| 1 | 0.25373 |
| 2 | 0.25840 |
| 3 | 0.25489 |
| 4 | 0.25680 |
| 5 | 0.25732 |
| 6 | 0.26765 |
| 7 | 0.25119 |
均值为 0.25714,样本标准差 ,极差 0.01646。均值标准误为 ,按 计算,95% 置信区间约为 ,即 。这个区间已经跨越了 0.256525 门槛:单次运行低于门槛并不证明模型未达标,单次运行高于门槛也不证明稳定达标。
波动有两个来源。其一是评测抽样:22 个任务各自的题目是固定集合,但若只评子集(max_per_task)或 few-shot 示例随数据截断而改变,CORE 会随样本变化。其二是训练本身:Run 4 的注释指出,连数据 shard 的随机顺序都会带来更好或更差的结果,当前默认顺序属于偏差的一侧。Run 5 的 5 次均值为 0.2690,Run 6 的 5 次均值为 0.262634,说明重复运行后的均值比单次值更可靠。
一条实用规则:CORE 差异小于约 0.005 时,不应在单次运行之间下结论;差异在 0.005 至 0.01 之间时,至少需要 3 次重复并报告均值与极差;差异大于 0.01 时,才适合用单次运行做初步判断,但仍需注明样本量。
3. bpb 的可比性边界
bpb 的分母是目标 token 的总字节数,因此与词表大小无关:换分词器后,平均每 token 损失与每 token 字节数同时变化,比值回到同一单位。这是它相对平均交叉熵的主要优势,也是它被用于跨模型比较的原因。Chinchilla 在比较不同分词器的模型时采用同一思路。
但 bpb 与数据分布强绑定。dev/LEADERBOARD.md Run 4 明确注明:该次 val_bpb 因数据从 FineWeb-EDU 换成 ClimbMix 而不可与前三次比较;同一份文档又指出,若不换数据,bpb 是比 CORE 噪声更小的平滑指标。因此 bpb 的合法比较范围是「同一数据集、同一分词器、同一验证切分」。跨数据比较 bpb 等价于比较两个不同的测量工具。
排行榜的 val_bpb 列给出量级参照:Run 1 至 Run 3 为 0.74833、0.74504、0.74645(FineWeb-EDU),Run 4 至 Run 6 为 0.71854、0.71808、0.71800(ClimbMix)。前三个数之间可比,后三个数之间可比,两组之间不可比;把它们放在同一张图上会得到虚假的「性能跃升」。
4. ChatCORE 的尺度与基线
ChatCORE 与 CORE 使用同一中心化尺度,因此同样满足「0 为随机、1 为满分」。差别在任务集:ChatCORE 只有 5 项,且两项开式任务的基线为 0,三项多选任务的基线为 0.25。
5 项等权意味着每项占 0.2。若某一项从基线提升到满分,ChatCORE 增加 ;若 5 项各提升 0.1,总分增加 0.1。HumanEval 只有 164 题,其准确率的标准误远大于 MMLU,因此在 ChatCORE 中,HumanEval 的波动对总分的影响被 0.2 的权重放大,而它本身又是最不稳定的一项。这是 ChatCORE 运行间波动的主要来源之一。
三个基线不可混用。四选一任务的 0.25 是约定值,开式任务的 0 是因为「随机猜中一个数值」的概率可视为零;把 GSM8K 的基线写成 0.25 会把随机水平抬高一整档,把 ChatCORE 系统性压低。仓库的 baseline_accuracies 字典是唯一权威,解读时以它为准。
5. 小样本:二项标准误与置信区间
单任务准确率是二项比例,其标准误为
下表给出四个真实样本量下的标准误与 95% 置信区间半宽,取 或 作为示例。
| 任务 | SE | 95% CI 半宽 | ||
|---|---|---|---|---|
| HumanEval | 164 | 0.25 | 0.0338 | 0.0663 |
| HumanEval | 164 | 0.10 | 0.0234 | 0.0459 |
| GSM8K | 1319 | 0.10 | 0.0083 | 0.0162 |
| MMLU | 14042 | 0.25 | 0.0037 | 0.0072 |
| ChatCORE 训练期生成任务 | 24 | 0.25 | 0.0884 | 0.1732 |
HumanEval 的 164 题意味着:两个模型的通过率相差 6 个百分点时,若各为 30/164 与 40/164,差值 0.061 的标准误为
95% 置信区间为 ,包含 0,不能认为存在差异。反之,MMLU 上 60% 与 61% 的差异在 时标准误为 0.0058,,仍未达到 5% 显著水平——大样本并不自动使小差异显著。
训练期 ChatCORE 的生成任务每题上限为 24(--chatcore-max-sample=24),此时标准误可达 0.09,置信区间半宽约 0.17。训练曲线上的 ChatCORE 抖动很大一部分来自这个上限,而不是模型退化。
6. pass@k 的 与方差
pass@k 随 单调不减:多采一个样本只会增加「至少一个通过」的机会。但样本之间高度相关,方差不会按 缩小;同一模型在同一题上的多次采样共享提示与权重,失败往往同时发生。因此 pass@k 的提升不能简单折算为「能力提升 倍」。
的选择取决于报告目的。 最接近单次使用场景,方差最大; 或 常用于衡量「有多次尝试机会」的场景,但需要说明尝试次数与选择机制(是否由外部测试筛选)。仓库中 chat_eval 默认 ,RL 的 run_gsm8k_eval 用 的曲线,其中 为 device_batch_size;两者的温度也不同(0 与 1.0),不能并列。
报告 pass@k 时必须同时给出 、温度、最大生成长度与题数。缺少任一项,读者无法判断曲线是「采样更多」还是「模型更好」。
7. MBU 与成本维度
MBU 不衡量智能,只衡量解码实现距离带宽上限的程度。它随批大小变化:batch 1 时每步只搬运权重与一行 KV,带宽利用率取决于实现;batch 增大后 KV 读取量线性增加,MBU 上升,直到算力成为瓶颈。因此单独报一个 MBU 数字没有意义,必须同时报批大小、上下文长度与 GPU 型号。
MBU 与 CORE 的关系是二维的:两个模型可以 CORE 相同而 MBU 相差一倍,意味着同样的能力需要两倍的解码带宽。排行榜只记录 time、val_bpb、CORE,不记录推理成本;成绩单必须补上这一维,否则「更快达到 GPT-2」只描述了训练成本,没有描述使用成本。
8. 指标冲突的四种典型
指标之间不构成单调映射,冲突是常态而非异常。四种典型如下。
第一,CORE 高而对话差。CORE 测的是 base 模型的 ICL 能力,chat 质量还依赖 SFT 的格式学习、拒绝行为与多轮一致性;一个 CORE 更高的 base 检查点,经过不同 SFT 数据后可以给出更差的 ChatCORE。此时应检查 SFT 数据混合与 mask,而不是继续调预训练。
第二,ChatCORE 高而 bpb 变差。SFT 会让模型在对话分布上过拟合,从而牺牲通用文本上的压缩能力;但 nanochat 中 chat_sft 的验证集本身是混合数据(SmolTalk 的 test 切分与 MMLU、GSM8K test 切分的前若干条),它的 val_bpb 与 base 阶段的 val_bpb 不同源,因此这两个数不能直接比较。判断 SFT 是否值得,应看 ChatCORE 的提升幅度与对话验证集 bpb 的变化方向,并在成绩单中注明 bpb 来自哪个阶段。
第三,MMLU 高而其他任务平。MMLU 的 auxiliary_train 以 3 个 epoch 进入 SFT 混合,MMLU 分数包含明显的域内成分;若只有 MMLU 提升、ARC 与 GSM8K 不变,应优先怀疑题型熟悉度而非知识增长。
第四,HumanEval 通过但实现错误。HumanEval 每题只有少量断言,测试覆盖不足时错误实现也可能通过;通过率对测试强度敏感,不能当作「代码正确率」的绝对度量。相关通用讨论见 模型评估矩阵。
9. 指标—可信度—适用场景—陷阱
| 指标 | 可信度 | 适用场景 | 陷阱 |
|---|---|---|---|
| CORE | 中:运行间标准差约 0.005,任务集固定但可被针对性优化 | base 模型的能力验收、跨数据与跨架构比较 | 读成百分比;单次运行定结论;忽略 0.256525 的复算条件 |
| val bpb | 高:连续、方差小 | 同一数据与分词器下的训练监控与模型选择 | 换数据后比较;跨分词器直接比平均损失 |
| ChatCORE | 中低:5 项等权,受 HumanEval 小样本主导 | chat 模型的综合验收 | 缺任务时补 0;与 CORE 并列成综合分;忽略 MMLU 域内成分 |
| GSM8K 准确率 | 中:,精确匹配脆弱 | 数学推理与工具调用格式 | 把 10 与 10.0 判等;忽略截断;与 RL pass@k 混报 |
| HumanEval 通过率 | 低:,测试覆盖有限 | 代码补全的快速检查 | 单次 6 个百分点的差异不显著;把通过当正确 |
| pass@k | 中:依赖 与温度 | 多次尝试场景的能力上界 | 与 pass@1 并列;忽略样本相关性 |
| MBU | 高:物理量可直接核算 | 解码实现的效率比较、部署成本 | 脱离批大小与上下文单报;当作智能指标 |
在 nanochat 中的落地
第一处是 dev/LEADERBOARD.md。它同时给出 CORE、val_bpb 与 total_training_time,并在 Run 4 注明 bpb 不可比、7 次运行的范围;这是仓库内少数系统记录运行间方差的文档。
第二处是 scripts/chat_eval.py 的基线字典。它决定了 ChatCORE 的尺度,任何解读都必须以它为准;把它改成逐题选项数会让历史分数全部失效。
第三处是 scripts/chat_sft.py 的 --chatcore-max-sample=24。它使训练期 ChatCORE 的生成任务只有 24 题,标准误约 0.09;解读训练曲线时必须把这一上限考虑进去。
第四处是 nanochat/execution.py 的 5 秒超时与 256 MB 限制。它们把「正确但慢」或「正确但占内存」的解判为失败,是 HumanEval 通过率的系统性偏差来源。
关键直觉
每个分数都是「协议 × 样本 × 随机性」的估计量,而不是能力本身
同一个模型在不同协议下可以给出不同的 CORE、不同的 ChatCORE、不同的 pass@k;这些差异不是模型变化,而是测量变化。解读的任务是把「测量变化」从「能力变化」中分离出来:用重复运行估计随机性,用配对比较控制题目难度,用协议记录排除口径差异。与严格定义的关系:点估计只是估计量的一次实现,标准误描述它在重复抽样下的离散程度,置信区间把这一离散程度换算成对真值的覆盖范围;三者合起来才构成「证据」。
例子与代码
1. 计算二项标准误与置信区间
import math
def binom_ci(p, n, z=1.96):
se = math.sqrt(p * (1 - p) / n)
return se, (p - z * se, p + z * se)
for name, p, n in [("HumanEval", 0.25, 164), ("HumanEval", 0.10, 164),
("GSM8K", 0.10, 1319), ("MMLU", 0.25, 14042),
("ChatCORE 训练期生成任务", 0.25, 24)]:
se, (lo, hi) = binom_ci(p, n)
print(f"{name:24s} n={n:6d} p={p:.2f} SE={se:.4f} CI=[{lo:.4f}, {hi:.4f}]")
# 预期:HumanEval n=164 p=0.25 SE=0.0338 CI=[0.1837, 0.3163]
# 预期:GSM8K n=1319 p=0.10 SE=0.0083 CI=[0.0838, 0.1162]
# 预期:MMLU n=14042 p=0.25 SE=0.0037 CI=[0.2428, 0.2572]
2. 计算运行间统计量
import statistics
runs = [0.25373, 0.25840, 0.25489, 0.25680, 0.25732, 0.26765, 0.25119]
mean = statistics.mean(runs)
sd = statistics.stdev(runs) # 样本标准差,分母 n-1
se = sd / len(runs) ** 0.5
half = 2.446912 * se # t(6, 0.975)
print(f"mean={mean:.5f} sd={sd:.6f} se={se:.6f} 95%CI=[{mean-half:.4f}, {mean+half:.4f}]")
# 预期:mean=0.25714 sd=0.005233 se=0.001978 95%CI=[0.2523, 0.2620]
3. 把 CORE 换算成原始准确率
def core_to_raw(core, baseline=0.25):
"""把中心化分数映射回某一基线任务上的原始准确率(仅作量级参照)。"""
return baseline + core * (1 - baseline)
print(round(core_to_raw(0.256525, 0.25), 4)) # 预期:0.4424
print(round(core_to_raw(0.256525, 0.50), 4)) # 预期:0.6283
print(round(0.01 * 22 * 0.75, 4)) # 预期:0.165,CORE +0.01 需要单任务 +16.5pp
第一个结果说明:若把 22 个任务都近似为四选一,CORE 0.256525 对应约 44.2% 的原始准确率;第二个结果说明二选一任务上的同一 CORE 对应约 62.8%。两者都不是「25.65%」。
4. 比较两个 HumanEval 分数
import math
p1, p2, n = 30 / 164, 40 / 164, 164
se = math.sqrt(p1 * (1 - p1) / n + p2 * (1 - p2) / n)
diff = p2 - p1
print(f"diff={diff:.4f} SE={se:.4f} 95%CI=[{diff - 1.96 * se:.4f}, {diff + 1.96 * se:.4f}]")
# 预期:diff=0.0610 SE=0.0451 95%CI=[-0.0275, 0.1494]
区间跨 0,因此这 10 道题的差距不能作为模型更强的证据。要缩小置信区间,只能扩充题数;重复运行同一批 164 题只降低解码噪声,不会降低题目抽样方差。若两模型在同一批题上评测,改用配对比较可以消去题目难度带来的共同方差,通常比独立比较更有效。
易错点
六个可检验的错误
1. 把 CORE 0.256525 读成 25.65% 准确率。它是中心化尺度上的均值,四选一任务上约等于 44.2% 原始准确率。
2. 用单次运行比较两个 CORE。Run 4 的 7 次运行极差为 0.01646,单次差异小于约 0.005 时无法区分模型与噪声。
3. 在换数据后比较 bpb。bpb 与数据分布绑定,Run 4 已注明该次
val_bpb不可与前三次比较。4. 把 HumanEval 的 6 个百分点差异当作显著。 时两个比例的差值标准误约 0.045,95% 区间常跨 0。
5. 把训练期 ChatCORE 的抖动当作模型退化。生成任务每题上限 24,标准误可达 0.09。
6. 把 MBU 当作智能指标或脱离批大小报告。MBU 随批大小与上下文变化,只在与同一配置比较时有意义。
关联笔记
- 前置 评测方法论:五个指标的定义、基线与聚合方式。
- 前置 CORE指标:22 任务构成、续写边界与中心化公式的完整推导。
- 前置 生成report成绩单:每个数字的来源与缺失标注。
- 对照 对比GPT-2核心指标:0.256525 的换算、成本与历史版本口径。
- 跨库 模型评估矩阵:评估维度、污染与提示敏感性的通用框架;本篇只做 nanochat 指标的统计解读。
- 跨库 概率与统计:区间估计与假设检验的数学基础。
达标检测
- [ ] 能解释 CORE 的 0、1 与 0.256525 三个参照点,并把 0.256525 换算成四选一与二选一任务的原始准确率。
- [ ] 能用 Run 4 的 7 个数值算出均值、样本标准差、标准误与 95% 置信区间。
- [ ] 能说明 bpb 为何与词表无关,以及为何在换数据后不可比。
- [ ] 能解释 ChatCORE 的三个基线,并说明为何 HumanEval 的波动对总分影响较大。
- [ ] 能计算 、 的标准误与置信区间,并判断两个通过率之差是否显著。
- [ ] 能说明 pass@k 的 选择对分数与方差的影响,以及仓库中两种评测协议的差别。
- [ ] 能给出「CORE 高但对话差」的两个机制,并指出应检查的代码位置。
- [ ] 能用「数值、样本量、协议、不确定度」四要素改写一句模糊的评测结论。
参考来源
- DCLM 团队, DataComp-LM: In search of the next generation of training sets for language models(2406.11794)—— 对应 CORE 的 22 任务构造、中心化尺度与随机基线。
- Hoffmann 等, Training Compute-Optimal Large Language Models(2203.15556)—— 对应以 bits-per-byte 跨分词器比较模型的做法。
- Chen 等, Evaluating Large Language Models Trained on Code(2107.03374)—— 对应 HumanEval 的 164 题规模、pass@k 估计与置信区间讨论。
- Cobbe 等, Training Verifiers to Solve Math Word Problems(2110.14168)—— 对应 GSM8K 的题量与精确匹配判分。
- Karpathy, nanochat
dev/LEADERBOARD.md(commit 92d63d4),Run 4 的 7 次运行与 Run 5、Run 6 的均值 —— 对应运行间方差、bpb 不可比与成本口径。 - Karpathy, nanochat
scripts/chat_eval.py、scripts/chat_sft.py(commit 92d63d4)—— 对应 ChatCORE 基线与训练期子采样上限。