---
tags: [nanochat, eval, statistics]
阶段: 08-评测Eval
难度: ★★★
created: 2026-10-22
related: "[[评测方法论]], [[CORE指标]], [[生成report成绩单]], [[对比GPT-2核心指标]]"
---

# 如何解读指标

## 定义

**指标解读**指把一个评测数值映射为一个可检验的陈述，并同时给出该陈述的适用范围与不确定度。一个完整的解读包含四部分：数值、样本量、协议、不确定度；缺少任一部分时，数值只能作为记录，不能作为证据。

符号与术语定义如下。

- **点估计**（point estimate）：由样本算出的单个数值，例如准确率 $\hat p$。
- **标准误**（standard error，SE）：点估计的抽样标准差；对二项比例，$\mathrm{SE}=\sqrt{\hat p(1-\hat p)/n}$。
- **置信区间**（confidence interval，CI）：以一定置信水平覆盖真值的区间；大样本下近似为 $\hat p\pm z\cdot\mathrm{SE}$，95% 置信水平取 $z=1.96$。
- **$n$**：参与判定的样本数；对单任务是该任务的题数。CORE 是 22 个任务准确率的等权平均，其不确定度不由单一的 $n$ 决定。
- **$\hat p$**：准确率的点估计。
- **CORE**：22 项 ICL 任务中心化准确率的等权平均，$0$ 为随机水平，$1$ 为满分。
- **centered 尺度**：中心化准确率 $c=(a-p)/(1-p)$ 所在的尺度；$a$ 为原始准确率，$p$ 为随机基线。
- **bpb**：每字节比特数，$\mathrm{bpb}=\sum\text{nats}/(\ln2\cdot\sum\text{bytes})$。
- **ChatCORE**：5 个 chat 任务中心化准确率的等权平均。
- **pass@$k$**：每题采样 $k$ 个解、至少一个通过的比例。
- **MBU**：解码阶段实际搬运字节数与峰值带宽之比。
- **效应量**（effect size）：两个测量值之差，需与不确定度比较才有意义。
- **配对比较**（paired comparison）：同一批题目上比较两个模型，用差值而非各自均值做统计。
- **门槛**（threshold）：判定「达到某能力」的固定数值，nanochat 中为 0.256525。

## 为什么重要

评测数字的常见误读有三类，每一类都会导致错误决策。

第一类是把归一化分数当百分比。CORE 为 0.256525 不表示「准确率 25.65%」，而表示 22 个任务的中心化准确率平均为 0.2565；对四选一任务，这大致对应 44.2% 的原始准确率。若把它读成百分比，会低估 GPT-2 的实际水平，也会误判 nanochat 的差距。

第二类是把单次运行当稳定值。同一命令 7 次独立训练的 CORE 极差为 0.01646（`dev/LEADERBOARD.md` Run 4），这一范围大于排行榜上多数相邻名次的差距；不重复运行就无法区分模型改进与训练噪声。第三类是把不同协议的数字并列。CORE 与 ChatCORE 的任务集不同，ChatCORE 的 GSM8K 与 RL 的 pass@k 生成参数不同，bpb 在换数据后不可比；并列会造出一个不存在的「综合排名」。

解读的作用是把这三类误读变成可检查的陈述。它要求报告者写出样本量、协议与区间，使读者能判断「0.2585 比 0.2565 好」这句话在统计上是否成立。在三个维度中，本篇属于「懂原理」：公式不多，但每个公式都对应一个不能省略的前提。

## 原理与推导

### 1. CORE 的尺度与 0.256525

CORE 是 22 个中心化准确率的等权平均，因此它的单位是「超出随机的比例」，不是准确率。三个参照点必须同时记住：随机水平为 0，满分为 1，GPT-2（1.6B）的实测值为 0.256525。三者构成一个绝对尺度，使不同模型可以在同一坐标上比较。

0.256525 不是理论值，而是一次测量：`dev/LEADERBOARD.md` 说明 GPT-2 在 22 项任务上的 CORE 为 0.256525，并注明若要自行复核，需要回到提交 `21a7774` 或更早的版本，因为 `base_eval.py` 曾支持 `--hf-path openai-community/gpt2-xl` 加载 HuggingFace 检查点，该功能后来被移除。因此「0.256525」这一门槛的可复算性依赖于历史版本，当前 master 只能复算 nanochat 自己的检查点。

CORE 的尺度还意味着：它衡量的是「相对随机猜的改进比例」，因此同样 1 个百分点的原始准确率，在不同基线的任务上换算出的 CORE 增量不同。对四选一任务，原始准确率提高 1 个百分点带来

$$
\Delta\mathrm{CORE}=\frac{0.01}{1-0.25}\cdot\frac{1}{22}=0.000606,
$$

对二选一任务为 $0.01/0.5/22=0.000909$。反过来，CORE 提高 0.01 需要某一个四选一任务的原始准确率提高

$$
0.01\times 22\times(1-0.25)=0.165,
$$

即 16.5 个百分点。这两个换算解释了为什么 CORE 的小数点后第三位也有意义：它对应单个任务上可观的准确率变化。

### 2. CORE 的运行间波动

`dev/LEADERBOARD.md` Run 4 记录了同一命令的 7 次独立运行：

| 运行 | CORE |
|---|---|
| 1 | 0.25373 |
| 2 | 0.25840 |
| 3 | 0.25489 |
| 4 | 0.25680 |
| 5 | 0.25732 |
| 6 | 0.26765 |
| 7 | 0.25119 |

均值为 0.25714，样本标准差 $s=0.005233$，极差 0.01646。均值标准误为 $s/\sqrt{7}=0.001978$，按 $t(6)=2.447$ 计算，95% 置信区间约为 $0.2571\pm0.0048$，即 $[0.2523,0.2620]$。这个区间已经跨越了 0.256525 门槛：单次运行低于门槛并不证明模型未达标，单次运行高于门槛也不证明稳定达标。

波动有两个来源。其一是评测抽样：22 个任务各自的题目是固定集合，但若只评子集（`max_per_task`）或 few-shot 示例随数据截断而改变，CORE 会随样本变化。其二是训练本身：Run 4 的注释指出，连数据 shard 的随机顺序都会带来更好或更差的结果，当前默认顺序属于偏差的一侧。Run 5 的 5 次均值为 0.2690，Run 6 的 5 次均值为 0.262634，说明重复运行后的均值比单次值更可靠。

一条实用规则：CORE 差异小于约 0.005 时，不应在单次运行之间下结论；差异在 0.005 至 0.01 之间时，至少需要 3 次重复并报告均值与极差；差异大于 0.01 时，才适合用单次运行做初步判断，但仍需注明样本量。

### 3. bpb 的可比性边界

bpb 的分母是目标 token 的总字节数，因此与词表大小无关：换分词器后，平均每 token 损失与每 token 字节数同时变化，比值回到同一单位。这是它相对平均交叉熵的主要优势，也是它被用于跨模型比较的原因。Chinchilla 在比较不同分词器的模型时采用同一思路。

但 bpb 与数据分布强绑定。`dev/LEADERBOARD.md` Run 4 明确注明：该次 `val_bpb` 因数据从 FineWeb-EDU 换成 ClimbMix 而不可与前三次比较；同一份文档又指出，若不换数据，bpb 是比 CORE 噪声更小的平滑指标。因此 bpb 的合法比较范围是「同一数据集、同一分词器、同一验证切分」。跨数据比较 bpb 等价于比较两个不同的测量工具。

排行榜的 `val_bpb` 列给出量级参照：Run 1 至 Run 3 为 0.74833、0.74504、0.74645（FineWeb-EDU），Run 4 至 Run 6 为 0.71854、0.71808、0.71800（ClimbMix）。前三个数之间可比，后三个数之间可比，两组之间不可比；把它们放在同一张图上会得到虚假的「性能跃升」。

### 4. ChatCORE 的尺度与基线

ChatCORE 与 CORE 使用同一中心化尺度，因此同样满足「0 为随机、1 为满分」。差别在任务集：ChatCORE 只有 5 项，且两项开式任务的基线为 0，三项多选任务的基线为 0.25。

5 项等权意味着每项占 0.2。若某一项从基线提升到满分，ChatCORE 增加 $0.2$；若 5 项各提升 0.1，总分增加 0.1。HumanEval 只有 164 题，其准确率的标准误远大于 MMLU，因此在 ChatCORE 中，HumanEval 的波动对总分的影响被 0.2 的权重放大，而它本身又是最不稳定的一项。这是 ChatCORE 运行间波动的主要来源之一。

三个基线不可混用。四选一任务的 0.25 是约定值，开式任务的 0 是因为「随机猜中一个数值」的概率可视为零；把 GSM8K 的基线写成 0.25 会把随机水平抬高一整档，把 ChatCORE 系统性压低。仓库的 `baseline_accuracies` 字典是唯一权威，解读时以它为准。

### 5. 小样本：二项标准误与置信区间

单任务准确率是二项比例，其标准误为

$$
\mathrm{SE}(\hat p)=\sqrt{\frac{\hat p(1-\hat p)}{n}}.
$$

下表给出四个真实样本量下的标准误与 95% 置信区间半宽，取 $\hat p=0.25$ 或 $0.10$ 作为示例。

| 任务 | $n$ | $\hat p$ | SE | 95% CI 半宽 |
|---|---|---|---|---|
| HumanEval | 164 | 0.25 | 0.0338 | 0.0663 |
| HumanEval | 164 | 0.10 | 0.0234 | 0.0459 |
| GSM8K | 1319 | 0.10 | 0.0083 | 0.0162 |
| MMLU | 14042 | 0.25 | 0.0037 | 0.0072 |
| ChatCORE 训练期生成任务 | 24 | 0.25 | 0.0884 | 0.1732 |

HumanEval 的 164 题意味着：两个模型的通过率相差 6 个百分点时，若各为 30/164 与 40/164，差值 0.061 的标准误为

$$
\sqrt{\frac{0.183\times0.817}{164}+\frac{0.244\times0.756}{164}}=0.0451,
$$

95% 置信区间为 $0.061\pm0.088$，包含 0，不能认为存在差异。反之，MMLU 上 60% 与 61% 的差异在 $n=14042$ 时标准误为 0.0058，$z=1.71$，仍未达到 5% 显著水平——大样本并不自动使小差异显著。

训练期 ChatCORE 的生成任务每题上限为 24（`--chatcore-max-sample=24`），此时标准误可达 0.09，置信区间半宽约 0.17。训练曲线上的 ChatCORE 抖动很大一部分来自这个上限，而不是模型退化。

### 6. pass@k 的 $k$ 与方差

pass@k 随 $k$ 单调不减：多采一个样本只会增加「至少一个通过」的机会。但样本之间高度相关，方差不会按 $1/k$ 缩小；同一模型在同一题上的多次采样共享提示与权重，失败往往同时发生。因此 pass@k 的提升不能简单折算为「能力提升 $k$ 倍」。

$k$ 的选择取决于报告目的。$k=1$ 最接近单次使用场景，方差最大；$k=8$ 或 $k=16$ 常用于衡量「有多次尝试机会」的场景，但需要说明尝试次数与选择机制（是否由外部测试筛选）。仓库中 `chat_eval` 默认 $k=1$，RL 的 `run_gsm8k_eval` 用 $k=1,\dots,B$ 的曲线，其中 $B$ 为 `device_batch_size`；两者的温度也不同（0 与 1.0），不能并列。

报告 pass@k 时必须同时给出 $k$、温度、最大生成长度与题数。缺少任一项，读者无法判断曲线是「采样更多」还是「模型更好」。

### 7. MBU 与成本维度

MBU 不衡量智能，只衡量解码实现距离带宽上限的程度。它随批大小变化：batch 1 时每步只搬运权重与一行 KV，带宽利用率取决于实现；batch 增大后 KV 读取量线性增加，MBU 上升，直到算力成为瓶颈。因此单独报一个 MBU 数字没有意义，必须同时报批大小、上下文长度与 GPU 型号。

MBU 与 CORE 的关系是二维的：两个模型可以 CORE 相同而 MBU 相差一倍，意味着同样的能力需要两倍的解码带宽。排行榜只记录 `time`、`val_bpb`、`CORE`，不记录推理成本；成绩单必须补上这一维，否则「更快达到 GPT-2」只描述了训练成本，没有描述使用成本。

### 8. 指标冲突的四种典型

指标之间不构成单调映射，冲突是常态而非异常。四种典型如下。

第一，CORE 高而对话差。CORE 测的是 base 模型的 ICL 能力，chat 质量还依赖 SFT 的格式学习、拒绝行为与多轮一致性；一个 CORE 更高的 base 检查点，经过不同 SFT 数据后可以给出更差的 ChatCORE。此时应检查 SFT 数据混合与 mask，而不是继续调预训练。

第二，ChatCORE 高而 bpb 变差。SFT 会让模型在对话分布上过拟合，从而牺牲通用文本上的压缩能力；但 nanochat 中 `chat_sft` 的验证集本身是混合数据（SmolTalk 的 test 切分与 MMLU、GSM8K test 切分的前若干条），它的 `val_bpb` 与 base 阶段的 `val_bpb` 不同源，因此这两个数不能直接比较。判断 SFT 是否值得，应看 ChatCORE 的提升幅度与对话验证集 bpb 的变化方向，并在成绩单中注明 bpb 来自哪个阶段。

第三，MMLU 高而其他任务平。MMLU 的 `auxiliary_train` 以 3 个 epoch 进入 SFT 混合，MMLU 分数包含明显的域内成分；若只有 MMLU 提升、ARC 与 GSM8K 不变，应优先怀疑题型熟悉度而非知识增长。

第四，HumanEval 通过但实现错误。HumanEval 每题只有少量断言，测试覆盖不足时错误实现也可能通过；通过率对测试强度敏感，不能当作「代码正确率」的绝对度量。相关通用讨论见 [[模型评估矩阵]]。

### 9. 指标—可信度—适用场景—陷阱

| 指标 | 可信度 | 适用场景 | 陷阱 |
|---|---|---|---|
| CORE | 中：运行间标准差约 0.005，任务集固定但可被针对性优化 | base 模型的能力验收、跨数据与跨架构比较 | 读成百分比；单次运行定结论；忽略 0.256525 的复算条件 |
| val bpb | 高：连续、方差小 | 同一数据与分词器下的训练监控与模型选择 | 换数据后比较；跨分词器直接比平均损失 |
| ChatCORE | 中低：5 项等权，受 HumanEval 小样本主导 | chat 模型的综合验收 | 缺任务时补 0；与 CORE 并列成综合分；忽略 MMLU 域内成分 |
| GSM8K 准确率 | 中：$n=1319$，精确匹配脆弱 | 数学推理与工具调用格式 | 把 `10` 与 `10.0` 判等；忽略截断；与 RL pass@k 混报 |
| HumanEval 通过率 | 低：$n=164$，测试覆盖有限 | 代码补全的快速检查 | 单次 6 个百分点的差异不显著；把通过当正确 |
| pass@k | 中：依赖 $k$ 与温度 | 多次尝试场景的能力上界 | 与 pass@1 并列；忽略样本相关性 |
| MBU | 高：物理量可直接核算 | 解码实现的效率比较、部署成本 | 脱离批大小与上下文单报；当作智能指标 |

### 在 nanochat 中的落地

第一处是 `dev/LEADERBOARD.md`。它同时给出 CORE、`val_bpb` 与 `total_training_time`，并在 Run 4 注明 bpb 不可比、7 次运行的范围；这是仓库内少数系统记录运行间方差的文档。

第二处是 `scripts/chat_eval.py` 的基线字典。它决定了 ChatCORE 的尺度，任何解读都必须以它为准；把它改成逐题选项数会让历史分数全部失效。

第三处是 `scripts/chat_sft.py` 的 `--chatcore-max-sample=24`。它使训练期 ChatCORE 的生成任务只有 24 题，标准误约 0.09；解读训练曲线时必须把这一上限考虑进去。

第四处是 `nanochat/execution.py` 的 5 秒超时与 256 MB 限制。它们把「正确但慢」或「正确但占内存」的解判为失败，是 HumanEval 通过率的系统性偏差来源。

## 关键直觉

> [!tip] 每个分数都是「协议 × 样本 × 随机性」的估计量，而不是能力本身
> 同一个模型在不同协议下可以给出不同的 CORE、不同的 ChatCORE、不同的 pass@k；这些差异不是模型变化，而是测量变化。解读的任务是把「测量变化」从「能力变化」中分离出来：用重复运行估计随机性，用配对比较控制题目难度，用协议记录排除口径差异。与严格定义的关系：点估计只是估计量的一次实现，标准误描述它在重复抽样下的离散程度，置信区间把这一离散程度换算成对真值的覆盖范围；三者合起来才构成「证据」。

## 例子与代码

### 1. 计算二项标准误与置信区间

```python
import math

def binom_ci(p, n, z=1.96):
    se = math.sqrt(p * (1 - p) / n)
    return se, (p - z * se, p + z * se)

for name, p, n in [("HumanEval", 0.25, 164), ("HumanEval", 0.10, 164),
                   ("GSM8K", 0.10, 1319), ("MMLU", 0.25, 14042),
                   ("ChatCORE 训练期生成任务", 0.25, 24)]:
    se, (lo, hi) = binom_ci(p, n)
    print(f"{name:24s} n={n:6d} p={p:.2f} SE={se:.4f} CI=[{lo:.4f}, {hi:.4f}]")
# 预期：HumanEval n=164 p=0.25 SE=0.0338 CI=[0.1837, 0.3163]
# 预期：GSM8K     n=1319 p=0.10 SE=0.0083 CI=[0.0838, 0.1162]
# 预期：MMLU      n=14042 p=0.25 SE=0.0037 CI=[0.2428, 0.2572]
```

### 2. 计算运行间统计量

```python
import statistics

runs = [0.25373, 0.25840, 0.25489, 0.25680, 0.25732, 0.26765, 0.25119]
mean = statistics.mean(runs)
sd = statistics.stdev(runs)          # 样本标准差，分母 n-1
se = sd / len(runs) ** 0.5
half = 2.446912 * se                 # t(6, 0.975)
print(f"mean={mean:.5f} sd={sd:.6f} se={se:.6f} 95%CI=[{mean-half:.4f}, {mean+half:.4f}]")
# 预期：mean=0.25714 sd=0.005233 se=0.001978 95%CI=[0.2523, 0.2620]
```

### 3. 把 CORE 换算成原始准确率

```python
def core_to_raw(core, baseline=0.25):
    """把中心化分数映射回某一基线任务上的原始准确率（仅作量级参照）。"""
    return baseline + core * (1 - baseline)

print(round(core_to_raw(0.256525, 0.25), 4))   # 预期：0.4424
print(round(core_to_raw(0.256525, 0.50), 4))   # 预期：0.6283
print(round(0.01 * 22 * 0.75, 4))              # 预期：0.165，CORE +0.01 需要单任务 +16.5pp
```

第一个结果说明：若把 22 个任务都近似为四选一，CORE 0.256525 对应约 44.2% 的原始准确率；第二个结果说明二选一任务上的同一 CORE 对应约 62.8%。两者都不是「25.65%」。

### 4. 比较两个 HumanEval 分数

```python
import math
p1, p2, n = 30 / 164, 40 / 164, 164
se = math.sqrt(p1 * (1 - p1) / n + p2 * (1 - p2) / n)
diff = p2 - p1
print(f"diff={diff:.4f} SE={se:.4f} 95%CI=[{diff - 1.96 * se:.4f}, {diff + 1.96 * se:.4f}]")
# 预期：diff=0.0610 SE=0.0451 95%CI=[-0.0275, 0.1494]
```

区间跨 0，因此这 10 道题的差距不能作为模型更强的证据。要缩小置信区间，只能扩充题数；重复运行同一批 164 题只降低解码噪声，不会降低题目抽样方差。若两模型在同一批题上评测，改用配对比较可以消去题目难度带来的共同方差，通常比独立比较更有效。

## 易错点

> [!warning] 六个可检验的错误
> 1. 把 CORE 0.256525 读成 25.65% 准确率。它是中心化尺度上的均值，四选一任务上约等于 44.2% 原始准确率。
> 2. 用单次运行比较两个 CORE。Run 4 的 7 次运行极差为 0.01646，单次差异小于约 0.005 时无法区分模型与噪声。
> 3. 在换数据后比较 bpb。bpb 与数据分布绑定，Run 4 已注明该次 `val_bpb` 不可与前三次比较。
> 4. 把 HumanEval 的 6 个百分点差异当作显著。$n=164$ 时两个比例的差值标准误约 0.045，95% 区间常跨 0。
> 5. 把训练期 ChatCORE 的抖动当作模型退化。生成任务每题上限 24，标准误可达 0.09。
> 6. 把 MBU 当作智能指标或脱离批大小报告。MBU 随批大小与上下文变化，只在与同一配置比较时有意义。

## 关联笔记

- 前置 [[评测方法论]]：五个指标的定义、基线与聚合方式。
- 前置 [[CORE指标]]：22 任务构成、续写边界与中心化公式的完整推导。
- 前置 [[生成report成绩单]]：每个数字的来源与缺失标注。
- 对照 [[对比GPT-2核心指标]]：0.256525 的换算、成本与历史版本口径。
- 跨库 [[模型评估矩阵]]：评估维度、污染与提示敏感性的通用框架；本篇只做 nanochat 指标的统计解读。
- 跨库 [[概率与统计]]：区间估计与假设检验的数学基础。

## 达标检测

- [ ] 能解释 CORE 的 0、1 与 0.256525 三个参照点，并把 0.256525 换算成四选一与二选一任务的原始准确率。
- [ ] 能用 Run 4 的 7 个数值算出均值、样本标准差、标准误与 95% 置信区间。
- [ ] 能说明 bpb 为何与词表无关，以及为何在换数据后不可比。
- [ ] 能解释 ChatCORE 的三个基线，并说明为何 HumanEval 的波动对总分影响较大。
- [ ] 能计算 $n=164$、$\hat p=0.25$ 的标准误与置信区间，并判断两个通过率之差是否显著。
- [ ] 能说明 pass@k 的 $k$ 选择对分数与方差的影响，以及仓库中两种评测协议的差别。
- [ ] 能给出「CORE 高但对话差」的两个机制，并指出应检查的代码位置。
- [ ] 能用「数值、样本量、协议、不确定度」四要素改写一句模糊的评测结论。

## 参考来源

- DCLM 团队, *DataComp-LM: In search of the next generation of training sets for language models*（2406.11794）—— 对应 CORE 的 22 任务构造、中心化尺度与随机基线。
- Hoffmann 等, *Training Compute-Optimal Large Language Models*（2203.15556）—— 对应以 bits-per-byte 跨分词器比较模型的做法。
- Chen 等, *Evaluating Large Language Models Trained on Code*（2107.03374）—— 对应 HumanEval 的 164 题规模、pass@k 估计与置信区间讨论。
- Cobbe 等, *Training Verifiers to Solve Math Word Problems*（2110.14168）—— 对应 GSM8K 的题量与精确匹配判分。
- Karpathy, *nanochat* `dev/LEADERBOARD.md`（commit 92d63d4），Run 4 的 7 次运行与 Run 5、Run 6 的均值 —— 对应运行间方差、bpb 不可比与成本口径。
- Karpathy, *nanochat* `scripts/chat_eval.py`、`scripts/chat_sft.py`（commit 92d63d4）—— 对应 ChatCORE 基线与训练期子采样上限。
