实验日志
本文件按时间顺序累积 nanochat 的实际运行记录。每条记录使用 实验记录模板 的九个字段:日期、假设、改动、命令、配置 diff、数据、指标、结论、下一步。学习计划与达标进度记在 nanochat学习记录模板,不记在这里。
使用规则有四条。
- 新增记录追加到文末,保持时间正序;最新一条在文件末尾,便于对照上一轮的「下一步」。
- 失败实验在标题末尾标注
(negative),并保留「假设」与「判定阈值」两段,否则无法判断是改动无效还是条件不对。 - 已写入的记录不删除。发现错误时在该条末尾追加「修订」段,写明改了什么、依据是什么。
- 每条记录必须包含可直接复制的完整命令;只写「跑了 d12」不算记录。
索引
| 编号 | 日期 | 主题 | 结论 | 下一步 |
|---|---|---|---|---|
| R01 | 2026-10-22 | 环境验证 | 通过 | 下载数据 |
| R02 | 2026-10-22 | 数据下载 | 通过,171 个分片 | 训练分词器 |
| R03 | 2026-10-22 | d12 短跑基线 | 基线建立 | 单变量 A/B |
示例记录
以下三条为格式示例
数值取自可推导量(步数、token 数、批大小)与典型运行,用于演示填写方式,不对应任何一次真实运行。实际记录时替换为本人日志中的
Peak memory usage、Total training time、Validation bpb与CORE metric四行输出。
2026-10-22 · R01 · 环境验证(示例)
假设:在 8×H100 节点上执行 uv sync --extra gpu 后,CUDA、精度、词表、分词器四项自检全部通过,可以启动 d24 预训练。
改动:无代码改动。commit 92d63d4,工作区干净(git status --porcelain 为空)。
命令:
export NANOCHAT_BASE_DIR="$HOME/.cache/nanochat"
export OMP_NUM_THREADS=1
cd ~/nanochat
uv venv && uv sync --extra gpu --group dev
source .venv/bin/activate
python -c "
import torch
from nanochat.common import COMPUTE_DTYPE, COMPUTE_DTYPE_REASON
from nanochat.tokenizer import get_tokenizer
print('torch:', torch.__version__, torch.version.cuda)
print('cuda:', torch.cuda.is_available(), torch.cuda.get_device_name(0))
print('capability:', torch.cuda.get_device_capability(0))
print('dtype:', COMPUTE_DTYPE, COMPUTE_DTYPE_REASON)
tok = get_tokenizer()
print('vocab:', tok.get_vocab_size(), 'bos:', tok.get_bos_token_id())
"
配置 diff:无(首次搭建,无基线可比)。
数据:尚未下载。
指标:
| 项 | 值 |
|---|---|
| torch | 2.9.1+cu128 |
| CUDA 可用 | True |
| 设备 | NVIDIA H100 80GB HBM3 |
| 计算能力 | (9, 0) |
COMPUTE_DTYPE | torch.bfloat16,auto-detected: CUDA SM 90 |
| 词表与 bos | 32768 与 32759 |
| FA3 | HAS_FA3 为 True |
| 耗时 | 约 4 分钟 |
结论:通过。四项自检全部符合预期,bos_id 等于 vocab_size - 9 说明分词器与词表一致。FA3 可用,后续不需要关闭 SSSL 窗口。
下一步:执行 R02,下载 170 个训练分片与验证分片。
2026-10-22 · R02 · 数据下载(示例)
假设:171 个分片(170 训练 + 1 验证)足以让 d24 在 5,838,484,992 token 的训练中不重复数据;磁盘占用约 17 GB,下载时间在 30 分钟以内。
改动:无。
命令:
export NANOCHAT_BASE_DIR="$HOME/.cache/nanochat"
python -m nanochat.dataset -n 170
ls "$NANOCHAT_BASE_DIR/base_data_climbmix"/*.parquet | wc -l
ls "$NANOCHAT_BASE_DIR/base_data_climbmix" | tail -1
du -sh "$NANOCHAT_BASE_DIR/base_data_climbmix"
配置 diff:无(数据准备阶段)。
数据:karpathy/climbmix-400b-shuffle,训练分片 shard_00000 到 shard_00169,验证分片 shard_06542。
指标:
| 项 | 值 |
|---|---|
| 分片数 | 171 |
| 末片 | shard_06542.parquet |
| 磁盘占用 | 17.2 GB |
| 下载耗时 | 23 分钟 |
| 失败分片 | 0 |
与 -n 8 的差异 | 多 163 个分片 |
结论:通过。末片为 shard_06542.parquet,与 list_parquet_files 取最后一片作为验证集的约定一致,说明验证集会取到正确的分片。
下一步:执行 python -m scripts.tok_train,随后核对 tokenizer.pkl 与 token_bytes.pt 是否同时生成。
2026-10-22 · R03 · d12 短跑基线(示例)
假设:在 d12、--target-param-data-ratio=8、8×H100 下,训练 1680 步可在 8 分钟内完成,val bpb 落在 1.03 附近;该结果可作为后续单变量 A/B 的基线。
改动:无代码改动,仅新建运行记录。相对 speedrun 配置改了三项:深度 24 改为 12、关闭 --fp8、单卡批 16 改为 32。
命令:
export NANOCHAT_BASE_DIR="$HOME/.cache/nanochat"
export OMP_NUM_THREADS=1
cd ~/nanochat && source .venv/bin/activate
torchrun --standalone --nproc_per_node=8 -m scripts.base_train -- \
--depth=12 --target-param-data-ratio=8 \
--device-batch-size=32 \
--run=20261022-d12-baseline --model-tag=d12-baseline \
--core-metric-every=999999 --sample-every=-1 --save-every=-1
torchrun --standalone --nproc_per_node=8 -m scripts.base_eval -- \
--model-tag=d12-baseline --device-batch-size=32 \
--eval=core,bpb --max-per-task=100
配置 diff:
| 键 | speedrun | 本次 |
|---|---|---|
--depth | 24 | 12 |
--device-batch-size | 16 | 32 |
--fp8 | 开 | 关 |
--target-param-data-ratio | 8 | 8 |
数据:171 个分片;训练 token 880,807,296;全局批 524,288;梯度累积 1 步。
指标:
| 指标 | 值 |
|---|---|
| 缩放参数 | 110,100,912 |
num_iterations | 1680 |
| val bpb | 1.031 |
| CORE(100 例/任务) | 0.1042 |
train/tok_per_sec | 2,870,000 |
train/mfu | 28.4 |
total_training_time | 5.2 分钟 |
| 峰值显存 | 约 25 GB |
结论:基线建立。bpb 与预计量级一致;CORE 只用 100 例/任务,仅供趋势参考,不作为能力判据。d12 的缩放参数只有 d24 的 15%,因此它的 CORE 不能与 GPT-2 门槛 0.256525 直接比较。
下一步:以 --matrix-lr 从 0.02 改为 0.025 做单变量 A/B,判定阈值取 bpb 0.002;同 seed、同 token 预算、同评测协议,跑两次取中位数。
追加格式
新增记录时复制下面这段,替换尖括号内容,并同步在「索引」表末尾加一行。
### <YYYY-MM-DD> · R<NN> · <主题>
**假设**:在 <深度、ratio、seed、评测协议> 下,<改动> 会使 <主指标> <方向> 至少 <阈值>。
**改动**:<文件与函数、语义变化>;commit `<hash>`;分支 `<branch>`。
**命令**:
<完整命令,含 export 的环境变量>
**配置 diff**:
键 基线 本次 <键><值><值>
**数据**:<数据集、分片数、训练 token、验证 token>。
**指标**:
指标 值 val bpb <值> CORE <值> train/mfu<值> train/tok_per_sec<值> total_training_time<值> 峰值显存 <值>
**结论**:<采纳 / 待定 / 否决>,依据 <主指标是否超过阈值,副指标是否变差>。
**下一步**:<一个具体动作>。
记录规范
| 字段 | 要求 | 常见错误 |
|---|---|---|
| 日期与编号 | 日期为运行开始日,编号连续 | 用结束日或漏编号 |
| 假设 | 含变量、条件、方向与阈值 | 写成「试试看」 |
| 改动 | 写到函数与语义层 | 只贴 git diff |
| 命令 | 可直接复制执行,含环境变量 | 省略 NANOCHAT_BASE_DIR |
| 配置 diff | 与基线逐键比较,写明只有一项不同 | 漏记隐藏改动 |
| 数据 | 数据集名、分片数、token 数 | 只写「用了 ClimbMix」 |
| 指标 | 五项齐全,注明 CORE 的采样规模 | 只写 bpb |
| 结论 | 只能取三档之一 | 写「效果不错」 |
| 下一步 | 一个可执行动作 | 写「继续优化」 |
五项指标中,val bpb 与 CORE 是质量与能力,train/mfu 与 train/tok_per_sec 是效率,total_training_time 是成本。只记其中一项时,无法判断改动是让模型更好还是只是更慢。
参考来源
- Karpathy, nanochat(commit
92d63d4),dev/LOG.md—— 对应本文件单条记录的结构与失败实验的标注方式。 - Karpathy, nanochat(commit
92d63d4),scripts/base_train.py与scripts/base_eval.py—— 对应日志中五项指标的打印格式与 CORE 的采样参数。 - 本库 实验记录模板 —— 对应九字段定义、阈值与三档结论。
- 本库 跑通speedrun脚本 —— 对应产物路径与验证方法。
- 跨库 成本-延迟-质量权衡:质量指标与时间成本的换算方法见该篇,本文件只记录每次运行的实测值与判定。