w wyl123ly 的博客
MD

实验日志

9 KB 2026.10.22 原文件

实验日志

本文件按时间顺序累积 nanochat 的实际运行记录。每条记录使用 实验记录模板 的九个字段:日期、假设、改动、命令、配置 diff、数据、指标、结论、下一步。学习计划与达标进度记在 nanochat学习记录模板,不记在这里。

使用规则有四条。

  • 新增记录追加到文末,保持时间正序;最新一条在文件末尾,便于对照上一轮的「下一步」。
  • 失败实验在标题末尾标注 (negative),并保留「假设」与「判定阈值」两段,否则无法判断是改动无效还是条件不对。
  • 已写入的记录不删除。发现错误时在该条末尾追加「修订」段,写明改了什么、依据是什么。
  • 每条记录必须包含可直接复制的完整命令;只写「跑了 d12」不算记录。

索引

编号日期主题结论下一步
R012026-10-22环境验证通过下载数据
R022026-10-22数据下载通过,171 个分片训练分词器
R032026-10-22d12 短跑基线基线建立单变量 A/B

示例记录

以下三条为格式示例

数值取自可推导量(步数、token 数、批大小)与典型运行,用于演示填写方式,不对应任何一次真实运行。实际记录时替换为本人日志中的 Peak memory usage、Total training time、Validation bpb 与 CORE metric 四行输出。

2026-10-22 · R01 · 环境验证(示例)

假设:在 8×H100 节点上执行 uv sync --extra gpu 后,CUDA、精度、词表、分词器四项自检全部通过,可以启动 d24 预训练。

改动:无代码改动。commit 92d63d4,工作区干净(git status --porcelain 为空)。

命令:

export NANOCHAT_BASE_DIR="$HOME/.cache/nanochat"
export OMP_NUM_THREADS=1
cd ~/nanochat
uv venv && uv sync --extra gpu --group dev
source .venv/bin/activate

python -c "
import torch
from nanochat.common import COMPUTE_DTYPE, COMPUTE_DTYPE_REASON
from nanochat.tokenizer import get_tokenizer
print('torch:', torch.__version__, torch.version.cuda)
print('cuda:', torch.cuda.is_available(), torch.cuda.get_device_name(0))
print('capability:', torch.cuda.get_device_capability(0))
print('dtype:', COMPUTE_DTYPE, COMPUTE_DTYPE_REASON)
tok = get_tokenizer()
print('vocab:', tok.get_vocab_size(), 'bos:', tok.get_bos_token_id())
"

配置 diff:无(首次搭建,无基线可比)。

数据:尚未下载。

指标:

项值
torch2.9.1+cu128
CUDA 可用True
设备NVIDIA H100 80GB HBM3
计算能力(9, 0)
COMPUTE_DTYPEtorch.bfloat16,auto-detected: CUDA SM 90
词表与 bos32768 与 32759
FA3HAS_FA3 为 True
耗时约 4 分钟

结论:通过。四项自检全部符合预期,bos_id 等于 vocab_size - 9 说明分词器与词表一致。FA3 可用,后续不需要关闭 SSSL 窗口。

下一步:执行 R02,下载 170 个训练分片与验证分片。

2026-10-22 · R02 · 数据下载(示例)

假设:171 个分片(170 训练 + 1 验证)足以让 d24 在 5,838,484,992 token 的训练中不重复数据;磁盘占用约 17 GB,下载时间在 30 分钟以内。

改动:无。

命令:

export NANOCHAT_BASE_DIR="$HOME/.cache/nanochat"
python -m nanochat.dataset -n 170
ls "$NANOCHAT_BASE_DIR/base_data_climbmix"/*.parquet | wc -l
ls "$NANOCHAT_BASE_DIR/base_data_climbmix" | tail -1
du -sh "$NANOCHAT_BASE_DIR/base_data_climbmix"

配置 diff:无(数据准备阶段)。

数据:karpathy/climbmix-400b-shuffle,训练分片 shard_00000 到 shard_00169,验证分片 shard_06542。

指标:

项值
分片数171
末片shard_06542.parquet
磁盘占用17.2 GB
下载耗时23 分钟
失败分片0
与 -n 8 的差异多 163 个分片

结论:通过。末片为 shard_06542.parquet,与 list_parquet_files 取最后一片作为验证集的约定一致,说明验证集会取到正确的分片。

下一步:执行 python -m scripts.tok_train,随后核对 tokenizer.pkl 与 token_bytes.pt 是否同时生成。

2026-10-22 · R03 · d12 短跑基线(示例)

假设:在 d12、--target-param-data-ratio=8、8×H100 下,训练 1680 步可在 8 分钟内完成,val bpb 落在 1.03 附近;该结果可作为后续单变量 A/B 的基线。

改动:无代码改动,仅新建运行记录。相对 speedrun 配置改了三项:深度 24 改为 12、关闭 --fp8、单卡批 16 改为 32。

命令:

export NANOCHAT_BASE_DIR="$HOME/.cache/nanochat"
export OMP_NUM_THREADS=1
cd ~/nanochat && source .venv/bin/activate

torchrun --standalone --nproc_per_node=8 -m scripts.base_train -- \
    --depth=12 --target-param-data-ratio=8 \
    --device-batch-size=32 \
    --run=20261022-d12-baseline --model-tag=d12-baseline \
    --core-metric-every=999999 --sample-every=-1 --save-every=-1

torchrun --standalone --nproc_per_node=8 -m scripts.base_eval -- \
    --model-tag=d12-baseline --device-batch-size=32 \
    --eval=core,bpb --max-per-task=100

配置 diff:

键speedrun本次
--depth2412
--device-batch-size1632
--fp8开关
--target-param-data-ratio88

数据:171 个分片;训练 token 880,807,296;全局批 524,288;梯度累积 1 步。

指标:

指标值
缩放参数110,100,912
num_iterations1680
val bpb1.031
CORE(100 例/任务)0.1042
train/tok_per_sec2,870,000
train/mfu28.4
total_training_time5.2 分钟
峰值显存约 25 GB

结论:基线建立。bpb 与预计量级一致;CORE 只用 100 例/任务,仅供趋势参考,不作为能力判据。d12 的缩放参数只有 d24 的 15%,因此它的 CORE 不能与 GPT-2 门槛 0.256525 直接比较。

下一步:以 --matrix-lr 从 0.02 改为 0.025 做单变量 A/B,判定阈值取 bpb 0.002;同 seed、同 token 预算、同评测协议,跑两次取中位数。

追加格式

新增记录时复制下面这段,替换尖括号内容,并同步在「索引」表末尾加一行。

### <YYYY-MM-DD> · R<NN> · <主题>

**假设**:在 <深度、ratio、seed、评测协议> 下,<改动> 会使 <主指标> <方向> 至少 <阈值>。

**改动**:<文件与函数、语义变化>;commit `<hash>`;分支 `<branch>`。

**命令**:

<完整命令,含 export 的环境变量>


**配置 diff**:

键基线本次
<键><值><值>
**数据**:<数据集、分片数、训练 token、验证 token>。 **指标**:
指标值
val bpb<值>
CORE<值>
train/mfu<值>
train/tok_per_sec<值>
total_training_time<值>
峰值显存<值>
**结论**:<采纳 / 待定 / 否决>,依据 <主指标是否超过阈值,副指标是否变差>。 **下一步**:<一个具体动作>。

记录规范

字段要求常见错误
日期与编号日期为运行开始日,编号连续用结束日或漏编号
假设含变量、条件、方向与阈值写成「试试看」
改动写到函数与语义层只贴 git diff
命令可直接复制执行,含环境变量省略 NANOCHAT_BASE_DIR
配置 diff与基线逐键比较,写明只有一项不同漏记隐藏改动
数据数据集名、分片数、token 数只写「用了 ClimbMix」
指标五项齐全,注明 CORE 的采样规模只写 bpb
结论只能取三档之一写「效果不错」
下一步一个可执行动作写「继续优化」

五项指标中,val bpb 与 CORE 是质量与能力,train/mfu 与 train/tok_per_sec 是效率,total_training_time 是成本。只记其中一项时,无法判断改动是让模型更好还是只是更慢。

参考来源

  • Karpathy, nanochat(commit 92d63d4),dev/LOG.md —— 对应本文件单条记录的结构与失败实验的标注方式。
  • Karpathy, nanochat(commit 92d63d4),scripts/base_train.py 与 scripts/base_eval.py —— 对应日志中五项指标的打印格式与 CORE 的采样参数。
  • 本库 实验记录模板 —— 对应九字段定义、阈值与三档结论。
  • 本库 跑通speedrun脚本 —— 对应产物路径与验证方法。
  • 跨库 成本-延迟-质量权衡:质量指标与时间成本的换算方法见该篇,本文件只记录每次运行的实测值与判定。