---
tags: [nanochat, 学习追踪, experiment]
阶段: 学习追踪
难度: ★★☆
created: 2026-10-22
related: "[[实验记录模板]], [[nanochat学习记录模板]], [[跑通speedrun脚本]]"
---

# 实验日志

本文件按时间顺序累积 nanochat 的实际运行记录。每条记录使用 [[实验记录模板]] 的九个字段：日期、假设、改动、命令、配置 diff、数据、指标、结论、下一步。学习计划与达标进度记在 [[nanochat学习记录模板]]，不记在这里。

使用规则有四条。

- 新增记录追加到文末，保持时间正序；最新一条在文件末尾，便于对照上一轮的「下一步」。
- 失败实验在标题末尾标注 `(negative)`，并保留「假设」与「判定阈值」两段，否则无法判断是改动无效还是条件不对。
- 已写入的记录不删除。发现错误时在该条末尾追加「修订」段，写明改了什么、依据是什么。
- 每条记录必须包含可直接复制的完整命令；只写「跑了 d12」不算记录。

## 索引

| 编号 | 日期 | 主题 | 结论 | 下一步 |
|---|---|---|---|---|
| R01 | 2026-10-22 | 环境验证 | 通过 | 下载数据 |
| R02 | 2026-10-22 | 数据下载 | 通过，171 个分片 | 训练分词器 |
| R03 | 2026-10-22 | d12 短跑基线 | 基线建立 | 单变量 A/B |

## 示例记录

> [!info] 以下三条为格式示例
> 数值取自可推导量（步数、token 数、批大小）与典型运行，用于演示填写方式，不对应任何一次真实运行。实际记录时替换为本人日志中的 `Peak memory usage`、`Total training time`、`Validation bpb` 与 `CORE metric` 四行输出。

### 2026-10-22 · R01 · 环境验证（示例）

**假设**：在 8×H100 节点上执行 `uv sync --extra gpu` 后，CUDA、精度、词表、分词器四项自检全部通过，可以启动 d24 预训练。

**改动**：无代码改动。commit `92d63d4`，工作区干净（`git status --porcelain` 为空）。

**命令**：

```bash
export NANOCHAT_BASE_DIR="$HOME/.cache/nanochat"
export OMP_NUM_THREADS=1
cd ~/nanochat
uv venv && uv sync --extra gpu --group dev
source .venv/bin/activate

python -c "
import torch
from nanochat.common import COMPUTE_DTYPE, COMPUTE_DTYPE_REASON
from nanochat.tokenizer import get_tokenizer
print('torch:', torch.__version__, torch.version.cuda)
print('cuda:', torch.cuda.is_available(), torch.cuda.get_device_name(0))
print('capability:', torch.cuda.get_device_capability(0))
print('dtype:', COMPUTE_DTYPE, COMPUTE_DTYPE_REASON)
tok = get_tokenizer()
print('vocab:', tok.get_vocab_size(), 'bos:', tok.get_bos_token_id())
"
```

**配置 diff**：无（首次搭建，无基线可比）。

**数据**：尚未下载。

**指标**：

| 项 | 值 |
|---|---|
| torch | 2.9.1+cu128 |
| CUDA 可用 | True |
| 设备 | NVIDIA H100 80GB HBM3 |
| 计算能力 | (9, 0) |
| `COMPUTE_DTYPE` | torch.bfloat16，auto-detected: CUDA SM 90 |
| 词表与 bos | 32768 与 32759 |
| FA3 | `HAS_FA3` 为 True |
| 耗时 | 约 4 分钟 |

**结论**：通过。四项自检全部符合预期，`bos_id` 等于 `vocab_size - 9` 说明分词器与词表一致。FA3 可用，后续不需要关闭 `SSSL` 窗口。

**下一步**：执行 R02，下载 170 个训练分片与验证分片。

### 2026-10-22 · R02 · 数据下载（示例）

**假设**：171 个分片（170 训练 + 1 验证）足以让 d24 在 5,838,484,992 token 的训练中不重复数据；磁盘占用约 17 GB，下载时间在 30 分钟以内。

**改动**：无。

**命令**：

```bash
export NANOCHAT_BASE_DIR="$HOME/.cache/nanochat"
python -m nanochat.dataset -n 170
ls "$NANOCHAT_BASE_DIR/base_data_climbmix"/*.parquet | wc -l
ls "$NANOCHAT_BASE_DIR/base_data_climbmix" | tail -1
du -sh "$NANOCHAT_BASE_DIR/base_data_climbmix"
```

**配置 diff**：无（数据准备阶段）。

**数据**：`karpathy/climbmix-400b-shuffle`，训练分片 `shard_00000` 到 `shard_00169`，验证分片 `shard_06542`。

**指标**：

| 项 | 值 |
|---|---|
| 分片数 | 171 |
| 末片 | shard_06542.parquet |
| 磁盘占用 | 17.2 GB |
| 下载耗时 | 23 分钟 |
| 失败分片 | 0 |
| 与 `-n 8` 的差异 | 多 163 个分片 |

**结论**：通过。末片为 `shard_06542.parquet`，与 `list_parquet_files` 取最后一片作为验证集的约定一致，说明验证集会取到正确的分片。

**下一步**：执行 `python -m scripts.tok_train`，随后核对 `tokenizer.pkl` 与 `token_bytes.pt` 是否同时生成。

### 2026-10-22 · R03 · d12 短跑基线（示例）

**假设**：在 d12、`--target-param-data-ratio=8`、8×H100 下，训练 1680 步可在 8 分钟内完成，val bpb 落在 1.03 附近；该结果可作为后续单变量 A/B 的基线。

**改动**：无代码改动，仅新建运行记录。相对 speedrun 配置改了三项：深度 24 改为 12、关闭 `--fp8`、单卡批 16 改为 32。

**命令**：

```bash
export NANOCHAT_BASE_DIR="$HOME/.cache/nanochat"
export OMP_NUM_THREADS=1
cd ~/nanochat && source .venv/bin/activate

torchrun --standalone --nproc_per_node=8 -m scripts.base_train -- \
    --depth=12 --target-param-data-ratio=8 \
    --device-batch-size=32 \
    --run=20261022-d12-baseline --model-tag=d12-baseline \
    --core-metric-every=999999 --sample-every=-1 --save-every=-1

torchrun --standalone --nproc_per_node=8 -m scripts.base_eval -- \
    --model-tag=d12-baseline --device-batch-size=32 \
    --eval=core,bpb --max-per-task=100
```

**配置 diff**：

| 键 | speedrun | 本次 |
|---|---|---|
| `--depth` | 24 | 12 |
| `--device-batch-size` | 16 | 32 |
| `--fp8` | 开 | 关 |
| `--target-param-data-ratio` | 8 | 8 |

**数据**：171 个分片；训练 token 880,807,296；全局批 524,288；梯度累积 1 步。

**指标**：

| 指标 | 值 |
|---|---|
| 缩放参数 | 110,100,912 |
| `num_iterations` | 1680 |
| val bpb | 1.031 |
| CORE（100 例/任务） | 0.1042 |
| `train/tok_per_sec` | 2,870,000 |
| `train/mfu` | 28.4 |
| `total_training_time` | 5.2 分钟 |
| 峰值显存 | 约 25 GB |

**结论**：基线建立。bpb 与预计量级一致；CORE 只用 100 例/任务，仅供趋势参考，不作为能力判据。d12 的缩放参数只有 d24 的 15%，因此它的 CORE 不能与 GPT-2 门槛 0.256525 直接比较。

**下一步**：以 `--matrix-lr` 从 0.02 改为 0.025 做单变量 A/B，判定阈值取 bpb 0.002；同 seed、同 token 预算、同评测协议，跑两次取中位数。

## 追加格式

新增记录时复制下面这段，替换尖括号内容，并同步在「索引」表末尾加一行。

````markdown
### <YYYY-MM-DD> · R<NN> · <主题>

**假设**：在 <深度、ratio、seed、评测协议> 下，<改动> 会使 <主指标> <方向> 至少 <阈值>。

**改动**：<文件与函数、语义变化>；commit `<hash>`；分支 `<branch>`。

**命令**：

```bash
<完整命令，含 export 的环境变量>
```

**配置 diff**：

| 键 | 基线 | 本次 |
|---|---|---|
| `<键>` | `<值>` | `<值>` |

**数据**：<数据集、分片数、训练 token、验证 token>。

**指标**：

| 指标 | 值 |
|---|---|
| val bpb | <值> |
| CORE | <值> |
| `train/mfu` | <值> |
| `train/tok_per_sec` | <值> |
| `total_training_time` | <值> |
| 峰值显存 | <值> |

**结论**：<采纳 / 待定 / 否决>，依据 <主指标是否超过阈值，副指标是否变差>。

**下一步**：<一个具体动作>。
````

## 记录规范

| 字段 | 要求 | 常见错误 |
|---|---|---|
| 日期与编号 | 日期为运行开始日，编号连续 | 用结束日或漏编号 |
| 假设 | 含变量、条件、方向与阈值 | 写成「试试看」 |
| 改动 | 写到函数与语义层 | 只贴 `git diff` |
| 命令 | 可直接复制执行，含环境变量 | 省略 `NANOCHAT_BASE_DIR` |
| 配置 diff | 与基线逐键比较，写明只有一项不同 | 漏记隐藏改动 |
| 数据 | 数据集名、分片数、token 数 | 只写「用了 ClimbMix」 |
| 指标 | 五项齐全，注明 CORE 的采样规模 | 只写 bpb |
| 结论 | 只能取三档之一 | 写「效果不错」 |
| 下一步 | 一个可执行动作 | 写「继续优化」 |

五项指标中，`val bpb` 与 `CORE` 是质量与能力，`train/mfu` 与 `train/tok_per_sec` 是效率，`total_training_time` 是成本。只记其中一项时，无法判断改动是让模型更好还是只是更慢。

## 参考来源

- Karpathy, *nanochat*（commit `92d63d4`），`dev/LOG.md` —— 对应本文件单条记录的结构与失败实验的标注方式。
- Karpathy, *nanochat*（commit `92d63d4`），`scripts/base_train.py` 与 `scripts/base_eval.py` —— 对应日志中五项指标的打印格式与 CORE 的采样参数。
- 本库 [[实验记录模板]] —— 对应九字段定义、阈值与三档结论。
- 本库 [[跑通speedrun脚本]] —— 对应产物路径与验证方法。
- 跨库 [[成本-延迟-质量权衡]]：质量指标与时间成本的换算方法见该篇，本文件只记录每次运行的实测值与判定。
