学习路线与前置要求
定义
学习路线是以三种能力为目标的阅读与实验计划:能解释每个设计的原因(懂原理)、能独立复现仓库的关键产物(能复现)、能预测改动对显存、吞吐与指标的影响(懂工程);它把本库 10 个阶段的笔记按 7 至 8 周、每周 8 至 10 小时排列,并为每个阶段给出可检验的验收标准。
前置要求是完成 02 至 10 阶段所需的最小知识集合,包括 Python 与 PyTorch 的工程能力、线性代数、微积分、概率统计与 Transformer 基础;缺少其中任何一项,相关阶段的推导或代码阅读都会中断。
定义中出现的术语:
- 验收标准(acceptance criterion):用可观察行为描述的阶段完成条件,例如「能写出某个公式」「能跑通某条命令并解释输出」。
- 自测题(self-test):在读某阶段之前用于检查前置是否足够的题目,答不出时应先补前置而不是硬读。
- 有监督微调(Supervised Fine-Tuning, SFT):用带角色标记的对话数据继续训练基座模型,使其学会按格式回答的阶段。
- 浮点运算次数(floating point operations, FLOPs):衡量训练与推理计算量的单位;本库用每个 token 的 FLOPs 估算总成本。
- 键值缓存(Key-Value Cache, KV Cache):把注意力已算出的键与值缓存下来,使解码每步只处理新 token,从而降低长上下文推理成本。
- CORE:DCLM 评测集上 22 项任务的 centered accuracy 均值;GPT-2 的门槛为 0.256525。
- 组相对策略优化(Group Relative Policy Optimization, GRPO):用组内平均奖励作基线、无需价值网络的策略梯度方法;本库在 07 阶段讲其简化实现。
- 显存(VRAM):GPU 上可用于存放参数、梯度、优化器状态与激活值的内存;它决定能训练多大的模型与批大小。
- 硬件档位(hardware tier):按可用算力划分的执行级别,本库分为 CPU 或 Apple Silicon、单卡 24GB、8×H100 三档,并补充 8×A100 的兼容说明。
- 预算(budget):训练成本,等于墙钟小时数乘以节点单价;8×H100 按 3 美元/GPU/小时计约 24 美元/小时。
- 计算最优(compute-optimal):在给定算力下损失最小的参数量与 token 数配比;本库用数据:参数比表达。
为什么重要
前置缺口是学习失败的主要原因。读到 GPT.forward 时不知道 (B, T, C) 经过 c_q 后为什么变成 (B, T, H, D),读到交叉熵时不知道负对数似然与困惑度的关系,读到 Muon 时不知道正交化在做什么——这些都不是「多看几遍」能解决的,必须回到前置补齐。自测题的作用是在投入时间之前暴露缺口。
路线决定时间成本。8×H100 节点约 24 美元/小时,一次完整 speedrun 约 1.5 至 2 小时;如果顺序错了,同样的内容要读两遍、实验要重跑,成本翻倍。按依赖顺序推进可以用最少的 GPU 时间换最多的理解。
硬件决定可做的实验。CPU 上只能验证流水线是否跑通,单卡 24GB 上只能训练小模型并做 SFT,8×H100 上才能复现 GPT-2 级结果。把验收标准与硬件绑定,可以避免在错误的设备上追求达不到的目标,也可以避免在昂贵的设备上做本可以在本地完成的事。
与《AI学习总纲》的分工决定阅读效率。总纲负责通用原理与数学推导,本库负责 nanochat 的落地、repo 代码与成本判断;同一主题在两处各读一遍是浪费,只在需要时用双链回跳。
在三种能力中的位置。本篇属于执行层:它把 01 阶段的定位转化为可执行的周计划、可检验的验收标准与可承受的硬件预算,后续 10 阶段的「本地环境搭建」「跑通 speedrun」「用 --depth 调参」都以本篇为索引。
原理与推导
1. 前置知识的依赖链
| 知识 | 在 nanochat 中的具体用途 | 最低要求 | 推荐来源 |
|---|---|---|---|
| Python 与 PyTorch | 读 nn.Module、张量形状、dtype、torch.compile、单卡与 torchrun 启动 | 能读懂 300 行 PyTorch 训练代码,能解释 view、transpose、contiguous 的差别 | [[PyTorch实战入门]] |
| 线性代数 | 矩阵乘法形状、注意力中的 、Muon 的正交化、SVD | 能手算 的形状与参数量,能解释秩与正交矩阵 | [[线性代数]]、[[矩阵分解-SVD与特征分解]] |
| 微积分 | 链式法则、梯度、softmax 与交叉熵的导数 | 能推出 softmax 加交叉熵对 logits 的梯度是 | [[微积分与梯度]]、[[反向传播详解]] |
| 概率统计 | 条件概率、期望、softmax、交叉熵、困惑度、采样 | 能解释 temperature 与 top-k 如何改变分布,能换算交叉熵与困惑度 | [[概率与统计]] |
| Transformer 基础 | 自注意力、多头、残差、LayerNorm、RoPE | 能画出单层结构并标出每个张量的形状 | [[Transformer架构详解]]、[[注意力机制与QKV]] |
| 工程基础 | 命令行、虚拟环境、SSH、nvidia-smi、日志与断点 | 能在远程机器上安装依赖、启动长任务并查看显存占用 | [[本地环境搭建]] |
依赖关系不是并列的。PyTorch 与线性代数是地基:没有它们,04 阶段的代码与形状分析无法进行;微积分与概率是 02 阶段的核心:没有它们,损失函数、优化器与采样都只能背结论;Transformer 基础是 04 阶段的入口:没有它,gpt.py 的每个模块都像新概念。工程基础则贯穿 05 与 10:它不决定你能否理解,而决定你能否把理解变成产物。
2. 自测题
在读 02 阶段之前完成以下六题;每题只需写出要点,答不出时先补对应前置。
- 形状为 的张量经过一个无偏置的
Linear(D, 3D)后形状是什么?该层有多少参数?
要点:输出 ;参数 ,因为无偏置。
- 因果注意力为什么在 softmax 之前把未来位置的分数设为负无穷,而不是在 softmax 之后把概率置零?
要点:softmax 之后置零会破坏归一化,剩余概率之和不为 1;置为负无穷后指数为 0,归一化自动只覆盖可见位置。
- 交叉熵、困惑度与 bits per byte 的关系是什么?
要点:设交叉熵为 nats/token,则困惑度为 ;bpb 为 。
- 单层自注意力在序列长度 上的计算量与显存为什么随 增长?
要点:分数矩阵形状为 ,每个元素都要计算 ,因此时间与显存都含 项。
- RoPE 为什么能编码相对位置?
要点:旋转后的内积 只依赖 ,绝对角度在相乘时抵消。
- AdamW 与「Adam 加 L2 正则」的区别是什么?
要点:L2 项进入二阶矩后被逐坐标缩放,衰减强度依赖梯度统计;AdamW 把衰减从梯度中解耦,每步按固定比例收缩参数。
六题覆盖 02、04 两个阶段的最小门槛。第 1 题答不出时先补 PyTorch实战入门;第 2、4 题先补 注意力机制与QKV;第 5 题先补 位置编码-正弦与RoPE;第 3、6 题先补 损失函数 与 优化算法-梯度下降与Adam。
| 题号 | 考察点 | 答不出时先读 |
|---|---|---|
| 1 | PyTorch 张量形状与参数计数 | [[PyTorch实战入门]] |
| 2 | 因果掩码的语义与数值稳定 | [[注意力机制与QKV]] |
| 3 | 交叉熵、困惑度与 bpb 的换算 | [[损失函数]] |
| 4 | 注意力的时间与显存复杂度 | [[Transformer架构详解]] |
| 5 | RoPE 的相对位置性质 | [[位置编码-正弦与RoPE]] |
| 6 | 解耦权重衰减与自适应步长 | [[优化算法-梯度下降与Adam]] |
3. 与《AI学习总纲》的分工
| 主题 | 总纲负责 | 本库负责 |
|---|---|---|
| 注意力 | [[注意力机制与QKV]] 的缩放点积与多头机制 | [[自注意力机制]] 的 CausalSelfAttention、1.2 缩放、QK norm、窗口模式 |
| 优化 | [[优化算法-梯度下降与Adam]] 的更新式与收敛分析 | [[梯度下降与AdamW]] 的参数分组与调度、[[Muon优化器]] 的 Polar Express(Newton 迭代正交化)与 NorMuon(方差缩放) |
| 微调 | [[指令微调SFT]] 的方法分类 | [[有监督微调SFT]] 的 render_conversation 掩码与数据混合 |
| 评测 | [[模型评估矩阵]] 的指标选型 | [[CORE指标]] 的 22 项任务与 centered accuracy、[[生成report成绩单]] |
| 推理 | [[KV缓存]] 的原理 | [[KV Cache原理]] 的 FA3 布局、显存公式与 prefill/decode |
| 成本 | [[成本-延迟-质量权衡]] 的通用框架 | [[FLOPs与训练成本估算]]、[[部署与成本]] 的具体算例 |
分工规则有三条。第一,总纲读一遍原理,本库读落地;不要在总纲里找 repo 的文件名与行号,也不要在本库重复推通用公式。第二,遇到推导缺口先回总纲,遇到实现疑问先查 repo,再回本库对应笔记。第三,同一主题的两篇笔记用双链互相引用,读一篇时知道另一篇的存在即可,不必同时读。
4. 7 至 8 周路线与验收标准
路线与 00-MOC 的周次一致,本篇把每阶段拆成可检验的验收标准。每周按 8 至 10 小时估计,总投入约 64 至 80 小时。
| 周次 | 阶段 | 笔记 | 验收标准 | 小时 |
|---|---|---|---|---|
| 第 1 周 | 01 背景与定位 | 本篇所在阶段的 4 篇 | 画出十阶段数据流;解释 43,000 美元与 48 美元的差距;说出 nanoGPT 的三处边界;说明 d24 与 d26 的取舍 | 6 至 8 |
| 第 2 周 | 02 数学与工程基础 | 6 篇 | 手推 AdamW 更新式;写出 Muon 一步的动量、正交化与缩放;用 估算 d24 的训练 FLOPs 并折算美元;完成交叉熵、困惑度、bpb 的互换 | 8 至 10 |
| 第 3 周 | 03 分词器 | 4 篇 | 手算两次 BPE 合并;解释 32768 词表与 9 个特殊 token 的用途;说清 rustbpe 训练与 tiktoken 推理的分工;解释压缩率与 bpb 的关系 | 8 至 10 |
| 第 4 至 5 周 | 04 Transformer 架构 | 10 篇 | 复述 GPT.forward 的步骤与每个张量的形状;解释 RoPE 的负角度约定;各用一句话解释 sliding window、smear、value embedding、x0/resid、backout、softcap;跑通 FA3 缺失时的 SDPA 回退 | 16 至 20 |
| 第 6 周 | 05 预训练 | 9 篇 | 解释 BOS 对齐 best-fit 的 100% 利用率与约 35% 裁剪;跑一次 d12 短训并记录 bpb;解释 CORE 0.256525 的含义;说明 MuonAdamW 的三阶段通信与 ZeRO(零冗余优化器状态分片)式分片 | 8 至 10 |
| 第 7 周 | 06 中段训练与 SFT、07 强化学习 | 8 篇 | 构造一条对话的 ids 与 mask 并说明每个位置的取值;解释 SFT 热启动优化器与学习率比例;说出简化 GRPO 相对 REINFORCE 与教科书 GRPO 的差别;解释 pass@k(k 次采样中至少一次答对) | 10 至 12 |
| 第 8 周 | 08 评测、09 推理引擎 | 11 篇 | 写出 CORE 与 ChatCORE(对话模型的 5 项任务集成指标)的 centered accuracy 公式;按公式估算 2048 上下文、d24 的 KV Cache 显存;解释 prefill 与 decode 的 roofline(算力受限与带宽受限)差异;生成一份 report 成绩单 | 10 至 12 |
| 收尾 | 10 复现与实验 | 5 篇 | 在可用硬件上跑通 d12 或 d16 的完整流程;写三份实验记录;对 OOM、FA3 缺失、数据未下载三类故障给出排查路径 | 8 至 10 |
三条调整规则:
- 已有 Transformer 基础与 PyTorch 经验的读者可以把第 2 周压缩到 3 天、第 4 至 5 周压缩到 6 天,把省下的时间投入第 6 周的实验。压缩的前提是自测题全部通过,而不是「感觉会」。
- 没有 GPU 的读者把第 6、7 周的实验改为阅读代码与手算,验收标准中的「跑通」改为「能解释命令的产物与失败模式」;等有硬件后再补实验,不要在 CPU 上追求 GPT-2 级结果。
- 每周结束时用 实验日志 记录三件事:本周读了什么、跑了什么、未解决什么。记录的作用是暴露「读完了但不会用」的假进度。
5. 硬件与预算分级
| 档位 | 硬件 | 可完成的任务 | 配置要点 | 成本 | 不可完成 |
|---|---|---|---|---|---|
| A | CPU 或 Apple Silicon | 分词器训练、极小模型预训练、SFT、CLI 对话、代码阅读 | bash runs/runcpu.sh:d6、头维 64、序列 512、微批 32、总批 16384、5000 步 | 电费与本地时间 | GPT-2 级结果、CORE 全量评测 |
| B | 单卡 24GB | d12 至 d16 的短预训练、SFT、小规模评测、--depth 实验 | 去掉 --fp8;--window-pattern=L 避免 SDPA 慢路径;微批 2 至 4;bf16 | 数小时租用费 | 完整 speedrun、ChatCORE 全量 |
| C | 8×H100 | speedrun 全流程、CORE 与 ChatCORE、FP8 实验 | bash runs/speedrun.sh:d24、ratio 8、微批 16、FP8 | 约 1.5 至 2 小时,约 36 至 48 美元;抢占式约 15 美元 | 更大深度的完整训练 |
| D | 8×A100 | 与 C 相同的流程,速度更慢 | 去掉 --fp8;bf16 下每步质量略高,可适当降低 ratio | 按供应商价格 | FP8 训练(需要 H100 及以上) |
档位与验收标准要绑定。A 档只验收「流水线是否跑通」与「代码是否读懂」,不验收 CORE;B 档验收「小模型能否训练与 SFT」,可以观察 bpb 下降但不追求门槛;C 档验收「能否复现 GPT-2 级结果并解释每个超参数」。把 C 档的标准套到 A 档,只会得到不匹配的评价;把 A 档的标准当成终点,则永远无法理解规模效应。
6. 每周时间如何分配
八周路线只有 64 至 80 小时,分配方式比总时长更重要。推荐比例见下表;比例不是硬性规定,但任何一项长期为零都会导致「读完了但不会用」。
| 活动 | 占比 | 产出 | 检查方式 |
|---|---|---|---|
| 阅读笔记 | 30% | 每篇的达标检测勾选 | 能复述定义与关键结论 |
| 手推公式 | 20% | 一页推导草稿 | 能不看笔记重推 |
| 阅读 repo 代码 | 25% | 标出关键函数、形状与删除后果 | 能解释每段代码为什么存在 |
| 运行命令与实验 | 15% | 命令、日志与输出摘要 | 能解释产物与失败模式 |
| 复盘与记录 | 10% | [[实验日志]] 条目 | 下周开始时能说出未解决问题 |
手推公式的占比容易被低估。02 阶段的 AdamW 与 Muon、04 阶段的注意力形状、05 阶段的 FLOPs 与 CORE 公式,如果只看不推,遇到变体就无法迁移;推导草稿不必工整,但必须能独立重写。阅读代码的占比也不能压缩:nanochat 的关键结论都在代码里,笔记只是索引。
预算计算很简单:成本等于墙钟小时数乘以节点单价。按 README 的 3 美元/GPU/小时,8×H100 节点为 24 美元/小时;排行榜 Run 1 的 3.04 小时约 73 美元,Run 6 的 1.65 小时约 40 美元,README 取整的 2 小时约 48 美元。这些数字只覆盖训练迭代,不含评测、SFT、数据下载与工程调试,实际支出应在此基础上留出余量。
显存估算需要区分四类占用:参数、梯度、优化器状态与激活值。d12 的缩放参数量约 110M,参数量本身不大,但 fp32 主权重、Muon 动量、AdamW 一阶与二阶矩会成倍放大;激活值随微批与序列长度线性增长。24GB 卡上 d12 通常可跑,d16 需要减小微批或序列长度,具体数值以 10 阶段的实测为准,不要照抄 8×H100 的 --device-batch-size=16。
在 nanochat 中的落地
- 第 1 周的验收对应本篇与前三篇笔记;读完后应能独立解释
runs/speedrun.sh的每一行。 - 第 2 周的验收对应 02 阶段六篇;其中 FLOPs 估算要用到
GPT.estimate_flops()的 口径,成本换算要用到 README 的单价。 - 第 3 周的验收对应
scripts/tok_train.py、scripts/tok_eval.py与nanochat/tokenizer.py;tok_eval的输出是压缩率与每 token 字节数。 - 第 4 至 5 周的验收对应
nanochat/gpt.py的GPT.forward、CausalSelfAttention.forward与_compute_window_sizes;FA3 缺失时nanochat/flash_attention.py回退到 SDPA。 - 第 6 周的验收对应
scripts/base_train.py、nanochat/dataloader.py、nanochat/core_eval.py与nanochat/optim.py;d12 短训的命令可在 README 的 Research 一节找到。 - 第 7 周的验收对应
scripts/chat_sft.py、nanochat/tokenizer.py的render_conversation与scripts/chat_rl.py。 - 第 8 周的验收对应
scripts/base_eval.py、scripts/chat_eval.py、scripts/infer_bench.py与nanochat/engine.py。 - 收尾阶段的验收对应 10 阶段的五篇笔记,最终以能在自己的硬件上跑通并解释失败模式为准。
关键直觉
机制性直觉
前置知识的检验标准不是「学过」,而是「能在 repo 里指认」。看到
q = q * 1.2应能说出它把注意力 logits 放大 1.44 倍、等价于降低 softmax 温度;看到mask[1:]应能说出为什么掩码要相对 target 右移一位;看到--device-batch-size=16应能算出它与总批、梯度累积的关系。验收标准因此写成「能指出、能算出、能跑通」,而不是「读完」。与定义中「验收标准」的对应关系是:可观察行为才是完成条件,阅读页数不是。
例子与代码
例子 1:三档硬件的启动命令
# A. CPU / Apple Silicon:约 30 分钟,只验证流水线是否通
bash runs/runcpu.sh
# B. 单卡 24GB:d12,微批 2,500 步冒烟跑,关闭 CORE 评测与滑动窗口
python -m scripts.base_train --depth=12 --device-batch-size=2 \
--window-pattern=L --num-iterations=500 --eval-tokens=4194304 \
--core-metric-every=-1 --run=d12-local
# C. 8×H100:完整 speedrun,约 1.5 至 2 小时
bash runs/speedrun.sh
三档命令的差别不只是规模。A 档的 runcpu.sh 把深度降到 6、头维降到 64、序列降到 512,并把 CORE 评测关掉(--core-metric-every=-1),因此它验的是流水线与接口,不是能力。B 档保留 2048 序列,但去掉 FP8(该选项要求 H100 及以上),并用 --window-pattern=L 避免 SDPA 对滑动窗口支持不足导致的性能塌陷;base_train.py 在启动时会明确警告这一点。B 档的 500 步乘以自动计算的 总批约为 2.6×10^8 token,只用于观察 bpb 是否下降,不追求 CORE 门槛。C 档用 --fp8 与 8 卡,总批由公式给出 1048576,微批 16 需要梯度累积 4 次。
单卡运行不需要 torchrun:README 明确说明省略 torchrun 即可在单卡上运行,代码会自动切换到梯度累积,结果近似相同,只是慢 8 倍。这一点决定了 B 档的可行性,也决定了它的时间成本。
例子 2:指标换算与预算
import math
# 交叉熵(nats/token)换算成 bits per byte 与困惑度
ce_nats = 2.50 # 假设的验证交叉熵
bytes_per_token = 3.50 # 由 tokenizer 的 token_bytes 估计
bpb = ce_nats / (math.log(2) * bytes_per_token)
ppl = math.exp(ce_nats)
print(f"bpb={bpb:.4f} ppl={ppl:.2f}")
# 成本换算:8×H100 按 3 美元/GPU/小时,即 24 美元/小时
for hours in (1.65, 3.04, 2.00):
print(f"{hours:.2f}h -> {hours * 24:.2f} USD")
输出:
bpb=1.0305 ppl=12.18
1.65h -> 39.60 USD
3.04h -> 72.96 USD
2.00h -> 48.00 USD
第一行说明同一损失可以有两种读法:困惑度按 token 平均,bpb 按字节平均;后者在词表不同时仍可比。第二组说明预算与时间成正比:排行榜 Run 6 的 1.65 小时约 40 美元,Run 1 的 3.04 小时约 73 美元,README 取整的 2 小时约 48 美元。把这些数字记住,可以在决定是否重跑一次实验时快速判断成本。
例子 3:开跑前的检查命令
# 1) 依赖与设备:确认 PyTorch 可用、CUDA 可见
python -c "import torch; print(torch.__version__, torch.cuda.is_available())"
nvidia-smi --query-gpu=name,memory.total --format=csv
# 2) 数据目录与磁盘:默认 ~/.cache/nanochat
echo "$NANOCHAT_BASE_DIR"
df -h "$HOME"
# 3) 最小数据管线:下载 8 个 shard 并训练词表
python -m nanochat.dataset -n 8
python -m scripts.tok_train
上面的检查对应四类常见失败:依赖缺失会在导入时立刻报错;显存不足会在训练启动后 OOM,提前用 nvidia-smi 确认型号可以避免选错档位;磁盘不足会在下载中途失败;数据管线错误会在分词器训练时报错,此时尚未消耗 GPU 时间。tok_train 成功结束的标志是分词器文件写入 NANOCHAT_BASE_DIR,之后才值得启动预训练。
易错点
可检验的错误
- 跳过 02 阶段直接读 05 阶段。优化器分组、学习率缩放与 FLOPs 估算都依赖 02 的推导,跳过会在
base_train.py的公式前停滞。- 在 24GB 卡上照抄
--device-batch-size=16。d24 在 80GB 上才用 16,24GB 上应按 2 至 4 起步,逐步试探到不 OOM;显存不足时先降微批,再降序列。- 在 SDPA 回退路径上开
--window-pattern=SSSL。base_train.py会警告滑动窗口不受支持、利用率极差;非 Hopper 硬件应显式设为L。- 用 1.65 小时给整条流水线做预算。排行榜时间只计预训练迭代,数据下载、分词器训练、SFT、评测与调试都要额外时间;预算应留出至少一倍余量。
- 把「读完笔记」当作验收。验收标准写的是「能指出、能算出、能跑通」;只读不练,遇到真实报错仍然无法定位。
- 在总纲与本库重复读同一主题。总纲读一遍原理即可,本库只读落地差异;重复读会挤占实验时间。
- 认为单卡不能运行 nanochat。省略
torchrun即可在单卡运行,代码自动切换梯度累积,结果近似相同,只是慢 8 倍。
关联笔记
- 前置:Karpathy与nanochat —— 项目定位、成本口径与单旋钮,是路线第 1 周的内容。
- 前置:LLM101n课程 —— 原理骨架与章节映射,用于补 02 至 09 阶段的概念缺口。
- 后续:本地环境搭建 —— 把本篇的硬件档位落到具体的安装步骤与依赖检查。
- 后续:跑通speedrun脚本 —— 把第 6 周的验收落到完整的端到端执行与产物解释。
- 跨库:PyTorch实战入门 —— 通用 PyTorch 用法见该篇,本篇只列 nanochat 需要的最小工程能力;另可参考 Transformer架构详解 补注意力基础。
达标检测
- [ ] 能在十分钟内完成六道自测题,并指出每题对应的前置笔记。
- [ ] 能为自己当前的硬件选择档位,写出对应的启动命令,并解释每条参数的理由。
- [ ] 能按 估算 d24 的训练 FLOPs,并按 24 美元/小时折算一次 speedrun 的成本。
- [ ] 能说明「读完」与「验收」的区别,并为一个阶段写出三条可观察的验收标准。
- [ ] 能解释 24GB 卡上为什么要先降微批而不是先降序列,以及
--window-pattern=L的作用。 - [ ] 能运行本篇第二个代码块,把
bytes_per_token改为 4.0 并解释 bpb 的变化方向。 - [ ] 能为自己的八周计划写出每周的产出物与失败预案(无 GPU、OOM、数据下载失败)。
参考来源
- Karpathy, nanochat README(commit 92d63d4),硬件说明、单卡运行、CPU 运行、成本与 Research 一节的 d12 命令 —— 对应本篇的硬件分级与路线验收。
- Karpathy, nanochat
runs/speedrun.sh(commit 92d63d4),完整流程与各阶段命令 —— 对应第 6 至 8 周的验收命令。 - Karpathy, nanochat
runs/runcpu.sh(commit 92d63d4),CPU 档位的深度、序列、批大小与步数 —— 对应 A 档配置。 - Karpathy, nanochat
dev/LEADERBOARD.md(commit 92d63d4),时间口径、成本与提交规则 —— 对应预算换算与第 1 周的验收。 - Karpathy, nn-zero-to-hero,从 bigram 到 Transformer 的教学顺序 —— 对应前置知识与自测题的组织方式。
- uv 文档,虚拟环境与依赖同步 —— 对应工程基础中的环境安装与
uv sync --extra gpu的用法。