05-预训练Pretraining
10 份资料- CORE指标 Markdown 21 KB 10.22
- MOC-预训练 Markdown 22 KB 10.22
- 分布式训练与优化器分片 Markdown 21 KB 10.22
- 学习率与warmup-warmdown Markdown 30 KB 10.22
- 对比GPT-2核心指标 Markdown 21 KB 10.22
- 数据加载器dataloader Markdown 31 KB 10.22
- 检查点与恢复 Markdown 25 KB 10.22
- 缩放定律与模型深度 Markdown 23 KB 10.22
- 训练数据与FineWeb Markdown 28 KB 10.22
- 训练脚本与speedrun Markdown 30 KB 10.22
没有匹配的资料。