项目日志
本文件记录所有实验与项目的配置、指标与结论。每次实验只追加,不覆盖历史记录;失败实验同样保留,并写明失败原因。
记录规范
- 每个项目一节,节内按时间倒序追加实验。
- 每条实验必须包含:目标、环境、数据、超参数、指标、结论、下一步。
- 指标必须可复现:写明随机种子、数据版本、评测脚本。
- 结论区分「观测」与「推断」,不把单次结果当作规律。
项目一:nanoGPT 式小型 GPT 复现
对应笔记:从零实现小型GPT指南
实验 2026-10-18 · 基线
- 目标:在字符级莎士比亚数据集上训练 6 层、6 头、384 维的 decoder-only 模型,验证训练损失随步数下降。
- 环境:Python 3.11,PyTorch 2.x,单卡 8 GB 显存。
- 数据:
tinyshakespeare,字符级词表 65,训练/验证按 90/10 划分。 - 超参数:上下文长度 256,batch size 64,学习率 ,AdamW,warmup 200 步,训练 5000 步。
- 指标:训练损失、验证损失、单步耗时。
- 观测:<填写实际数值,例如训练损失从 4.17 降至 1.48,验证损失最低 1.52 后回升>。
- 结论:<例如验证损失回升表明过拟合,需增加 dropout 或提前停止>。
- 下一步:<调整 dropout、比较不同学习率调度>。
实验模板
日期:
目标:
环境:
数据:
超参数:
指标:
观测:
推断:
下一步:
项目二:最小 RAG 系统
对应笔记:从零实现RAG指南
实验模板
- 语料与分块:<文档数量、块大小、重叠>
- 嵌入模型:<模型名、维度>
- 检索:<top-k、相似度、是否重排>
- 生成模型:<模型名、温度、最大长度>
- 评估:<Query-Context-Response 三元组打分结果,或人工标注表>
- 观测与结论:<检索命中率、答案正确率、失败类型分布>
项目三:LoRA 指令微调
对应笔记:LoRA与QLoRA
实验模板
- 基座模型:<模型名与参数量>
- 数据:<样本数、来源、清洗规则>
- LoRA 配置:<rank、alpha、dropout、目标模块>
- 训练:<batch size、梯度累积、学习率、epoch>
- 显存峰值:<GB>
- 评估:<任务指标、与基座对比>
- 观测与结论:
项目四:端到端 Agent 系统
对应笔记:端到端项目模板
实验模板
- 任务定义:<输入、输出、成功标准>
- 工具清单:<名称、输入输出 schema、错误处理>
- 循环设计:<最大步数、终止条件、失败回退>
- 记忆:<上下文窗口、摘要策略、外部存储>
- 评估:<任务成功率、平均步数、单任务成本>
- 观测与结论:
阶段里程碑
- [ ] 01 数学:完成全部手推练习,并用 NumPy 数值验证梯度。
- [ ] 02 工具:能写向量化实现,数据处理流程可复现。
- [ ] 03 机器学习:独立实现线性/逻辑回归与一棵决策树,完成交叉验证实验。
- [ ] 04 深度学习:手推两层网络反向传播,训练 CNN 达到设定准确率。
- [ ] 05 LLM:完成小型 GPT 训练与采样,解释 KV Cache 的显存收益。
- [ ] 06 RAG:构建可运行 RAG,并给出三元组评估结果。
- [ ] 07 微调:完成一次 LoRA SFT,比较基座与微调模型。
- [ ] 08 工程:交付含工具调用与错误处理的 Agent 演示。
- [ ] 09 评估:设计一份覆盖能力与安全的评估方案。