w wyl123ly 的博客
MD

项目日志

4 KB 2026.10.18 原文件

项目日志

本文件记录所有实验与项目的配置、指标与结论。每次实验只追加,不覆盖历史记录;失败实验同样保留,并写明失败原因。

记录规范

  • 每个项目一节,节内按时间倒序追加实验。
  • 每条实验必须包含:目标、环境、数据、超参数、指标、结论、下一步。
  • 指标必须可复现:写明随机种子、数据版本、评测脚本。
  • 结论区分「观测」与「推断」,不把单次结果当作规律。

项目一:nanoGPT 式小型 GPT 复现

对应笔记:从零实现小型GPT指南

实验 2026-10-18 · 基线

  • 目标:在字符级莎士比亚数据集上训练 6 层、6 头、384 维的 decoder-only 模型,验证训练损失随步数下降。
  • 环境:Python 3.11,PyTorch 2.x,单卡 8 GB 显存。
  • 数据:tinyshakespeare,字符级词表 65,训练/验证按 90/10 划分。
  • 超参数:上下文长度 256,batch size 64,学习率 ,AdamW,warmup 200 步,训练 5000 步。
  • 指标:训练损失、验证损失、单步耗时。
  • 观测:<填写实际数值,例如训练损失从 4.17 降至 1.48,验证损失最低 1.52 后回升>。
  • 结论:<例如验证损失回升表明过拟合,需增加 dropout 或提前停止>。
  • 下一步:<调整 dropout、比较不同学习率调度>。

实验模板

日期:
目标:
环境:
数据:
超参数:
指标:
观测:
推断:
下一步:

项目二:最小 RAG 系统

对应笔记:从零实现RAG指南

实验模板

  • 语料与分块:<文档数量、块大小、重叠>
  • 嵌入模型:<模型名、维度>
  • 检索:<top-k、相似度、是否重排>
  • 生成模型:<模型名、温度、最大长度>
  • 评估:<Query-Context-Response 三元组打分结果,或人工标注表>
  • 观测与结论:<检索命中率、答案正确率、失败类型分布>

项目三:LoRA 指令微调

对应笔记:LoRA与QLoRA

实验模板

  • 基座模型:<模型名与参数量>
  • 数据:<样本数、来源、清洗规则>
  • LoRA 配置:<rank、alpha、dropout、目标模块>
  • 训练:<batch size、梯度累积、学习率、epoch>
  • 显存峰值:<GB>
  • 评估:<任务指标、与基座对比>
  • 观测与结论:

项目四:端到端 Agent 系统

对应笔记:端到端项目模板

实验模板

  • 任务定义:<输入、输出、成功标准>
  • 工具清单:<名称、输入输出 schema、错误处理>
  • 循环设计:<最大步数、终止条件、失败回退>
  • 记忆:<上下文窗口、摘要策略、外部存储>
  • 评估:<任务成功率、平均步数、单任务成本>
  • 观测与结论:

阶段里程碑

  • [ ] 01 数学:完成全部手推练习,并用 NumPy 数值验证梯度。
  • [ ] 02 工具:能写向量化实现,数据处理流程可复现。
  • [ ] 03 机器学习:独立实现线性/逻辑回归与一棵决策树,完成交叉验证实验。
  • [ ] 04 深度学习:手推两层网络反向传播,训练 CNN 达到设定准确率。
  • [ ] 05 LLM:完成小型 GPT 训练与采样,解释 KV Cache 的显存收益。
  • [ ] 06 RAG:构建可运行 RAG,并给出三元组评估结果。
  • [ ] 07 微调:完成一次 LoRA SFT,比较基座与微调模型。
  • [ ] 08 工程:交付含工具调用与错误处理的 Agent 演示。
  • [ ] 09 评估:设计一份覆盖能力与安全的评估方案。