AI 学习笔记库 · 总索引
本库是一部以 Obsidian 为载体的系统性 AI 原理教材,覆盖从数学基础到 LLM、RAG、对齐与 Agent 工程的完整链路。全部笔记使用统一术语与符号约定,按阶段递进;每一阶段以 MOC(Map of Content)组织阅读顺序,每篇笔记自带定义、推导、可运行例子、易错点与达标检测。
使用方式
首次使用先读 README,确认工具链与笔记约定。按下方学习路径顺序推进;每完成一篇,勾选该篇的达标检测,并在 项目日志 记录所用时间与未解决问题。遇到前置缺口时沿双链回溯,不要跳读推导。
阶段地图
flowchart TD
M[01 数学基础] --> P[02 Python 与数据处理]
P --> ML[03 经典机器学习]
ML --> DL[04 深度学习核心]
DL --> LLM[05 Transformer 与 LLM 原理]
LLM --> RAG[06 Prompt 与 RAG]
LLM --> FT[07 微调与对齐]
RAG --> AG[08 Agent 与工程化]
FT --> AG
AG --> EV[09 评估、安全与前沿]
EV -.->|研究反馈| LLM
各阶段入口
| 阶段 | MOC | 核心问题 | 主要产出能力 |
|---|---|---|---|
| 01 数学基础 | [[MOC-数学基础]] | 向量、矩阵、导数、概率与优化如何形式化描述学习问题 | 能读懂并手推后续所有公式 |
| 02 Python 与数据处理 | [[MOC-Python]] | 如何用代码高效、可复现地处理张量与数据 | 能写向量化数值代码与数据管道 |
| 03 经典机器学习 | [[MOC-机器学习]] | 从数据到模型的归纳偏置、损失与评估 | 能实现并评估传统模型 |
| 04 深度学习核心 | [[MOC-深度学习]] | 神经网络如何表示与通过梯度学习 | 能手推反向传播并训练网络 |
| 05 Transformer 与 LLM 原理 | [[MOC-LLM原理]] | 注意力、Transformer、GPT/Llama 与从零实现 | 能复现小型 GPT 并解释每个组件 |
| 06 Prompt 与 RAG | [[MOC-Prompt与RAG]] | 如何组织上下文与外部知识增强生成 | 能构建并评估 RAG 系统 |
| 07 微调与对齐 | [[MOC-微调与对齐]] | 如何用数据改变模型行为并符合偏好 | 能完成 LoRA/SFT/DPO 实验 |
| 08 Agent 与工程化 | [[MOC-Agent与工程化]] | 如何把模型组织为可用的系统 | 能设计工具调用、记忆与部署方案 |
| 09 评估、安全与前沿 | [[MOC-评估与安全]] | 如何度量能力、风险与可靠性 | 能设计评估并识别失效模式 |
学习路径
推荐主线为九阶段顺序推进,预计 14–18 周(按每周 8–10 小时计):
- 第 1–2 周:线性代数 → 微积分与梯度 → 概率与统计 → 矩阵分解-SVD与特征分解 → 优化算法-梯度下降与Adam。数学阶段以「能推、能用代码验证」为标准,不追求分析学式的完备证明。
- 第 3 周:Python语法速查 → NumPy向量化 → Pandas数据清洗 → Matplotlib可视化 → 数据工程入门。与 01 阶段交叉进行,用代码验证数学结论。
- 第 4–5 周:机器学习绪论 → 线性回归 → 逻辑回归 → 模型评估与交叉验证 → 支持向量机SVM → 树模型与集成学习 → 无监督学习与聚类 → PCA与降维 → 异常检测 → 推荐系统 → 机器学习系统设计。先建立「损失—优化—评估」闭环,再扩展到模型族。
- 第 6–7 周:神经网络与前向传播 → 反向传播详解 → 损失函数 → 优化器与学习率 → 激活函数 → 正则化与调参 → 卷积神经网络CNN → 循环神经网络RNN → LSTM与GRU → 数据增广 → PyTorch实战入门。反向传播必须手推一遍,不能只调用框架。
- 第 8–10 周:预备知识-token与嵌入 → Tokenizer与BPE → 从RNN到注意力机制 → 注意力机制与QKV → 因果注意力与多头注意力 → 位置编码-正弦与RoPE → Transformer架构详解 → 自回归生成与采样 → GPT系列架构 → BERT与双向编码模型 → KV缓存 → 分组查询注意力GQA → 专家混合MoE → 超长上下文-无限注意力 → Llama-2架构复盘 → 预训练-微调-对齐pipeline → 从零实现小型GPT指南。本阶段是全库重心,nanoGPT 复现必须完成。
- 第 11–12 周:Prompt工程 → 上下文工程与Few-shot → 结构化输出 → Embedding与向量检索 → 向量数据库 → RAG原理与流程 → RAG文档分块策略 → 检索优化与重排Rerank → 进阶RAG-Self-RAG与Agentic-RAG → RAG评估 → 从零实现RAG指南;并行推进 微调方法全景 → LoRA与QLoRA → 数据集质量控制 → 指令微调SFT → 对齐-RLHF → DPO与偏好优化 → 继续预训练与领域适配。
- 第 13–15 周:AI-Agent与工具调用 → Agent工作流与编排 → Agent记忆与上下文 → MCP协议 → Harness与Loop工程 → 模型推理优化 → 分布式训练与部署 → 成本-延迟-质量权衡 → 端到端项目模板。
- 第 16 周以后:模型评估矩阵 → 幻觉与缓解 → 越狱与安全对齐 → 可解释性 → 多模态与生成模型概览 → 论文阅读法 → AI技术动态追踪。此后以论文与项目驱动,回到 05/06/08 阶段按需深挖。
三条能力主线
- 懂底层:01、04、05 三阶段的推导与手算例題构成主干;任何结论都应能回答「它从哪个假设推出」。
- 能复现:02、04 的 PyTorch 训练循环,05 的 从零实现小型GPT指南,06 的 从零实现RAG指南,07 的 LoRA/SFT 实验,08 的 端到端项目模板。
- 会评估:03 的 模型评估与交叉验证、06 的 RAG评估、09 的 模型评估矩阵 构成从指标到实验设计的完整评估能力。
阅读标记约定
- 前置依赖在每篇「关联笔记」中标注「前置」,未掌握时先回溯。
- 关键推导使用编号步骤,便于复核;代码块给出预期输出的形状或数值。
> [!warning]为可检验的错误模式;> [!tip]为机制性直觉,不替代定义与推导。
配套文件
- README:环境、插件、笔记约定与维护流程。
- 概念笔记模板、阶段MOC模板:新增笔记时复制使用。
- 学习记录模板、项目日志:进度与实验记录。