w wyl123ly 的博客
MD

00-MOC

7 KB 2026.10.18 原文件

AI 学习笔记库 · 总索引

本库是一部以 Obsidian 为载体的系统性 AI 原理教材,覆盖从数学基础到 LLM、RAG、对齐与 Agent 工程的完整链路。全部笔记使用统一术语与符号约定,按阶段递进;每一阶段以 MOC(Map of Content)组织阅读顺序,每篇笔记自带定义、推导、可运行例子、易错点与达标检测。

使用方式

首次使用先读 README,确认工具链与笔记约定。按下方学习路径顺序推进;每完成一篇,勾选该篇的达标检测,并在 项目日志 记录所用时间与未解决问题。遇到前置缺口时沿双链回溯,不要跳读推导。

阶段地图

flowchart TD
    M[01 数学基础] --> P[02 Python 与数据处理]
    P --> ML[03 经典机器学习]
    ML --> DL[04 深度学习核心]
    DL --> LLM[05 Transformer 与 LLM 原理]
    LLM --> RAG[06 Prompt 与 RAG]
    LLM --> FT[07 微调与对齐]
    RAG --> AG[08 Agent 与工程化]
    FT --> AG
    AG --> EV[09 评估、安全与前沿]
    EV -.->|研究反馈| LLM

各阶段入口

阶段MOC核心问题主要产出能力
01 数学基础[[MOC-数学基础]]向量、矩阵、导数、概率与优化如何形式化描述学习问题能读懂并手推后续所有公式
02 Python 与数据处理[[MOC-Python]]如何用代码高效、可复现地处理张量与数据能写向量化数值代码与数据管道
03 经典机器学习[[MOC-机器学习]]从数据到模型的归纳偏置、损失与评估能实现并评估传统模型
04 深度学习核心[[MOC-深度学习]]神经网络如何表示与通过梯度学习能手推反向传播并训练网络
05 Transformer 与 LLM 原理[[MOC-LLM原理]]注意力、Transformer、GPT/Llama 与从零实现能复现小型 GPT 并解释每个组件
06 Prompt 与 RAG[[MOC-Prompt与RAG]]如何组织上下文与外部知识增强生成能构建并评估 RAG 系统
07 微调与对齐[[MOC-微调与对齐]]如何用数据改变模型行为并符合偏好能完成 LoRA/SFT/DPO 实验
08 Agent 与工程化[[MOC-Agent与工程化]]如何把模型组织为可用的系统能设计工具调用、记忆与部署方案
09 评估、安全与前沿[[MOC-评估与安全]]如何度量能力、风险与可靠性能设计评估并识别失效模式

学习路径

推荐主线为九阶段顺序推进,预计 14–18 周(按每周 8–10 小时计):

  1. 第 1–2 周:线性代数 → 微积分与梯度 → 概率与统计 → 矩阵分解-SVD与特征分解 → 优化算法-梯度下降与Adam。数学阶段以「能推、能用代码验证」为标准,不追求分析学式的完备证明。
  2. 第 3 周:Python语法速查 → NumPy向量化 → Pandas数据清洗 → Matplotlib可视化 → 数据工程入门。与 01 阶段交叉进行,用代码验证数学结论。
  3. 第 4–5 周:机器学习绪论 → 线性回归 → 逻辑回归 → 模型评估与交叉验证 → 支持向量机SVM → 树模型与集成学习 → 无监督学习与聚类 → PCA与降维 → 异常检测 → 推荐系统 → 机器学习系统设计。先建立「损失—优化—评估」闭环,再扩展到模型族。
  4. 第 6–7 周:神经网络与前向传播 → 反向传播详解 → 损失函数 → 优化器与学习率 → 激活函数 → 正则化与调参 → 卷积神经网络CNN → 循环神经网络RNN → LSTM与GRU → 数据增广 → PyTorch实战入门。反向传播必须手推一遍,不能只调用框架。
  5. 第 8–10 周:预备知识-token与嵌入 → Tokenizer与BPE → 从RNN到注意力机制 → 注意力机制与QKV → 因果注意力与多头注意力 → 位置编码-正弦与RoPE → Transformer架构详解 → 自回归生成与采样 → GPT系列架构 → BERT与双向编码模型 → KV缓存 → 分组查询注意力GQA → 专家混合MoE → 超长上下文-无限注意力 → Llama-2架构复盘 → 预训练-微调-对齐pipeline → 从零实现小型GPT指南。本阶段是全库重心,nanoGPT 复现必须完成。
  6. 第 11–12 周:Prompt工程 → 上下文工程与Few-shot → 结构化输出 → Embedding与向量检索 → 向量数据库 → RAG原理与流程 → RAG文档分块策略 → 检索优化与重排Rerank → 进阶RAG-Self-RAG与Agentic-RAG → RAG评估 → 从零实现RAG指南;并行推进 微调方法全景 → LoRA与QLoRA → 数据集质量控制 → 指令微调SFT → 对齐-RLHF → DPO与偏好优化 → 继续预训练与领域适配。
  7. 第 13–15 周:AI-Agent与工具调用 → Agent工作流与编排 → Agent记忆与上下文 → MCP协议 → Harness与Loop工程 → 模型推理优化 → 分布式训练与部署 → 成本-延迟-质量权衡 → 端到端项目模板。
  8. 第 16 周以后:模型评估矩阵 → 幻觉与缓解 → 越狱与安全对齐 → 可解释性 → 多模态与生成模型概览 → 论文阅读法 → AI技术动态追踪。此后以论文与项目驱动,回到 05/06/08 阶段按需深挖。

三条能力主线

  • 懂底层:01、04、05 三阶段的推导与手算例題构成主干;任何结论都应能回答「它从哪个假设推出」。
  • 能复现:02、04 的 PyTorch 训练循环,05 的 从零实现小型GPT指南,06 的 从零实现RAG指南,07 的 LoRA/SFT 实验,08 的 端到端项目模板。
  • 会评估:03 的 模型评估与交叉验证、06 的 RAG评估、09 的 模型评估矩阵 构成从指标到实验设计的完整评估能力。

阅读标记约定

  • 前置依赖在每篇「关联笔记」中标注「前置」,未掌握时先回溯。
  • 关键推导使用编号步骤,便于复核;代码块给出预期输出的形状或数值。
  • > [!warning] 为可检验的错误模式;> [!tip] 为机制性直觉,不替代定义与推导。

配套文件

  • README:环境、插件、笔记约定与维护流程。
  • 概念笔记模板、阶段MOC模板:新增笔记时复制使用。
  • 学习记录模板、项目日志:进度与实验记录。