---
tags: [AI, MOC, 机器学习]
阶段: 03-经典机器学习
难度: ★★☆
created: 2026-10-18
related: "[[00-MOC]], [[线性回归]], [[模型评估与交叉验证]]"
---

# MOC · 经典机器学习

> [!summary] 本阶段地图
> 本阶段建立监督学习的完整闭环：假设空间、损失、优化、评估。先以线性与逻辑回归把「模型—损失—梯度—评估」四件事串通，再扩展到间隔模型与树集成，随后进入无监督方法与降维，最后落到系统设计与推荐系统。本阶段的每个模型都对应 04 阶段某个深度学习组件的经典原型。

```mermaid
flowchart TD
    INTRO[[机器学习绪论]] --> LR[[线性回归]]
    LR --> LOGR[[逻辑回归]]
    LOGR --> EVAL[[模型评估与交叉验证]]
    EVAL --> SVM[[支持向量机SVM]]
    EVAL --> TREE[[树模型与集成学习]]
    TREE --> CLU[[无监督学习与聚类]]
    CLU --> PCA[[PCA与降维]]
    PCA --> ANO[[异常检测]]
    SVM --> REC[[推荐系统]]
    TREE --> SYS[[机器学习系统设计]]
```

## 学习顺序与理由

1. [[机器学习绪论]]：先建立风险、泛化、归纳偏置、偏差-方差的形式化框架，后续模型才有统一评价坐标。
2. [[线性回归]]：最简单的参数模型，可闭式求解，用于理解损失、梯度、正则化与几何投影。
3. [[逻辑回归]]：从回归到分类，引入 sigmoid 与交叉熵；其梯度形式 $X^{\top}(\hat{y}-y)$ 在神经网络中反复出现。
4. [[模型评估与交叉验证]]：在扩展模型族之前先掌握评估，否则无法判断新模型是否真正改进。
5. [[支持向量机SVM]]：最大间隔与对偶、核技巧，提供「间隔」与「凸优化」视角。
6. [[树模型与集成学习]]：非参数模型与集成方法，覆盖表格数据的主流方案。
7. [[无监督学习与聚类]]：无标签结构发现，K-Means 与 EM 是理解 GMM、HMM 的基础。
8. [[PCA与降维]]：线性降维与 SVD 的应用，连接 [[矩阵分解-SVD与特征分解]]。
9. [[异常检测]]：极不平衡场景下的建模与评估，训练对 AUROC/PR 的直觉。
10. [[推荐系统]]：矩阵分解与排序指标，连接工业界最常见的预测任务。
11. [[机器学习系统设计]]：把模型放回系统，处理数据、部署、监控与反馈。

## 笔记索引

| 笔记 | 难度 | 核心内容 | 前置 |
|---|---|---|---|
| [[机器学习绪论]] | ★★☆ | 风险、泛化、归纳偏置、偏差-方差 | [[概率与统计]] |
| [[线性回归]] | ★★☆ | 正规方程、投影、MLE、Ridge | [[线性代数]] |
| [[逻辑回归]] | ★★☆ | sigmoid、交叉熵、梯度、softmax | [[线性回归]] |
| [[支持向量机SVM]] | ★★★ | 间隔、对偶、KKT、核技巧 | [[优化算法-梯度下降与Adam]] |
| [[树模型与集成学习]] | ★★★ | 分裂准则、Bagging、GBDT、XGBoost | [[机器学习绪论]] |
| [[无监督学习与聚类]] | ★★★ | K-Means、GMM、EM、DBSCAN | [[概率与统计]] |
| [[PCA与降维]] | ★★☆ | 方差最大化、SVD、白化 | [[矩阵分解-SVD与特征分解]] |
| [[异常检测]] | ★★☆ | 统计法、孤立森林、LOF、评估 | [[无监督学习与聚类]] |
| [[模型评估与交叉验证]] | ★★★ | 混淆矩阵、ROC/AUC、CV、泄漏 | [[逻辑回归]] |
| [[机器学习系统设计]] | ★★☆ | 指标、部署、监控、反馈闭环 | [[模型评估与交叉验证]] |
| [[推荐系统]] | ★★☆ | 协同过滤、矩阵分解、NDCG | [[矩阵分解-SVD与特征分解]] |

## 达标清单

- [ ] 能写出经验风险与期望风险的区别，并解释泛化误差的来源。
- [ ] 能独立推导线性回归的正规方程与逻辑回归的梯度。
- [ ] 能解释 SVM 对偶问题中支持向量的含义与 KKT 条件的作用。
- [ ] 能写出 XGBoost 的叶子权重与分裂增益公式，并说明二阶近似的理由。
- [ ] 能完整推导 GMM 的 EM 更新公式。
- [ ] 能根据业务场景选择 precision、recall、F1、AUROC 或 PR-AUC，并说明理由。
- [ ] 能识别数据泄漏，设计无泄漏的交叉验证流程。
- [ ] 能给出一个包含离线评估与在线监控的推荐或分类系统设计。

## 阶段项目

在同一个表格数据集上完成模型对比实验：

1. 建立逻辑回归基线，报告 precision/recall/F1/AUROC。
2. 训练随机森林与 GBDT，做 5 折分层交叉验证与超参数搜索。
3. 用 PCA 降维后重跑基线，分析精度与训练时间变化。
4. 用孤立森林做异常检测，报告 PR-AUC 并选择阈值。
5. 输出实验报告：指标表、学习曲线、混淆矩阵、结论与失效分析。

验收标准：所有指标可用脚本复现；交叉验证中测试折从未参与特征选择；报告能解释每个模型胜出或失败的原因。

## 参考来源

- Hastie, Tibshirani, Friedman, *The Elements of Statistical Learning*, 2009 —— 第 3、4、7、12、14、15 章。
- Goodfellow et al., *Deep Learning*, 2016，第 5 章 —— 机器学习基础。
- d2l.ai《动手学深度学习》—— 线性回归、softmax 回归、决策树章节。
- Chen & Guestrin, "XGBoost: A Scalable Tree Boosting System", 2016 —— 二阶近似与正则化目标。
- Koren, Bell, Volinsky, "Matrix Factorization Techniques for Recommender Systems", 2009 —— 推荐系统矩阵分解。
