MOC · 经典机器学习
本阶段地图
本阶段建立监督学习的完整闭环:假设空间、损失、优化、评估。先以线性与逻辑回归把「模型—损失—梯度—评估」四件事串通,再扩展到间隔模型与树集成,随后进入无监督方法与降维,最后落到系统设计与推荐系统。本阶段的每个模型都对应 04 阶段某个深度学习组件的经典原型。
flowchart TD
INTRO[[机器学习绪论]] --> LR[[线性回归]]
LR --> LOGR[[逻辑回归]]
LOGR --> EVAL[[模型评估与交叉验证]]
EVAL --> SVM[[支持向量机SVM]]
EVAL --> TREE[[树模型与集成学习]]
TREE --> CLU[[无监督学习与聚类]]
CLU --> PCA[[PCA与降维]]
PCA --> ANO[[异常检测]]
SVM --> REC[[推荐系统]]
TREE --> SYS[[机器学习系统设计]]
学习顺序与理由
- 机器学习绪论:先建立风险、泛化、归纳偏置、偏差-方差的形式化框架,后续模型才有统一评价坐标。
- 线性回归:最简单的参数模型,可闭式求解,用于理解损失、梯度、正则化与几何投影。
- 逻辑回归:从回归到分类,引入 sigmoid 与交叉熵;其梯度形式 在神经网络中反复出现。
- 模型评估与交叉验证:在扩展模型族之前先掌握评估,否则无法判断新模型是否真正改进。
- 支持向量机SVM:最大间隔与对偶、核技巧,提供「间隔」与「凸优化」视角。
- 树模型与集成学习:非参数模型与集成方法,覆盖表格数据的主流方案。
- 无监督学习与聚类:无标签结构发现,K-Means 与 EM 是理解 GMM、HMM 的基础。
- PCA与降维:线性降维与 SVD 的应用,连接 矩阵分解-SVD与特征分解。
- 异常检测:极不平衡场景下的建模与评估,训练对 AUROC/PR 的直觉。
- 推荐系统:矩阵分解与排序指标,连接工业界最常见的预测任务。
- 机器学习系统设计:把模型放回系统,处理数据、部署、监控与反馈。
笔记索引
| 笔记 | 难度 | 核心内容 | 前置 |
|---|---|---|---|
| [[机器学习绪论]] | ★★☆ | 风险、泛化、归纳偏置、偏差-方差 | [[概率与统计]] |
| [[线性回归]] | ★★☆ | 正规方程、投影、MLE、Ridge | [[线性代数]] |
| [[逻辑回归]] | ★★☆ | sigmoid、交叉熵、梯度、softmax | [[线性回归]] |
| [[支持向量机SVM]] | ★★★ | 间隔、对偶、KKT、核技巧 | [[优化算法-梯度下降与Adam]] |
| [[树模型与集成学习]] | ★★★ | 分裂准则、Bagging、GBDT、XGBoost | [[机器学习绪论]] |
| [[无监督学习与聚类]] | ★★★ | K-Means、GMM、EM、DBSCAN | [[概率与统计]] |
| [[PCA与降维]] | ★★☆ | 方差最大化、SVD、白化 | [[矩阵分解-SVD与特征分解]] |
| [[异常检测]] | ★★☆ | 统计法、孤立森林、LOF、评估 | [[无监督学习与聚类]] |
| [[模型评估与交叉验证]] | ★★★ | 混淆矩阵、ROC/AUC、CV、泄漏 | [[逻辑回归]] |
| [[机器学习系统设计]] | ★★☆ | 指标、部署、监控、反馈闭环 | [[模型评估与交叉验证]] |
| [[推荐系统]] | ★★☆ | 协同过滤、矩阵分解、NDCG | [[矩阵分解-SVD与特征分解]] |
达标清单
- [ ] 能写出经验风险与期望风险的区别,并解释泛化误差的来源。
- [ ] 能独立推导线性回归的正规方程与逻辑回归的梯度。
- [ ] 能解释 SVM 对偶问题中支持向量的含义与 KKT 条件的作用。
- [ ] 能写出 XGBoost 的叶子权重与分裂增益公式,并说明二阶近似的理由。
- [ ] 能完整推导 GMM 的 EM 更新公式。
- [ ] 能根据业务场景选择 precision、recall、F1、AUROC 或 PR-AUC,并说明理由。
- [ ] 能识别数据泄漏,设计无泄漏的交叉验证流程。
- [ ] 能给出一个包含离线评估与在线监控的推荐或分类系统设计。
阶段项目
在同一个表格数据集上完成模型对比实验:
- 建立逻辑回归基线,报告 precision/recall/F1/AUROC。
- 训练随机森林与 GBDT,做 5 折分层交叉验证与超参数搜索。
- 用 PCA 降维后重跑基线,分析精度与训练时间变化。
- 用孤立森林做异常检测,报告 PR-AUC 并选择阈值。
- 输出实验报告:指标表、学习曲线、混淆矩阵、结论与失效分析。
验收标准:所有指标可用脚本复现;交叉验证中测试折从未参与特征选择;报告能解释每个模型胜出或失败的原因。
参考来源
- Hastie, Tibshirani, Friedman, The Elements of Statistical Learning, 2009 —— 第 3、4、7、12、14、15 章。
- Goodfellow et al., Deep Learning, 2016,第 5 章 —— 机器学习基础。
- d2l.ai《动手学深度学习》—— 线性回归、softmax 回归、决策树章节。
- Chen & Guestrin, "XGBoost: A Scalable Tree Boosting System", 2016 —— 二阶近似与正则化目标。
- Koren, Bell, Volinsky, "Matrix Factorization Techniques for Recommender Systems", 2009 —— 推荐系统矩阵分解。