w wyl123ly 的博客
MD

MOC-机器学习

5 KB 2026.10.18 原文件

MOC · 经典机器学习

本阶段地图

本阶段建立监督学习的完整闭环:假设空间、损失、优化、评估。先以线性与逻辑回归把「模型—损失—梯度—评估」四件事串通,再扩展到间隔模型与树集成,随后进入无监督方法与降维,最后落到系统设计与推荐系统。本阶段的每个模型都对应 04 阶段某个深度学习组件的经典原型。

flowchart TD
    INTRO[[机器学习绪论]] --> LR[[线性回归]]
    LR --> LOGR[[逻辑回归]]
    LOGR --> EVAL[[模型评估与交叉验证]]
    EVAL --> SVM[[支持向量机SVM]]
    EVAL --> TREE[[树模型与集成学习]]
    TREE --> CLU[[无监督学习与聚类]]
    CLU --> PCA[[PCA与降维]]
    PCA --> ANO[[异常检测]]
    SVM --> REC[[推荐系统]]
    TREE --> SYS[[机器学习系统设计]]

学习顺序与理由

  1. 机器学习绪论:先建立风险、泛化、归纳偏置、偏差-方差的形式化框架,后续模型才有统一评价坐标。
  2. 线性回归:最简单的参数模型,可闭式求解,用于理解损失、梯度、正则化与几何投影。
  3. 逻辑回归:从回归到分类,引入 sigmoid 与交叉熵;其梯度形式 在神经网络中反复出现。
  4. 模型评估与交叉验证:在扩展模型族之前先掌握评估,否则无法判断新模型是否真正改进。
  5. 支持向量机SVM:最大间隔与对偶、核技巧,提供「间隔」与「凸优化」视角。
  6. 树模型与集成学习:非参数模型与集成方法,覆盖表格数据的主流方案。
  7. 无监督学习与聚类:无标签结构发现,K-Means 与 EM 是理解 GMM、HMM 的基础。
  8. PCA与降维:线性降维与 SVD 的应用,连接 矩阵分解-SVD与特征分解。
  9. 异常检测:极不平衡场景下的建模与评估,训练对 AUROC/PR 的直觉。
  10. 推荐系统:矩阵分解与排序指标,连接工业界最常见的预测任务。
  11. 机器学习系统设计:把模型放回系统,处理数据、部署、监控与反馈。

笔记索引

笔记难度核心内容前置
[[机器学习绪论]]★★☆风险、泛化、归纳偏置、偏差-方差[[概率与统计]]
[[线性回归]]★★☆正规方程、投影、MLE、Ridge[[线性代数]]
[[逻辑回归]]★★☆sigmoid、交叉熵、梯度、softmax[[线性回归]]
[[支持向量机SVM]]★★★间隔、对偶、KKT、核技巧[[优化算法-梯度下降与Adam]]
[[树模型与集成学习]]★★★分裂准则、Bagging、GBDT、XGBoost[[机器学习绪论]]
[[无监督学习与聚类]]★★★K-Means、GMM、EM、DBSCAN[[概率与统计]]
[[PCA与降维]]★★☆方差最大化、SVD、白化[[矩阵分解-SVD与特征分解]]
[[异常检测]]★★☆统计法、孤立森林、LOF、评估[[无监督学习与聚类]]
[[模型评估与交叉验证]]★★★混淆矩阵、ROC/AUC、CV、泄漏[[逻辑回归]]
[[机器学习系统设计]]★★☆指标、部署、监控、反馈闭环[[模型评估与交叉验证]]
[[推荐系统]]★★☆协同过滤、矩阵分解、NDCG[[矩阵分解-SVD与特征分解]]

达标清单

  • [ ] 能写出经验风险与期望风险的区别,并解释泛化误差的来源。
  • [ ] 能独立推导线性回归的正规方程与逻辑回归的梯度。
  • [ ] 能解释 SVM 对偶问题中支持向量的含义与 KKT 条件的作用。
  • [ ] 能写出 XGBoost 的叶子权重与分裂增益公式,并说明二阶近似的理由。
  • [ ] 能完整推导 GMM 的 EM 更新公式。
  • [ ] 能根据业务场景选择 precision、recall、F1、AUROC 或 PR-AUC,并说明理由。
  • [ ] 能识别数据泄漏,设计无泄漏的交叉验证流程。
  • [ ] 能给出一个包含离线评估与在线监控的推荐或分类系统设计。

阶段项目

在同一个表格数据集上完成模型对比实验:

  1. 建立逻辑回归基线,报告 precision/recall/F1/AUROC。
  2. 训练随机森林与 GBDT,做 5 折分层交叉验证与超参数搜索。
  3. 用 PCA 降维后重跑基线,分析精度与训练时间变化。
  4. 用孤立森林做异常检测,报告 PR-AUC 并选择阈值。
  5. 输出实验报告:指标表、学习曲线、混淆矩阵、结论与失效分析。

验收标准:所有指标可用脚本复现;交叉验证中测试折从未参与特征选择;报告能解释每个模型胜出或失败的原因。

参考来源

  • Hastie, Tibshirani, Friedman, The Elements of Statistical Learning, 2009 —— 第 3、4、7、12、14、15 章。
  • Goodfellow et al., Deep Learning, 2016,第 5 章 —— 机器学习基础。
  • d2l.ai《动手学深度学习》—— 线性回归、softmax 回归、决策树章节。
  • Chen & Guestrin, "XGBoost: A Scalable Tree Boosting System", 2016 —— 二阶近似与正则化目标。
  • Koren, Bell, Volinsky, "Matrix Factorization Techniques for Recommender Systems", 2009 —— 推荐系统矩阵分解。