w wyl123ly 的博客
MD

MOC-Python

4 KB 2026.10.18 原文件

MOC · Python 与数据处理

本阶段地图

本阶段建立后续所有实验的工具层:Python 语言语义决定代码是否正确,NumPy 决定数值代码是否高效,Pandas 决定表格数据能否被正确清洗,Matplotlib 决定实验结果能否被读取,数据工程决定实验能否复现。五篇笔记以「写得出、跑得快、看得清、可复现」为验收标准。

flowchart LR
    PY[[Python语法速查]] --> NP[[NumPy向量化]]
    NP --> PD[[Pandas数据清洗]]
    PD --> MP[[Matplotlib可视化]]
    PD --> DE[[数据工程入门]]
    MP --> DE

学习顺序与理由

  1. Python语法速查:先修正语言层面的错误认知(引用语义、可变对象、迭代器、上下文管理器),否则后续代码的错误难以定位。
  2. NumPy向量化:深度学习的所有运算都可归约为张量操作;广播规则与视图语义是调试形状错误的基础。
  3. Pandas数据清洗:真实数据以表格形式到达,索引对齐、缺失值、分组聚合是特征工程的前置技能。
  4. Matplotlib可视化:训练曲线、分布对比、混淆矩阵是判断实验是否有效的第一手证据。
  5. 数据工程入门:把前四步组织为可重跑的管道,处理划分、泄漏、版本与格式问题。

笔记索引

笔记难度核心内容前置
[[Python语法速查]]★☆☆对象模型、生成器、装饰器、上下文管理器、类型注解无
[[NumPy向量化]]★★☆ndarray 布局、广播、视图与副本、einsum、性能[[Python语法速查]]
[[Pandas数据清洗]]★★☆索引、缺失值、groupby、merge、时间序列[[NumPy向量化]]
[[Matplotlib可视化]]★☆☆面向对象接口、常用图、子图、保存[[NumPy向量化]]
[[数据工程入门]]★★☆数据划分、泄漏、版本、Parquet、ETL、质量检查[[Pandas数据清洗]]

工具与版本

python -m venv .venv
.venv\Scripts\activate
pip install numpy pandas matplotlib pyarrow jupyter

代码约定:数值计算统一使用 np.float32 或 np.float64 并显式声明;随机数使用 np.random.default_rng(seed);DataFrame 操作优先使用方法链,避免原地修改。

达标清单

  • [ ] 能解释 Python 中「变量是名字绑定」的含义,并给出默认参数陷阱的复现与修复。
  • [ ] 能写出一个生成器函数,说明其相对列表的内存优势。
  • [ ] 能根据广播规则判断两个形状是否可运算,并写出结果形状。
  • [ ] 能区分 NumPy 的视图与副本,说明 reshape 与 transpose 的返回行为。
  • [ ] 能用 groupby + agg 完成分组统计,并解释 transform 与 agg 的差异。
  • [ ] 能画出带标注的训练曲线与混淆矩阵,并正确保存为图片。
  • [ ] 能指出数据泄漏的三种典型来源,并在管道中避免。

阶段项目

构建一个可复现的数据管道 pipeline.py:

  1. 读取一份 JSONL 原始数据,执行模式校验与缺失率统计。
  2. 清洗字段、去重、类型转换,输出清洗日志(每步行数变化)。
  3. 按时间或分组切分训练/验证/测试,检查切分后分布。
  4. 以 Parquet 保存,并写出数据字典与随机种子。
  5. 用 Matplotlib 生成两张图:目标分布、缺失率条形图。

验收标准:删除中间产物后重跑结果完全一致;日志能定位每一步的数据量变化;不存在测试集信息进入训练流程。

参考来源

  • Python 官方文档 —— 数据模型、迭代器、上下文管理器。
  • NumPy 官方文档 —— broadcasting、ndarray、random。
  • Pandas 官方文档 —— indexing、groupby、merge。
  • Matplotlib 官方文档 —— 面向对象接口与保存。
  • Chip Huyen, Designing Machine Learning Systems, 2022 —— 数据工程与训练管道。