MOC · Python 与数据处理
本阶段地图
本阶段建立后续所有实验的工具层:Python 语言语义决定代码是否正确,NumPy 决定数值代码是否高效,Pandas 决定表格数据能否被正确清洗,Matplotlib 决定实验结果能否被读取,数据工程决定实验能否复现。五篇笔记以「写得出、跑得快、看得清、可复现」为验收标准。
flowchart LR
PY[[Python语法速查]] --> NP[[NumPy向量化]]
NP --> PD[[Pandas数据清洗]]
PD --> MP[[Matplotlib可视化]]
PD --> DE[[数据工程入门]]
MP --> DE
学习顺序与理由
- Python语法速查:先修正语言层面的错误认知(引用语义、可变对象、迭代器、上下文管理器),否则后续代码的错误难以定位。
- NumPy向量化:深度学习的所有运算都可归约为张量操作;广播规则与视图语义是调试形状错误的基础。
- Pandas数据清洗:真实数据以表格形式到达,索引对齐、缺失值、分组聚合是特征工程的前置技能。
- Matplotlib可视化:训练曲线、分布对比、混淆矩阵是判断实验是否有效的第一手证据。
- 数据工程入门:把前四步组织为可重跑的管道,处理划分、泄漏、版本与格式问题。
笔记索引
| 笔记 | 难度 | 核心内容 | 前置 |
|---|---|---|---|
| [[Python语法速查]] | ★☆☆ | 对象模型、生成器、装饰器、上下文管理器、类型注解 | 无 |
| [[NumPy向量化]] | ★★☆ | ndarray 布局、广播、视图与副本、einsum、性能 | [[Python语法速查]] |
| [[Pandas数据清洗]] | ★★☆ | 索引、缺失值、groupby、merge、时间序列 | [[NumPy向量化]] |
| [[Matplotlib可视化]] | ★☆☆ | 面向对象接口、常用图、子图、保存 | [[NumPy向量化]] |
| [[数据工程入门]] | ★★☆ | 数据划分、泄漏、版本、Parquet、ETL、质量检查 | [[Pandas数据清洗]] |
工具与版本
python -m venv .venv
.venv\Scripts\activate
pip install numpy pandas matplotlib pyarrow jupyter
代码约定:数值计算统一使用 np.float32 或 np.float64 并显式声明;随机数使用 np.random.default_rng(seed);DataFrame 操作优先使用方法链,避免原地修改。
达标清单
- [ ] 能解释 Python 中「变量是名字绑定」的含义,并给出默认参数陷阱的复现与修复。
- [ ] 能写出一个生成器函数,说明其相对列表的内存优势。
- [ ] 能根据广播规则判断两个形状是否可运算,并写出结果形状。
- [ ] 能区分 NumPy 的视图与副本,说明
reshape与transpose的返回行为。 - [ ] 能用 groupby + agg 完成分组统计,并解释
transform与agg的差异。 - [ ] 能画出带标注的训练曲线与混淆矩阵,并正确保存为图片。
- [ ] 能指出数据泄漏的三种典型来源,并在管道中避免。
阶段项目
构建一个可复现的数据管道 pipeline.py:
- 读取一份 JSONL 原始数据,执行模式校验与缺失率统计。
- 清洗字段、去重、类型转换,输出清洗日志(每步行数变化)。
- 按时间或分组切分训练/验证/测试,检查切分后分布。
- 以 Parquet 保存,并写出数据字典与随机种子。
- 用 Matplotlib 生成两张图:目标分布、缺失率条形图。
验收标准:删除中间产物后重跑结果完全一致;日志能定位每一步的数据量变化;不存在测试集信息进入训练流程。
参考来源
- Python 官方文档 —— 数据模型、迭代器、上下文管理器。
- NumPy 官方文档 —— broadcasting、ndarray、random。
- Pandas 官方文档 —— indexing、groupby、merge。
- Matplotlib 官方文档 —— 面向对象接口与保存。
- Chip Huyen, Designing Machine Learning Systems, 2022 —— 数据工程与训练管道。