---
tags: [AI, MOC, Python]
阶段: 02-Python与数据处理
难度: ★☆☆
created: 2026-10-18
related: "[[00-MOC]], [[NumPy向量化]], [[数据工程入门]]"
---

# MOC · Python 与数据处理

> [!summary] 本阶段地图
> 本阶段建立后续所有实验的工具层：Python 语言语义决定代码是否正确，NumPy 决定数值代码是否高效，Pandas 决定表格数据能否被正确清洗，Matplotlib 决定实验结果能否被读取，数据工程决定实验能否复现。五篇笔记以「写得出、跑得快、看得清、可复现」为验收标准。

```mermaid
flowchart LR
    PY[[Python语法速查]] --> NP[[NumPy向量化]]
    NP --> PD[[Pandas数据清洗]]
    PD --> MP[[Matplotlib可视化]]
    PD --> DE[[数据工程入门]]
    MP --> DE
```

## 学习顺序与理由

1. [[Python语法速查]]：先修正语言层面的错误认知（引用语义、可变对象、迭代器、上下文管理器），否则后续代码的错误难以定位。
2. [[NumPy向量化]]：深度学习的所有运算都可归约为张量操作；广播规则与视图语义是调试形状错误的基础。
3. [[Pandas数据清洗]]：真实数据以表格形式到达，索引对齐、缺失值、分组聚合是特征工程的前置技能。
4. [[Matplotlib可视化]]：训练曲线、分布对比、混淆矩阵是判断实验是否有效的第一手证据。
5. [[数据工程入门]]：把前四步组织为可重跑的管道，处理划分、泄漏、版本与格式问题。

## 笔记索引

| 笔记 | 难度 | 核心内容 | 前置 |
|---|---|---|---|
| [[Python语法速查]] | ★☆☆ | 对象模型、生成器、装饰器、上下文管理器、类型注解 | 无 |
| [[NumPy向量化]] | ★★☆ | ndarray 布局、广播、视图与副本、einsum、性能 | [[Python语法速查]] |
| [[Pandas数据清洗]] | ★★☆ | 索引、缺失值、groupby、merge、时间序列 | [[NumPy向量化]] |
| [[Matplotlib可视化]] | ★☆☆ | 面向对象接口、常用图、子图、保存 | [[NumPy向量化]] |
| [[数据工程入门]] | ★★☆ | 数据划分、泄漏、版本、Parquet、ETL、质量检查 | [[Pandas数据清洗]] |

## 工具与版本

```bash
python -m venv .venv
.venv\Scripts\activate
pip install numpy pandas matplotlib pyarrow jupyter
```

代码约定：数值计算统一使用 `np.float32` 或 `np.float64` 并显式声明；随机数使用 `np.random.default_rng(seed)`；DataFrame 操作优先使用方法链，避免原地修改。

## 达标清单

- [ ] 能解释 Python 中「变量是名字绑定」的含义，并给出默认参数陷阱的复现与修复。
- [ ] 能写出一个生成器函数，说明其相对列表的内存优势。
- [ ] 能根据广播规则判断两个形状是否可运算，并写出结果形状。
- [ ] 能区分 NumPy 的视图与副本，说明 `reshape` 与 `transpose` 的返回行为。
- [ ] 能用 groupby + agg 完成分组统计，并解释 `transform` 与 `agg` 的差异。
- [ ] 能画出带标注的训练曲线与混淆矩阵，并正确保存为图片。
- [ ] 能指出数据泄漏的三种典型来源，并在管道中避免。

## 阶段项目

构建一个可复现的数据管道 `pipeline.py`：

1. 读取一份 JSONL 原始数据，执行模式校验与缺失率统计。
2. 清洗字段、去重、类型转换，输出清洗日志（每步行数变化）。
3. 按时间或分组切分训练/验证/测试，检查切分后分布。
4. 以 Parquet 保存，并写出数据字典与随机种子。
5. 用 Matplotlib 生成两张图：目标分布、缺失率条形图。

验收标准：删除中间产物后重跑结果完全一致；日志能定位每一步的数据量变化；不存在测试集信息进入训练流程。

## 参考来源

- Python 官方文档 —— 数据模型、迭代器、上下文管理器。
- NumPy 官方文档 —— broadcasting、ndarray、random。
- Pandas 官方文档 —— indexing、groupby、merge。
- Matplotlib 官方文档 —— 面向对象接口与保存。
- Chip Huyen, *Designing Machine Learning Systems*, 2022 —— 数据工程与训练管道。
