---
tags: [AI, 数据工程, mlops]
阶段: 02-Python与数据处理
难度: ★★☆
created: 2026-10-18
related: "[[Pandas数据清洗]], [[数据集质量控制]], [[机器学习系统设计]]"
---

# 数据工程入门

## 定义

**数据工程**是设计、构建与维护一套系统与规范，使原始数据能够被稳定地转化为可复现、可追溯、可供训练与评估使用的数据集。其产物不是某一张表，而是“数据 + 生成该数据的代码 + 版本标识 + 校验规则”的组合。

数据生命周期包含七个阶段。

1. **采集**：从日志、数据库、埋点、第三方接口取得原始记录，写入不可变的原始快照。
2. **清洗**：统一类型、去重、处理缺失与异常，产出结构化表。
3. **划分**：按时间、实体或分层策略切分训练集、验证集、测试集，并保存划分标识。
4. **版本**：为原始快照、清洗表、划分结果、特征表与模型建立内容哈希，形成血缘关系。
5. **特征**：在训练集上拟合变换，产出特征定义与特征表。
6. **训练**：固定数据哈希、代码提交、配置与环境，产出模型与指标。
7. **监控**：上线后持续检查输入分布、数据质量与模型表现，触发重训或回滚。

其中的关键术语如下。

- **模式**（schema）：列名、类型、可空性、取值域的集合。
- **ETL / ELT**：抽取、转换、加载；ELT 先把原始数据加载到目标存储再转换，适合列式仓库。
- **幂等**（idempotent）：同一输入重复执行多次，结果与执行一次相同，即 $f(f(D))=f(D)$。
- **内容寻址**（content addressing）：以内容的哈希值作为对象标识，而非路径或自增编号。
- **数据泄漏**（data leakage）：训练时使用了预测时刻不可获得的信息，使离线评估高估真实效果。
- **分布漂移**（distribution shift）：线上输入分布 $P_{\text{prod}}(X)$ 偏离训练分布 $P_{\text{train}}(X)$。

## 为什么重要

模型效果的上限由数据决定，而数据问题多数不会抛出异常。

- 泄漏使离线指标高于线上。若测试集中有 $q$ 比例的样本在训练集中出现过，且模型对这些样本的记忆误差接近 $0$，整体测试误差被拉低到 $(1-q)\epsilon_{\text{true}}$ 附近，评估结论失效。
- 划分不当使调参方向错误。随机切分时间序列会把未来信息带入训练，验证集损失持续偏低，上线后迅速退化。
- 缺少版本管理使实验不可复现。同一段代码在不同日期读到不同的原始表，指标差异无法归因于模型改动。
- 存储格式选择影响成本与迭代速度。按列读取可将扫描量从 $O(nm)$ 降到 $O(nk)$，在宽表上相差一个数量级。
- 校验缺失使脏数据静默进入训练。缺失率、标签冲突与分布漂移若不在入口拦截，只能在线上以效果下降的形式暴露。
- 隐私违规的代价不可逆。个人标识一旦写入日志或特征表，删除与审计的成本远高于采集时的最小化设计。

本篇承接 [[Pandas数据清洗]] 的单表操作，向上支撑 [[机器学习系统设计]] 中的系统边界与 [[数据集质量控制]] 中的验收规则。

## 原理与推导

### 1 生命周期与工件

每个阶段都应有明确的输入、输出与不变量。下图给出主链路与反馈环。

```mermaid
flowchart LR
    A[采集] --> B[清洗]
    B --> C[划分]
    C --> D[版本]
    D --> E[特征]
    E --> F[训练]
    F --> G[监控]
    G -.漂移告警.-> A
```

| 阶段 | 输入 | 输出工件 | 不变量 |
| --- | --- | --- | --- |
| 采集 | 源系统 | 原始快照（只追加） | 快照不可修改，按到达时间分区 |
| 清洗 | 原始快照 | 结构化表 | 键唯一、类型固定、缺失有标记 |
| 划分 | 结构化表 | 划分表（id 到 split 的映射） | 同一实体只属于一个 split |
| 版本 | 任意工件 | 哈希与指针文件 | 哈希由内容决定，路径可重定位 |
| 特征 | 训练划分 | 特征表与变换参数 | 变换只在训练划分上拟合 |
| 训练 | 特征表 + 配置 | 模型 + 指标 + 运行记录 | 数据哈希、代码提交、种子齐全 |
| 监控 | 线上日志 | 质量报告与告警 | 指标可回溯到具体模型版本 |

### 2 划分与数据泄漏

监督学习假设样本独立同分布，即 $(x_i,y_i)\sim P$ 且相互独立。训练集用于拟合参数，验证集用于选择超参数与早停，测试集只用于最终一次评估。三者不可混用，测试集不可反复查看。

划分策略由数据生成过程决定。

- **随机划分**：适用于样本独立、类别均衡的场景；类别不均衡时改用分层抽样，使各 split 的类别比例接近总体。
- **分组划分**：同一用户、同一设备、同一文档的样本必须整体进入同一 split，否则模型记住实体特征而非通用规律。
- **时间划分**：按时间戳切分，训练集早于验证集、验证集早于测试集；适用于需求预测、风控、推荐等存在时间依赖的场景。

数据泄漏可按信息在预测时刻是否可得来判定。设预测时刻为 $t_p$，$\mathcal{F}_{t_p}$ 为该时刻已知的信息集，特征 $x_j$ 可用当且仅当 $x_j$ 是 $\mathcal{F}_{t_p}$ 可测的；任何依赖 $t_p$ 之后信息的特征都构成泄漏。

常见类型如下。

| 类型 | 成因 | 示例 |
| --- | --- | --- |
| 目标泄漏 | 特征由标签计算或与标签同时产生 | 用“是否退款”预测“是否欺诈”，退款在欺诈确认后才发生 |
| 预处理泄漏 | 在划分前用全量数据拟合变换 | 用全量均值填充缺失、用全量方差标准化 |
| 时间泄漏 | 随机切分时间序列，或特征含未来窗口 | 用未来 7 天销量预测当天销量 |
| 组泄漏 | 同一实体跨 split | 同一用户的多个会话分别进入训练与测试 |
| 重复泄漏 | 完全重复或近似重复样本跨 split | 同一工单被多次采集，去重前切分 |

泄漏造成的评估偏差可由一个简化模型说明。设测试集中有 $q$ 比例的样本在训练集中出现过，模型对重复样本的误差为 $\epsilon_{\text{mem}}$，对未见样本的误差为 $\epsilon_{\text{true}}$，且 $\epsilon_{\text{mem}}<\epsilon_{\text{true}}$。则测试误差的期望为

$$
\mathbb{E}[\hat\epsilon_{\text{test}}]
=q\,\epsilon_{\text{mem}}+(1-q)\,\epsilon_{\text{true}}
<\epsilon_{\text{true}}
$$

$q$ 越大，低估越严重。修复方式不是调整指标，而是把去重、填充、编码、缩放全部移入训练折内部，按“先划分、后拟合”的顺序执行。

### 3 版本管理与内容寻址

数据版本管理要解决三个问题：当前训练用的是哪份数据；两份数据是否相同；某次实验能否被完整重放。内容寻址解决前两个问题，并为第三个问题提供数据侧的可验证标识。

设对象字节序列为 $B$，哈希函数为 $H$，对象标识为

$$
h=H(B)
$$

内容相同则 $h$ 相同，因此可以按 $h$ 去重、按 $h$ 校验完整性、按 $h$ 建立血缘。DVC 的做法是：真实数据存放在缓存目录，工作区只保留一个体积很小的 `.dvc` 指针文件，其中记录 `md5`、`size`、`path`；缓存路径由哈希的前两位与其余位拼接，例如 `.dvc/cache/files/md5/ab/cdef...`。Git 只提交指针与代码，不提交大文件。

```bash
dvc add data/clean/events.parquet          # 生成 events.parquet.dvc 并写入缓存
git add data/clean/events.parquet.dvc data/clean/.gitignore
dvc push                                   # 把缓存对象推到远端存储
```

一次可复现的训练运行可由五元组标识：

$$
R=(h_{\text{code}},h_{\text{data}},h_{\text{config}},h_{\text{env}},\text{seed})
$$

只要五元组相同，输出在确定性算子与相同硬件的前提下应当一致；实际工程通常要求逐位一致，或在声明的容差内一致。若结果不同，差异必须能由五元组中的某一项或非确定性算子解释。仅记录 Git 提交不足以复现，因为数据与环境都在提交之外。

### 4 存储格式：CSV、Parquet 与 JSONL

| 格式 | 布局 | 模式 | 压缩 | 适用 |
| --- | --- | --- | --- | --- |
| CSV | 行式文本 | 无，需推断 | 通用压缩 | 交换、人工查看、小数据 |
| Parquet | 列式二进制 | 有，随文件存储 | 列内编码 + zstd/snappy | 分析、训练数据、宽表 |
| JSONL | 行式文本，每行一个 JSON | 无，字段可嵌套 | 通用压缩 | 日志、流式追加、嵌套结构 |

列式布局的优势可由扫描量推出。设表有 $n$ 行、$m$ 列，平均每个值占 $b$ 字节，全表原始大小为 $S\approx nmb$。若查询只涉及 $k$ 列，CSV 必须解析全部 $m$ 列，扫描量为 $O(nmb)$；Parquet 只读取这 $k$ 列的列块，扫描量为

$$
S'=\sum_{j\in K}s_j\approx \frac{k}{m}\cdot\frac{S}{c}
$$

其中 $s_j$ 是第 $j$ 列压缩后的大小，$c$ 是平均压缩比。相对加速约为 $(m/k)\cdot c$。列内数据类型一致、取值相近，字典编码、游程编码与差分编码因此有效，压缩比通常高于行式文本。

Parquet 文件由行组（row group）、列块（column chunk）、页（page）与文件尾元数据组成。每个列块记录最小值、最大值、空值计数等统计信息；带过滤条件的查询可先读元数据，跳过不可能命中的行组，这一机制称为谓词下推。行组过小会产生大量小列块，增大元数据开销；行组过大则降低并行度与跳过粒度。

JSONL 的优势在写入侧：每行独立，可追加、可流式解析、可容纳嵌套字段，适合采集层。它的代价是无列裁剪、无统计信息、字段类型需在读取时统一。常见做法是采集层写 JSONL，清洗后转 Parquet。

Parquet 不可原地修改，行级更新需要重写文件或使用支持删除文件的表格式；高频小批量追加应合并后再写，避免“小文件问题”。

### 5 ETL 与编排

ETL 把抽取、转换、加载串成有向无环图，每个节点是一个可独立重跑的步骤。编排器负责调度、依赖、重试、告警与回填。

幂等是管道的第一性质。落地方式有三类。

- **分区覆盖**：每次只重写目标分区，例如按 `event_date` 覆盖当日分区，而不是无条件追加。
- **原子替换**：先写临时路径，完成后重命名或切换清单，避免读者看到半成品。
- **确定性去重**：以业务主键加版本号去重，保留确定的一条，不依赖行到达顺序。

重跑与回填要求转换逻辑不依赖当前时间。若 SQL 中写 `CURRENT_DATE`，同一分区在不同日期重跑会得到不同结果；应把逻辑日期作为参数传入。迟到数据需要水位线（watermark）界定“何时可以关闭一个窗口”，否则窗口结果会随迟到记录反复变化。

编排器与脚本的区别在于依赖表达与可观测性。cron 只能表达时间，不能表达“上游分区就绪后才运行”；Airflow、Dagster、Prefect 以 DAG 表达依赖，并记录每次运行的状态、日志与产出。无论使用哪种工具，单个任务仍应满足幂等与可重跑。

### 6 模式校验与数据质量

校验分两层。模式层检查列是否存在、类型是否匹配、可空性是否符合约定；内容层检查取值域、唯一性、缺失率、分布与标签一致性。模式层失败应中止任务，内容层失败可按策略中止、隔离或告警。

常用质量指标如下。

- 缺失率：$\text{null\_rate}_j=\frac{1}{n}\sum_{i=1}^{n}m_{ij}$，其中 $m_{ij}=1$ 表示第 $i$ 行第 $j$ 列缺失。
- 重复率：主键重复行数除以总行数。
- 取值域：数值落在 $[a,b]$ 内的比例，类别落在允许集合内的比例。
- 新鲜度：当前时间与最新分区时间之差。
- 标签一致性：同一主键对应多个标签的比例；标签分布与历史窗口的偏离。
- 分布漂移：用 PSI 或 KS 统计量比较训练窗口与当前窗口。

PSI 把数值分箱后比较两个分布的占比。设第 $b$ 箱在基准分布中占比 $p_b$、在当前分布中占比 $q_b$，则

$$
\mathrm{PSI}=\sum_{b=1}^{B}(p_b-q_b)\ln\frac{p_b}{q_b}
$$

常用经验阈值为 $0.1$ 与 $0.25$：小于 $0.1$ 视为稳定，$0.1$ 至 $0.25$ 需关注，大于 $0.25$ 视为显著漂移。KS 统计量取两条经验分布函数的最大纵向距离：

$$
\mathrm{KS}=\sup_x\left|F_{\text{base}}(x)-F_{\text{cur}}(x)\right|
$$

两者的区别是：PSI 对分箱敏感、可定位到具体箱；KS 不依赖分箱，但对分布尾部的差异不敏感。

标签一致性检查常被忽略。同一 `order_id` 在两次标注中对应不同标签、同一用户在同一天既有正样本又有负样本、标签时间晚于特征时间，都会污染训练。应在入库时按主键聚合，输出冲突表并要求人工裁决。

### 7 可复现性

可复现性要求给定相同输入与配置，训练结果在数值精度内一致。影响一致性的来源包括随机初始化、数据打乱顺序、Dropout、数据增广、多线程归约顺序与 GPU 原子操作的浮点不确定性。

固定随机源需要覆盖四层：

```python
import random
import numpy as np
import torch

random.seed(0)
np.random.seed(0)                 # 旧接口；新代码可用 np.random.default_rng(0)
torch.manual_seed(0)
torch.cuda.manual_seed_all(0)
torch.use_deterministic_algorithms(True)
torch.backends.cudnn.benchmark = False
```

DataLoader 的多进程需要为每个 worker 设置种子，否则各 worker 的增广序列不可复现。环境层面应锁定依赖版本与镜像摘要：`requirements.txt` 记录版本、锁文件记录完整解析结果、容器记录镜像 digest。运行记录中保存五元组与硬件信息，便于区分“算法差异”与“环境差异”。

完全确定性并非总是可达。部分算子没有确定性实现，强制确定性会降低吞吐。工程上的折中是对外声明可复现的粒度：同一环境、同一硬件、同一批大小下结果一致；跨硬件只保证指标在容差内一致。

### 8 隐私与合规基础

隐私设计从数据最小化开始：只采集完成任务所必需的字段，明确用途与保留期限，到期删除。个人标识不得进入训练特征、日志与异常堆栈。

去标识化不等于删除姓名。常见做法是把用户标识替换为带密钥的哈希：

$$
t=\mathrm{HMAC}_K(u)
$$

无密钥的 $H(u)$ 可被字典攻击还原，因为标识空间有限；带密钥的 HMAC 在密钥不泄露时不可逆推。更强的约束包括 $k$-匿名与差分隐私。前者要求任一条记录至少与另外 $k-1$ 条不可区分，在高维数据上难以满足；后者要求机制 $M$ 对任意相邻数据集 $D$ 与 $D'$ 满足

$$
\Pr[M(D)\in S]\le e^{\epsilon}\Pr[M(D')\in S]+\delta
$$

其中 $\epsilon$ 为隐私预算，$\delta$ 为允许的失败概率。差分隐私以噪声换取可证明的隐私界。

合规还要求访问控制与审计：按角色授权、记录谁在何时读取了哪份数据、保留删除请求的执行记录。GDPR 与《个人信息保护法》都要求告知、同意、最小必要与可删除，具体条款应由法务确认，工程侧负责把要求落实为字段级策略与保留策略。

## 关键直觉

> [!tip]
> 把数据管道视为一个纯函数：输入是（代码提交，数据哈希，配置，环境，种子），输出是唯一确定的数据集与模型。幂等、分区覆盖、内容寻址、锁文件、运行记录，都是为逼近这一性质而施加的约束；任何依赖当前时间、机器路径或执行次数的步骤，都会破坏该性质。

## 例子与代码

以下脚本实现最小 ETL：读取 JSONL，解析类型，去重，按规则隔离非法记录，输出 Parquet 与隔离文件。依赖 pandas 3.0 与 pyarrow；输入 `data/raw/events.jsonl` 共 11 行，内容如下，其中 1 行完全重复、1 个负金额、1 个非法标签、1 个无法解析的时间戳、2 个缺失用户标识。

```json
{"event_id": "e1", "user_id": "u1", "ts": "2025-01-01T10:00:00Z", "amount": 12.5, "label": 1}
{"event_id": "e2", "user_id": "u2", "ts": "2025-01-01T10:05:00Z", "amount": -3.0, "label": 0}
{"event_id": "e3", "user_id": "u3", "ts": "2025-01-01T10:10:00Z", "amount": 7.0, "label": 1}
{"event_id": "e1", "user_id": "u1", "ts": "2025-01-01T10:00:00Z", "amount": 12.5, "label": 1}
{"event_id": "e4", "user_id": null, "ts": "2025-01-01T10:15:00Z", "amount": 20.0, "label": 2}
{"event_id": "e5", "user_id": "u5", "ts": "not-a-time", "amount": 5.0, "label": 0}
{"event_id": "e6", "user_id": "u6", "ts": "2025-01-01T10:20:00Z", "amount": 33.0, "label": 0}
{"event_id": "e7", "user_id": "u7", "ts": "2025-01-01T10:25:00Z", "amount": 18.5, "label": 1}
{"event_id": "e8", "user_id": "u8", "ts": "2025-01-01T10:30:00Z", "amount": 0.0, "label": 0}
{"event_id": "e9", "user_id": null, "ts": "2025-01-01T10:35:00Z", "amount": 9.9, "label": 1}
{"event_id": "e10", "user_id": "u10", "ts": "2025-01-01T10:40:00Z", "amount": 44.0, "label": 1}
```

```python
from pathlib import Path

import pandas as pd

RAW = Path("data/raw/events.jsonl")
CLEAN = Path("data/clean/events.parquet")
REJECT = Path("data/quarantine/events.jsonl")


def load_jsonl(path: Path) -> pd.DataFrame:
    df = pd.read_json(path, lines=True, dtype={"event_id": "string", "user_id": "string"})
    df["event_id"] = df["event_id"].str.strip()
    df["user_id"] = df["user_id"].str.strip()
    df["ts"] = pd.to_datetime(df["ts"], utc=True, errors="coerce")
    df["amount"] = pd.to_numeric(df["amount"], errors="coerce")
    return df


def check_schema(df: pd.DataFrame) -> None:
    required = {"event_id", "user_id", "ts", "amount", "label"}
    missing = required - set(df.columns)
    if missing:
        raise ValueError(f"缺少列: {sorted(missing)}")
    if not pd.api.types.is_datetime64_any_dtype(df["ts"]):
        raise TypeError("ts 必须解析为 datetime")
    if not pd.api.types.is_numeric_dtype(df["amount"]):
        raise TypeError("amount 必须为数值")


def quality_report(df: pd.DataFrame) -> dict:
    return {
        "rows": len(df),
        "missing_user_rate": round(float(df["user_id"].isna().mean()), 3),
        "duplicate_event_id": int(df["event_id"].duplicated().sum()),
        "bad_amount": int((~df["amount"].between(0, 1e6)).sum()),
        "bad_label": int((~df["label"].isin([0, 1])).sum()),
        "bad_ts": int(df["ts"].isna().sum()),
    }


def run() -> None:
    df = load_jsonl(RAW)
    check_schema(df)
    print("读取", df.shape)                             # (11, 5)

    n_dup = int(df.duplicated().sum())
    df = df.drop_duplicates().reset_index(drop=True)
    print("完全重复", n_dup, "去重后", df.shape)        # 1 (10, 5)

    report = quality_report(df)
    print(report)
    if report["missing_user_rate"] > 0.25:              # 阈值由业务确定
        raise ValueError("user_id 缺失率超过阈值 0.25，终止写入")

    bad = (~df["amount"].between(0, 1e6)) | (~df["label"].isin([0, 1])) | df["ts"].isna()
    valid = df.loc[~bad].copy()
    rejected = df.loc[bad].copy()
    print("有效", valid.shape, "隔离", rejected.shape,
          "输出标签率", round(float(valid["label"].mean()), 3))

    valid["event_date"] = valid["ts"].dt.strftime("%Y-%m-%d")
    valid["user_id"] = valid["user_id"].fillna("__missing__")
    CLEAN.parent.mkdir(parents=True, exist_ok=True)
    REJECT.parent.mkdir(parents=True, exist_ok=True)
    valid.to_parquet(CLEAN, engine="pyarrow", compression="zstd", index=False)
    rejected.to_json(REJECT, orient="records", lines=True,
                     force_ascii=False, date_format="iso")
    print("写入", CLEAN, valid.shape)                   # (7, 6)
    print("隔离", REJECT, rejected.shape)               # (3, 5)


if __name__ == "__main__":
    run()
```

运行输出：

```text
读取 (11, 5)
完全重复 1 去重后 (10, 5)
{'rows': 10, 'missing_user_rate': 0.2, 'duplicate_event_id': 0, 'bad_amount': 1, 'bad_label': 1, 'bad_ts': 1}
有效 (7, 5) 隔离 (3, 5) 输出标签率 0.714
写入 data/clean/events.parquet (7, 6)
隔离 data/quarantine/events.jsonl (3, 5)
```

被隔离的 3 条记录分别是：`e2` 金额为 $-3$；`e4` 标签为 $2$；`e5` 时间戳无法解析。质量报告在隔离前对 10 条去重记录计算，`missing_user_rate` 为 $2/10=0.2$，其中包含 `e4`；隔离后 7 条有效记录中只剩 `e9` 的用户标识缺失，输出时替换为 `__missing__`，避免下游把缺失当成空字符串。

Parquet 读取时只取所需列，避免扫描全部列：

```python
import pandas as pd
import pyarrow.parquet as pq

meta = pq.ParquetFile("data/clean/events.parquet").metadata
print(meta.num_rows)                                  # 7
subset = pd.read_parquet("data/clean/events.parquet", columns=["event_id", "amount"])
print(subset.shape)                                   # (7, 2)
```

## 易错点

> [!warning]
> - 先清洗再划分。用全量数据计算中位数、均值或编码表，会把验证集与测试集的统计量带入训练；划分必须发生在任何拟合之前，填充与缩放只在训练折上拟合。
> - 对时间序列做随机切分。随机切分使未来样本进入训练集，验证损失偏低；应按时间排序后切分，并保证特征窗口不跨越切分点。
> - 以追加方式重跑任务。每次运行都 `append` 会在失败重试后产生重复行；应覆盖目标分区，或按主键加运行标识去重。
> - 只校验列类型，不校验分布。类型正确但均值偏移、类别占比翻转的数据仍会破坏训练；质量检查应同时覆盖缺失率、取值域、标签一致性与 PSI。
> - 在日志或特征中保留原始用户标识。日志会被复制到多处，删除成本高；应在入口做带密钥的哈希或直接丢弃。
> - 把 `CURRENT_DATE` 或本地路径写入转换逻辑。同一分区在不同日期或不同机器上重跑会得到不同结果，破坏幂等与可复现性。

## 关联笔记

- [[Pandas数据清洗]]：前置。单表去重、类型转换与缺失处理是本篇 ETL 转换步骤的实现基础。
- [[数据集质量控制]]：后续。本篇的质量报告是验收规则的数据来源，该篇给出更完整的质量维度。
- [[机器学习系统设计]]：后续。生命周期、监控与反馈环在该篇扩展为系统边界与组件设计。
- [[模型评估与交叉验证]]：对照。划分策略与泄漏判定直接决定交叉验证的估计是否可信。
- [[端到端项目模板]]：后续。本篇的 ETL 脚本与目录约定可嵌入项目模板的数据层。

## 达标检测

- [ ] 能按顺序写出数据生命周期的七个阶段，并为每个阶段指出一个必须保持的不变量。
- [ ] 给定一个包含用户多次会话的数据集，能选择分组划分、指出随机划分对应的泄漏类型，并用含 $q$ 的公式估算测试误差的低估幅度。
- [ ] 能解释 DVC 指针文件与缓存目录的关系，并由内容哈希说明去重与完整性校验的原理。
- [ ] 能由行数、列数与压缩比估算 Parquet 列裁剪相对 CSV 全列扫描的加速比。
- [ ] 能写出 PSI 公式，说明两个常用阈值，并指出 PSI 与 KS 在检测尾部差异上的不同。
- [ ] 能列出固定随机源的四层设置，并说明为何 DataLoader 多进程还需单独设置 worker 种子。

## 参考来源

- Chip Huyen, *Designing Machine Learning Systems*, 2022, 第 3 章 Data Engineering Fundamentals —— 对应本篇第 1、4、5 节的生命周期、存储格式与 ETL。
- Chip Huyen, *Designing Machine Learning Systems*, 2022, 第 4 章 Training Data —— 对应第 2 节的划分策略与数据泄漏分类。
- Chip Huyen, *Designing Machine Learning Systems*, 2022, 第 8 章 Data Distribution Shifts and Monitoring —— 对应第 6 节的漂移检测与监控指标。
- pandas 官方文档, *IO tools (text, CSV, HDF5, Parquet)* —— 对应第 4 节与示例中的 JSONL 读取、Parquet 写入与列裁剪。
- Apache Parquet 官方文档, *File Format* —— 对应第 4 节的行组、列块、页与统计信息。
- DVC 官方文档, *Data Versioning* —— 对应第 3 节的 `.dvc` 指针、缓存路径与内容寻址。
