数据工程入门
定义
数据工程是设计、构建与维护一套系统与规范,使原始数据能够被稳定地转化为可复现、可追溯、可供训练与评估使用的数据集。其产物不是某一张表,而是“数据 + 生成该数据的代码 + 版本标识 + 校验规则”的组合。
数据生命周期包含七个阶段。
- 采集:从日志、数据库、埋点、第三方接口取得原始记录,写入不可变的原始快照。
- 清洗:统一类型、去重、处理缺失与异常,产出结构化表。
- 划分:按时间、实体或分层策略切分训练集、验证集、测试集,并保存划分标识。
- 版本:为原始快照、清洗表、划分结果、特征表与模型建立内容哈希,形成血缘关系。
- 特征:在训练集上拟合变换,产出特征定义与特征表。
- 训练:固定数据哈希、代码提交、配置与环境,产出模型与指标。
- 监控:上线后持续检查输入分布、数据质量与模型表现,触发重训或回滚。
其中的关键术语如下。
- 模式(schema):列名、类型、可空性、取值域的集合。
- ETL / ELT:抽取、转换、加载;ELT 先把原始数据加载到目标存储再转换,适合列式仓库。
- 幂等(idempotent):同一输入重复执行多次,结果与执行一次相同,即 。
- 内容寻址(content addressing):以内容的哈希值作为对象标识,而非路径或自增编号。
- 数据泄漏(data leakage):训练时使用了预测时刻不可获得的信息,使离线评估高估真实效果。
- 分布漂移(distribution shift):线上输入分布 偏离训练分布 。
为什么重要
模型效果的上限由数据决定,而数据问题多数不会抛出异常。
- 泄漏使离线指标高于线上。若测试集中有 比例的样本在训练集中出现过,且模型对这些样本的记忆误差接近 ,整体测试误差被拉低到 附近,评估结论失效。
- 划分不当使调参方向错误。随机切分时间序列会把未来信息带入训练,验证集损失持续偏低,上线后迅速退化。
- 缺少版本管理使实验不可复现。同一段代码在不同日期读到不同的原始表,指标差异无法归因于模型改动。
- 存储格式选择影响成本与迭代速度。按列读取可将扫描量从 降到 ,在宽表上相差一个数量级。
- 校验缺失使脏数据静默进入训练。缺失率、标签冲突与分布漂移若不在入口拦截,只能在线上以效果下降的形式暴露。
- 隐私违规的代价不可逆。个人标识一旦写入日志或特征表,删除与审计的成本远高于采集时的最小化设计。
本篇承接 Pandas数据清洗 的单表操作,向上支撑 机器学习系统设计 中的系统边界与 数据集质量控制 中的验收规则。
原理与推导
1 生命周期与工件
每个阶段都应有明确的输入、输出与不变量。下图给出主链路与反馈环。
flowchart LR
A[采集] --> B[清洗]
B --> C[划分]
C --> D[版本]
D --> E[特征]
E --> F[训练]
F --> G[监控]
G -.漂移告警.-> A
| 阶段 | 输入 | 输出工件 | 不变量 |
|---|---|---|---|
| 采集 | 源系统 | 原始快照(只追加) | 快照不可修改,按到达时间分区 |
| 清洗 | 原始快照 | 结构化表 | 键唯一、类型固定、缺失有标记 |
| 划分 | 结构化表 | 划分表(id 到 split 的映射) | 同一实体只属于一个 split |
| 版本 | 任意工件 | 哈希与指针文件 | 哈希由内容决定,路径可重定位 |
| 特征 | 训练划分 | 特征表与变换参数 | 变换只在训练划分上拟合 |
| 训练 | 特征表 + 配置 | 模型 + 指标 + 运行记录 | 数据哈希、代码提交、种子齐全 |
| 监控 | 线上日志 | 质量报告与告警 | 指标可回溯到具体模型版本 |
2 划分与数据泄漏
监督学习假设样本独立同分布,即 且相互独立。训练集用于拟合参数,验证集用于选择超参数与早停,测试集只用于最终一次评估。三者不可混用,测试集不可反复查看。
划分策略由数据生成过程决定。
- 随机划分:适用于样本独立、类别均衡的场景;类别不均衡时改用分层抽样,使各 split 的类别比例接近总体。
- 分组划分:同一用户、同一设备、同一文档的样本必须整体进入同一 split,否则模型记住实体特征而非通用规律。
- 时间划分:按时间戳切分,训练集早于验证集、验证集早于测试集;适用于需求预测、风控、推荐等存在时间依赖的场景。
数据泄漏可按信息在预测时刻是否可得来判定。设预测时刻为 , 为该时刻已知的信息集,特征 可用当且仅当 是 可测的;任何依赖 之后信息的特征都构成泄漏。
常见类型如下。
| 类型 | 成因 | 示例 |
|---|---|---|
| 目标泄漏 | 特征由标签计算或与标签同时产生 | 用“是否退款”预测“是否欺诈”,退款在欺诈确认后才发生 |
| 预处理泄漏 | 在划分前用全量数据拟合变换 | 用全量均值填充缺失、用全量方差标准化 |
| 时间泄漏 | 随机切分时间序列,或特征含未来窗口 | 用未来 7 天销量预测当天销量 |
| 组泄漏 | 同一实体跨 split | 同一用户的多个会话分别进入训练与测试 |
| 重复泄漏 | 完全重复或近似重复样本跨 split | 同一工单被多次采集,去重前切分 |
泄漏造成的评估偏差可由一个简化模型说明。设测试集中有 比例的样本在训练集中出现过,模型对重复样本的误差为 ,对未见样本的误差为 ,且 。则测试误差的期望为
越大,低估越严重。修复方式不是调整指标,而是把去重、填充、编码、缩放全部移入训练折内部,按“先划分、后拟合”的顺序执行。
3 版本管理与内容寻址
数据版本管理要解决三个问题:当前训练用的是哪份数据;两份数据是否相同;某次实验能否被完整重放。内容寻址解决前两个问题,并为第三个问题提供数据侧的可验证标识。
设对象字节序列为 ,哈希函数为 ,对象标识为
内容相同则 相同,因此可以按 去重、按 校验完整性、按 建立血缘。DVC 的做法是:真实数据存放在缓存目录,工作区只保留一个体积很小的 .dvc 指针文件,其中记录 md5、size、path;缓存路径由哈希的前两位与其余位拼接,例如 .dvc/cache/files/md5/ab/cdef...。Git 只提交指针与代码,不提交大文件。
dvc add data/clean/events.parquet # 生成 events.parquet.dvc 并写入缓存
git add data/clean/events.parquet.dvc data/clean/.gitignore
dvc push # 把缓存对象推到远端存储
一次可复现的训练运行可由五元组标识:
只要五元组相同,输出在确定性算子与相同硬件的前提下应当一致;实际工程通常要求逐位一致,或在声明的容差内一致。若结果不同,差异必须能由五元组中的某一项或非确定性算子解释。仅记录 Git 提交不足以复现,因为数据与环境都在提交之外。
4 存储格式:CSV、Parquet 与 JSONL
| 格式 | 布局 | 模式 | 压缩 | 适用 |
|---|---|---|---|---|
| CSV | 行式文本 | 无,需推断 | 通用压缩 | 交换、人工查看、小数据 |
| Parquet | 列式二进制 | 有,随文件存储 | 列内编码 + zstd/snappy | 分析、训练数据、宽表 |
| JSONL | 行式文本,每行一个 JSON | 无,字段可嵌套 | 通用压缩 | 日志、流式追加、嵌套结构 |
列式布局的优势可由扫描量推出。设表有 行、 列,平均每个值占 字节,全表原始大小为 。若查询只涉及 列,CSV 必须解析全部 列,扫描量为 ;Parquet 只读取这 列的列块,扫描量为
其中 是第 列压缩后的大小, 是平均压缩比。相对加速约为 。列内数据类型一致、取值相近,字典编码、游程编码与差分编码因此有效,压缩比通常高于行式文本。
Parquet 文件由行组(row group)、列块(column chunk)、页(page)与文件尾元数据组成。每个列块记录最小值、最大值、空值计数等统计信息;带过滤条件的查询可先读元数据,跳过不可能命中的行组,这一机制称为谓词下推。行组过小会产生大量小列块,增大元数据开销;行组过大则降低并行度与跳过粒度。
JSONL 的优势在写入侧:每行独立,可追加、可流式解析、可容纳嵌套字段,适合采集层。它的代价是无列裁剪、无统计信息、字段类型需在读取时统一。常见做法是采集层写 JSONL,清洗后转 Parquet。
Parquet 不可原地修改,行级更新需要重写文件或使用支持删除文件的表格式;高频小批量追加应合并后再写,避免“小文件问题”。
5 ETL 与编排
ETL 把抽取、转换、加载串成有向无环图,每个节点是一个可独立重跑的步骤。编排器负责调度、依赖、重试、告警与回填。
幂等是管道的第一性质。落地方式有三类。
- 分区覆盖:每次只重写目标分区,例如按
event_date覆盖当日分区,而不是无条件追加。 - 原子替换:先写临时路径,完成后重命名或切换清单,避免读者看到半成品。
- 确定性去重:以业务主键加版本号去重,保留确定的一条,不依赖行到达顺序。
重跑与回填要求转换逻辑不依赖当前时间。若 SQL 中写 CURRENT_DATE,同一分区在不同日期重跑会得到不同结果;应把逻辑日期作为参数传入。迟到数据需要水位线(watermark)界定“何时可以关闭一个窗口”,否则窗口结果会随迟到记录反复变化。
编排器与脚本的区别在于依赖表达与可观测性。cron 只能表达时间,不能表达“上游分区就绪后才运行”;Airflow、Dagster、Prefect 以 DAG 表达依赖,并记录每次运行的状态、日志与产出。无论使用哪种工具,单个任务仍应满足幂等与可重跑。
6 模式校验与数据质量
校验分两层。模式层检查列是否存在、类型是否匹配、可空性是否符合约定;内容层检查取值域、唯一性、缺失率、分布与标签一致性。模式层失败应中止任务,内容层失败可按策略中止、隔离或告警。
常用质量指标如下。
- 缺失率:,其中 表示第 行第 列缺失。
- 重复率:主键重复行数除以总行数。
- 取值域:数值落在 内的比例,类别落在允许集合内的比例。
- 新鲜度:当前时间与最新分区时间之差。
- 标签一致性:同一主键对应多个标签的比例;标签分布与历史窗口的偏离。
- 分布漂移:用 PSI 或 KS 统计量比较训练窗口与当前窗口。
PSI 把数值分箱后比较两个分布的占比。设第 箱在基准分布中占比 、在当前分布中占比 ,则
常用经验阈值为 与 :小于 视为稳定, 至 需关注,大于 视为显著漂移。KS 统计量取两条经验分布函数的最大纵向距离:
两者的区别是:PSI 对分箱敏感、可定位到具体箱;KS 不依赖分箱,但对分布尾部的差异不敏感。
标签一致性检查常被忽略。同一 order_id 在两次标注中对应不同标签、同一用户在同一天既有正样本又有负样本、标签时间晚于特征时间,都会污染训练。应在入库时按主键聚合,输出冲突表并要求人工裁决。
7 可复现性
可复现性要求给定相同输入与配置,训练结果在数值精度内一致。影响一致性的来源包括随机初始化、数据打乱顺序、Dropout、数据增广、多线程归约顺序与 GPU 原子操作的浮点不确定性。
固定随机源需要覆盖四层:
import random
import numpy as np
import torch
random.seed(0)
np.random.seed(0) # 旧接口;新代码可用 np.random.default_rng(0)
torch.manual_seed(0)
torch.cuda.manual_seed_all(0)
torch.use_deterministic_algorithms(True)
torch.backends.cudnn.benchmark = False
DataLoader 的多进程需要为每个 worker 设置种子,否则各 worker 的增广序列不可复现。环境层面应锁定依赖版本与镜像摘要:requirements.txt 记录版本、锁文件记录完整解析结果、容器记录镜像 digest。运行记录中保存五元组与硬件信息,便于区分“算法差异”与“环境差异”。
完全确定性并非总是可达。部分算子没有确定性实现,强制确定性会降低吞吐。工程上的折中是对外声明可复现的粒度:同一环境、同一硬件、同一批大小下结果一致;跨硬件只保证指标在容差内一致。
8 隐私与合规基础
隐私设计从数据最小化开始:只采集完成任务所必需的字段,明确用途与保留期限,到期删除。个人标识不得进入训练特征、日志与异常堆栈。
去标识化不等于删除姓名。常见做法是把用户标识替换为带密钥的哈希:
无密钥的 可被字典攻击还原,因为标识空间有限;带密钥的 HMAC 在密钥不泄露时不可逆推。更强的约束包括 -匿名与差分隐私。前者要求任一条记录至少与另外 条不可区分,在高维数据上难以满足;后者要求机制 对任意相邻数据集 与 满足
其中 为隐私预算, 为允许的失败概率。差分隐私以噪声换取可证明的隐私界。
合规还要求访问控制与审计:按角色授权、记录谁在何时读取了哪份数据、保留删除请求的执行记录。GDPR 与《个人信息保护法》都要求告知、同意、最小必要与可删除,具体条款应由法务确认,工程侧负责把要求落实为字段级策略与保留策略。
关键直觉
TIP
把数据管道视为一个纯函数:输入是(代码提交,数据哈希,配置,环境,种子),输出是唯一确定的数据集与模型。幂等、分区覆盖、内容寻址、锁文件、运行记录,都是为逼近这一性质而施加的约束;任何依赖当前时间、机器路径或执行次数的步骤,都会破坏该性质。
例子与代码
以下脚本实现最小 ETL:读取 JSONL,解析类型,去重,按规则隔离非法记录,输出 Parquet 与隔离文件。依赖 pandas 3.0 与 pyarrow;输入 data/raw/events.jsonl 共 11 行,内容如下,其中 1 行完全重复、1 个负金额、1 个非法标签、1 个无法解析的时间戳、2 个缺失用户标识。
{"event_id": "e1", "user_id": "u1", "ts": "2025-01-01T10:00:00Z", "amount": 12.5, "label": 1}
{"event_id": "e2", "user_id": "u2", "ts": "2025-01-01T10:05:00Z", "amount": -3.0, "label": 0}
{"event_id": "e3", "user_id": "u3", "ts": "2025-01-01T10:10:00Z", "amount": 7.0, "label": 1}
{"event_id": "e1", "user_id": "u1", "ts": "2025-01-01T10:00:00Z", "amount": 12.5, "label": 1}
{"event_id": "e4", "user_id": null, "ts": "2025-01-01T10:15:00Z", "amount": 20.0, "label": 2}
{"event_id": "e5", "user_id": "u5", "ts": "not-a-time", "amount": 5.0, "label": 0}
{"event_id": "e6", "user_id": "u6", "ts": "2025-01-01T10:20:00Z", "amount": 33.0, "label": 0}
{"event_id": "e7", "user_id": "u7", "ts": "2025-01-01T10:25:00Z", "amount": 18.5, "label": 1}
{"event_id": "e8", "user_id": "u8", "ts": "2025-01-01T10:30:00Z", "amount": 0.0, "label": 0}
{"event_id": "e9", "user_id": null, "ts": "2025-01-01T10:35:00Z", "amount": 9.9, "label": 1}
{"event_id": "e10", "user_id": "u10", "ts": "2025-01-01T10:40:00Z", "amount": 44.0, "label": 1}
from pathlib import Path
import pandas as pd
RAW = Path("data/raw/events.jsonl")
CLEAN = Path("data/clean/events.parquet")
REJECT = Path("data/quarantine/events.jsonl")
def load_jsonl(path: Path) -> pd.DataFrame:
df = pd.read_json(path, lines=True, dtype={"event_id": "string", "user_id": "string"})
df["event_id"] = df["event_id"].str.strip()
df["user_id"] = df["user_id"].str.strip()
df["ts"] = pd.to_datetime(df["ts"], utc=True, errors="coerce")
df["amount"] = pd.to_numeric(df["amount"], errors="coerce")
return df
def check_schema(df: pd.DataFrame) -> None:
required = {"event_id", "user_id", "ts", "amount", "label"}
missing = required - set(df.columns)
if missing:
raise ValueError(f"缺少列: {sorted(missing)}")
if not pd.api.types.is_datetime64_any_dtype(df["ts"]):
raise TypeError("ts 必须解析为 datetime")
if not pd.api.types.is_numeric_dtype(df["amount"]):
raise TypeError("amount 必须为数值")
def quality_report(df: pd.DataFrame) -> dict:
return {
"rows": len(df),
"missing_user_rate": round(float(df["user_id"].isna().mean()), 3),
"duplicate_event_id": int(df["event_id"].duplicated().sum()),
"bad_amount": int((~df["amount"].between(0, 1e6)).sum()),
"bad_label": int((~df["label"].isin([0, 1])).sum()),
"bad_ts": int(df["ts"].isna().sum()),
}
def run() -> None:
df = load_jsonl(RAW)
check_schema(df)
print("读取", df.shape) # (11, 5)
n_dup = int(df.duplicated().sum())
df = df.drop_duplicates().reset_index(drop=True)
print("完全重复", n_dup, "去重后", df.shape) # 1 (10, 5)
report = quality_report(df)
print(report)
if report["missing_user_rate"] > 0.25: # 阈值由业务确定
raise ValueError("user_id 缺失率超过阈值 0.25,终止写入")
bad = (~df["amount"].between(0, 1e6)) | (~df["label"].isin([0, 1])) | df["ts"].isna()
valid = df.loc[~bad].copy()
rejected = df.loc[bad].copy()
print("有效", valid.shape, "隔离", rejected.shape,
"输出标签率", round(float(valid["label"].mean()), 3))
valid["event_date"] = valid["ts"].dt.strftime("%Y-%m-%d")
valid["user_id"] = valid["user_id"].fillna("__missing__")
CLEAN.parent.mkdir(parents=True, exist_ok=True)
REJECT.parent.mkdir(parents=True, exist_ok=True)
valid.to_parquet(CLEAN, engine="pyarrow", compression="zstd", index=False)
rejected.to_json(REJECT, orient="records", lines=True,
force_ascii=False, date_format="iso")
print("写入", CLEAN, valid.shape) # (7, 6)
print("隔离", REJECT, rejected.shape) # (3, 5)
if __name__ == "__main__":
run()
运行输出:
读取 (11, 5)
完全重复 1 去重后 (10, 5)
{'rows': 10, 'missing_user_rate': 0.2, 'duplicate_event_id': 0, 'bad_amount': 1, 'bad_label': 1, 'bad_ts': 1}
有效 (7, 5) 隔离 (3, 5) 输出标签率 0.714
写入 data/clean/events.parquet (7, 6)
隔离 data/quarantine/events.jsonl (3, 5)
被隔离的 3 条记录分别是:e2 金额为 ;e4 标签为 ;e5 时间戳无法解析。质量报告在隔离前对 10 条去重记录计算,missing_user_rate 为 ,其中包含 e4;隔离后 7 条有效记录中只剩 e9 的用户标识缺失,输出时替换为 __missing__,避免下游把缺失当成空字符串。
Parquet 读取时只取所需列,避免扫描全部列:
import pandas as pd
import pyarrow.parquet as pq
meta = pq.ParquetFile("data/clean/events.parquet").metadata
print(meta.num_rows) # 7
subset = pd.read_parquet("data/clean/events.parquet", columns=["event_id", "amount"])
print(subset.shape) # (7, 2)
易错点
WARNING
- 先清洗再划分。用全量数据计算中位数、均值或编码表,会把验证集与测试集的统计量带入训练;划分必须发生在任何拟合之前,填充与缩放只在训练折上拟合。
- 对时间序列做随机切分。随机切分使未来样本进入训练集,验证损失偏低;应按时间排序后切分,并保证特征窗口不跨越切分点。
- 以追加方式重跑任务。每次运行都
append会在失败重试后产生重复行;应覆盖目标分区,或按主键加运行标识去重。- 只校验列类型,不校验分布。类型正确但均值偏移、类别占比翻转的数据仍会破坏训练;质量检查应同时覆盖缺失率、取值域、标签一致性与 PSI。
- 在日志或特征中保留原始用户标识。日志会被复制到多处,删除成本高;应在入口做带密钥的哈希或直接丢弃。
- 把
CURRENT_DATE或本地路径写入转换逻辑。同一分区在不同日期或不同机器上重跑会得到不同结果,破坏幂等与可复现性。
关联笔记
- Pandas数据清洗:前置。单表去重、类型转换与缺失处理是本篇 ETL 转换步骤的实现基础。
- 数据集质量控制:后续。本篇的质量报告是验收规则的数据来源,该篇给出更完整的质量维度。
- 机器学习系统设计:后续。生命周期、监控与反馈环在该篇扩展为系统边界与组件设计。
- 模型评估与交叉验证:对照。划分策略与泄漏判定直接决定交叉验证的估计是否可信。
- 端到端项目模板:后续。本篇的 ETL 脚本与目录约定可嵌入项目模板的数据层。
达标检测
- [ ] 能按顺序写出数据生命周期的七个阶段,并为每个阶段指出一个必须保持的不变量。
- [ ] 给定一个包含用户多次会话的数据集,能选择分组划分、指出随机划分对应的泄漏类型,并用含 的公式估算测试误差的低估幅度。
- [ ] 能解释 DVC 指针文件与缓存目录的关系,并由内容哈希说明去重与完整性校验的原理。
- [ ] 能由行数、列数与压缩比估算 Parquet 列裁剪相对 CSV 全列扫描的加速比。
- [ ] 能写出 PSI 公式,说明两个常用阈值,并指出 PSI 与 KS 在检测尾部差异上的不同。
- [ ] 能列出固定随机源的四层设置,并说明为何 DataLoader 多进程还需单独设置 worker 种子。
参考来源
- Chip Huyen, Designing Machine Learning Systems, 2022, 第 3 章 Data Engineering Fundamentals —— 对应本篇第 1、4、5 节的生命周期、存储格式与 ETL。
- Chip Huyen, Designing Machine Learning Systems, 2022, 第 4 章 Training Data —— 对应第 2 节的划分策略与数据泄漏分类。
- Chip Huyen, Designing Machine Learning Systems, 2022, 第 8 章 Data Distribution Shifts and Monitoring —— 对应第 6 节的漂移检测与监控指标。
- pandas 官方文档, IO tools (text, CSV, HDF5, Parquet) —— 对应第 4 节与示例中的 JSONL 读取、Parquet 写入与列裁剪。
- Apache Parquet 官方文档, File Format —— 对应第 4 节的行组、列块、页与统计信息。
- DVC 官方文档, Data Versioning —— 对应第 3 节的
.dvc指针、缓存路径与内容寻址。