机器学习系统设计
定义
机器学习系统设计(machine learning system design)是规定数据采集、特征计算、模型训练、离线评估、部署推理、监控告警与再训练之间接口与反馈路径的工程方法,使模型在延迟、成本与可靠性约束下持续产生可度量的业务价值。
符号与术语:
- 业务指标(business metric):直接计价的量,如违规内容曝光率、人工复核工时、单位请求成本。
- 模型指标(model metric):由模型输出计算的量,如 PR-AUC、固定误报率下的召回、RMSE。
- 基线(baseline):不使用该模型时系统已有的决策规则,或最简统计规则;迭代的对照起点。
- 训练-服务偏差(training-serving skew):离线训练时的特征分布与在线推理时实际输入分布之间的差异。
- 数据漂移(data drift):输入分布 随时间变化,而条件分布 不变。
- 概念漂移(concept drift):条件分布 随时间变化,即同样的输入对应的标签含义改变。
- 反馈闭环(feedback loop):模型输出影响用户行为,用户行为又成为下一轮训练数据。
- PSI(Population Stability Index):两个分箱分布之间差异的对称化散度,用于监控特征分布变化。
- 训练数据版本、特征版本、模型版本、配置与随机种子共同构成一次实验的可复现标识。
为什么重要
模型代码在完整系统中通常只占很小一部分。系统的实际表现由数据管道是否按时产出、特征在线上是否与离线一致、推理是否在延迟预算内、异常输入是否有降级路径、标签延迟是否被正确解释共同决定。只优化离线指标会在以下环节失效:
- 指标错位:离线 AUC 提升,但部署阈值下的精确率未变,业务指标不动。
- 分布错位:训练数据来自历史日志,线上流量结构变化后模型输入偏移,性能下降且无告警。
- 反馈污染:模型只对已曝光样本获得标签,训练数据逐渐集中于模型已偏好的区域,评估失真。
- 维护失控:胶水代码与未声明的下游依赖使任何一次特征改动都可能破坏多个模型。
在全书中的位置:本篇把 模型评估与交叉验证 的离线指标、数据工程入门 的数据管道与特征定义组织为可运行系统;部署延迟与成本的权衡见 成本-延迟-质量权衡,端到端实现见 端到端项目模板,推荐场景的具体排序与评估见 推荐系统。
原理与推导
1. 问题定义与指标层级
系统设计的第一步是把业务目标翻译为可计算的指标链。以内容审核为例:
| 层级 | 指标 | 计算方式 | 用途 |
|---|---|---|---|
| 业务 | 违规内容曝光率 | 违规内容曝光次数 / 总曝光次数 | 验收与汇报 |
| 产品 | 自动拦截率、误伤申诉率 | 自动处置量 / 违规总量;申诉成立量 / 自动处置量 | 策略取舍 |
| 模型 | 固定误报率下的召回、PR-AUC | 验证集混淆矩阵 | 模型迭代 |
| 系统 | p99 延迟、单请求成本、可用性 | 服务端监控 | 容量与稳定性 |
指标必须满足三条性质:可分解(能从模型输出与策略阈值算出)、可归因(变化能定位到数据、模型或策略中的一环)、可决策(存在明确的阈值或比较规则)。仅写「提升用户体验」不满足任何一条。
模型指标到业务指标的映射通常经过阈值与流量分配两层。设模型分数为 ,策略阈值为 ,则业务指标是 的函数;离线提升排序质量(AUC)不保证在固定 下提升业务指标,因此验收标准应写成「在误报率不超过 的条件下,召回不低于 」这类带约束的形式。
2. 基线、误差分析与迭代
基线的选择决定迭代是否有意义。常见顺序:
- 规则基线:关键词、黑白名单、简单阈值。它给出业务可接受的最低水平,并暴露标注口径问题。
- 统计基线:逻辑回归或梯度提升树加少量特征,用于验证特征与标签是否存在可学习信号。
- 复杂模型:在基线之上替换模型族,其余管道保持不变。
只有当前一层的误差被分析清楚后再进入下一层,否则无法区分「模型容量不足」与「特征或标签错误」。误差分析按切片进行:类别、语言、设备、内容长度、用户历史。对每个切片报告样本量、正例数、指标与置信区间;小切片的高分通常是噪声。
迭代策略遵循「先修数据、再修特征、最后换模型」的顺序,原因是三者的排查成本依次上升,而收益在多数项目中相反。每次迭代只改变一个因素,并保留旧版本的完整配置,否则无法归因。
3. 数据:收集、标注、划分
收集。训练数据来自日志时,必须明确抽样框:日志只记录已曝光内容,未曝光内容没有记录,这构成选择偏差。补充手段包括随机流量采样、主动学习挑选低置信样本、人工构造困难负例。
标注。标注指南需规定正例边界、灰区处理与多标签优先级。用双人标注计算一致性:
其中 为观测一致率, 为按边际分布计算的期望一致率。 低说明定义模糊,应先修指南而不是增加标注量。标注成本高时,可用模型预标注加人工修正,但需抽检修正后的标签质量。
划分。划分方式必须匹配部署时的泛化边界:
- 随机划分:仅适用于独立同分布且无实体重复的场景。
- 时间划分:用过去预测未来;验证集时间晚于训练集,且留出标签窗口长度的间隔。
- 分组划分:同一作者、同一设备、同一会话的样本不跨集合。
- 分层划分:保持类别比例,稀有类每折至少若干正例。
划分完成后固定并版本化,禁止在迭代中重新随机划分,否则指标不可比。
4. 特征工程与特征存储
特征分为三类:批特征(按天/小时全量计算)、流特征(事件到达即更新)、请求特征(仅由当次请求决定)。三类特征的时间语义不同,混用会产生泄漏。
时间点正确性(point-in-time correctness):为训练样本构造特征时,只能使用该样本预测时点之前可用的数据。若用「用户过去 30 天点击率」而该统计包含样本之后的行为,离线指标会虚高。实现方式是为每个特征值记录事件时间与写入时间,训练时按事件时间做 as-of join。
特征存储(feature store)提供离线与在线两套读取接口,共享同一份特征定义与变换逻辑,用于消除训练-服务偏差。需要版本化的内容:特征名、计算逻辑、依赖表、刷新周期、默认值与缺失处理。线上特征缺失时必须有确定的回退值,且回退比例应被监控。
5. 训练与实验管理
一次实验的最小记录集:代码提交、数据版本、特征版本、超参数、随机种子、环境依赖、评估指标与评估数据切片。缺少任一项,结果不可复现,也无法判断指标变化来自数据还是代码。
实验管理的作用不是保存所有模型,而是支持三类查询:某指标的历史最优配置、某配置在各切片上的表现、某次线上退化对应哪个离线版本。模型注册表记录模型文件、输入输出 schema、训练数据时间范围与批准状态;部署只能引用注册表中的版本。
6. 离线评估与在线 A/B
离线评估使用历史数据,其结论是部署效果的代理指标。代理关系成立需要两个条件:线上流量分布与历史分布接近;模型输出不影响数据生成过程。第二个条件在推荐、审核、风控中通常不成立,因为模型决策改变了被观测的样本。
A/B 测试把流量随机分为对照组与实验组,比较业务指标。设计要点:
- 随机化单位:用户级、会话级或请求级;单位应与指标口径一致,避免同一用户跨组造成干扰。
- 主指标与护栏指标:主指标用于判定成功,护栏指标(延迟、错误率、投诉率)用于防止副作用。
- 样本量与最小可检测效应:在给定显著性水平 与检验功效 下,所需样本量由基线比例 、目标比例 与方差决定,见本篇代码。
- 固定时窗,不在试验中途反复检验并提前停止;连续检验会抬高第一类错误率。
- 新奇效应与学习效应:短期指标可能因用户好奇或模型冷启动而偏离长期效果,必要时延长观察或做长期留出组。
7. 部署形态
| 形态 | 延迟量级 | 适用条件 | 主要代价 |
|---|---|---|---|
| 批处理 | 小时至天 | 结果可预先计算,如离线评分、日报 | 结果过期;无法响应实时事件 |
| 在线同步 | 十毫秒至数百毫秒 | 请求需即时决策,如审核、搜索排序 | 服务容量与尾延迟;特征必须在线可取 |
| 流式 | 秒至分钟 | 事件驱动,如欺诈交易拦截 | 状态管理与乱序处理复杂 |
| 边缘 | 毫秒至数十毫秒 | 带宽受限、隐私要求高、离线可用 | 模型体积受限;更新与监控困难 |
在线服务的延迟预算需逐段分配:网关、鉴权、特征读取、模型推理、后处理。若 p99 预算为 200 ms,特征读取占 50 ms、推理占 30 ms,则剩余额度决定超时与降级策略。降级路径必须预先定义:特征缺失时用默认值或退化模型,模型超时时走规则,服务不可用时放行并记录,而不是返回错误。
8. 监控
监控分四层,每层的告警阈值与处置方式不同:
- 系统层:QPS、p50/p99 延迟、错误率、超时率、资源使用率。
- 数据层:特征缺失率、越界率、类型错误、分布漂移。
- 模型层:分数分布、预测正例率、置信度分布;标签到达后计算实际指标。
- 业务层:曝光率、拦截率、申诉率、人工复核量。
数据漂移用 PSI 或 KS 统计量衡量。PSI 的定义为
其中 、 分别为基准期与当前期落入第 个分箱的样本比例, 为分箱数。约定阈值:小于 0.1 视为稳定,0.1 至 0.25 为中等变化,大于 0.25 为显著变化。这些阈值是工程约定,不是假设检验的临界值,需按业务误报成本调整。
概念漂移无法仅由输入分布检测,需要标签。标签延迟(label delay)决定检测滞后:若标签在 7 天后到达,模型退化最早也要 7 天后才能被确认。缓解手段包括代理指标(如人工复核推翻率)、置信度分布监控与影子模型对比。
9. 反馈闭环与再训练
模型输出改变用户行为,用户行为成为训练数据,形成反馈闭环。三类偏差随之出现:
- 曝光偏差:只有被展示的物品获得反馈,未展示物品的标签缺失。
- 位置偏差:排在前面的物品获得更多点击,点击率不能直接比较。
- 选择偏差:人工复核只覆盖模型标记的样本,未标记样本的真实标签未知。
修正手段包括:保留随机流量作为无偏样本;用逆倾向得分加权(inverse propensity scoring)校正曝光概率;对探索流量单独建模。再训练触发条件通常有三类:固定周期、漂移告警、指标下降。三者应组合使用,并保留回滚版本。再训练前必须验证新数据不包含错误标签与重复样本,否则会自动放大上一轮的错误。
10. 技术债与可维护性
机器学习系统的技术债有特定形态:
- 胶水代码:连接数据源、特征与模型的一次性脚本,无测试、无 schema 校验。
- 脚本堆叠:多个脚本以文件为接口串联,中间产物无版本,失败后无法定位。
- 配置债:阈值、路径、特征列表散落在代码与配置文件,修改需人工同步。
- 未声明的下游:某个特征被多个模型使用,修改时未评估影响面。
- 死实验:废弃模型与特征长期保留,占用资源并干扰排查。
控制手段:数据与特征 schema 校验前置;管道以代码定义并可重复执行;配置集中管理并版本化;为关键指标建立回归测试;模型与特征设置下线流程。可维护性的衡量标准是:新成员能否在不询问原作者的情况下复现一次训练并在预发环境部署。
11. 案例:内容审核系统
设定。日均 500 万条图文投稿,目标为违规内容曝光率低于 0.1%,人工复核预算 2 万条/日,在线判定 p99 延迟预算 300 ms。系统需要在延迟约束下给出可解释的处置动作,并保留可回溯的标签来源。
架构。
flowchart LR
C["客户端投稿"] --> G["API 网关"]
G --> Q["消息队列"]
Q --> P["预处理 文本规范化与图像解码"]
P --> M["多标签审核模型服务"]
M --> R["策略引擎 分级阈值"]
R -->|高风险| H["人工复核队列"]
R -->|低风险| A["自动放行或拦截"]
H --> F["标注与反馈库"]
A --> F
F --> T["训练与实验流水线"]
T --> MR["模型注册表"]
MR --> M
M -. 分数与延迟 .-> O["监控与告警"]
O --> T
组件职责。
| 组件 | 输入 | 输出 | 关键约束 |
|---|---|---|---|
| 预处理 | 原始文本、图片 | 规范化文本、缩放后的图像 | 与训练期处理逻辑同源,不允许两套实现 |
| 模型服务 | 预处理结果 | 12 个违规类别的分数 | 批量推理;p99 推理时间不超过 80 ms |
| 策略引擎 | 各类别分数 | 放行、拦截、送审 | 阈值按类别风险分级,可独立回滚 |
| 人工复核 | 送审样本与分数 | 最终标签与处置 | 按风险分排序,控制每日预算 |
| 反馈库 | 处置结果与复核标签 | 训练样本 | 记录标签来源与时间,支持按来源加权 |
| 训练流水线 | 反馈库、特征表 | 候选模型 | 数据版本与配置可复现 |
| 监控 | 服务与业务日志 | 告警、漂移报告 | 分数分布、PSI、申诉率、延迟 |
阈值与代价。对第 类违规,给定漏放代价 与误伤代价 ,阈值取
高风险类别(如违法信息)的 远大于 ,阈值低;低风险类别阈值高,灰区进入人工复核。阈值属于策略配置,与模型版本分开管理,便于单独调整与审计。
离线与在线指标。离线按类别报告 PR-AUC 与固定误报率下的召回;在线报告违规曝光率、自动拦截精确率、复核推翻率与平均复核耗时。离线指标只用于筛模型,上线决策由 A/B 的业务指标与护栏指标决定。
反馈与审计。人工复核只覆盖模型送审的样本,属于有偏标签。系统每日额外随机抽取 0.1% 的自动放行样本送审,用于估计漏放率并校正训练分布。所有处置记录保留模型版本、策略版本与阈值,支持事后追溯。
失效与降级。模型超时或特征缺失时降级为规则拦截,同时记录降级比例;队列积压超过阈值时提高自动放行比例并告警;连续漂移告警触发候选模型训练,经影子流量验证后再切换。
关键直觉
机制性直觉
机器学习系统是一个由数据生成、模型决策与反馈采集构成的受控回路;模型只是回路中的一个映射,回路的稳定性取决于各环节的时间语义是否一致。它与严格定义的对应关系是:离线评估估计的是历史分布上的风险,在线指标度量的是当前策略诱导分布上的收益;二者相等需要分布不变且决策不影响采样,这两个条件在部署后通常被违反。
例子与代码
漂移监控:PSI 计算
import numpy as np
# 基准期与当前期的分箱占比,五个分箱之和均为 1
p = np.array([0.30, 0.25, 0.20, 0.15, 0.10])
q = np.array([0.20, 0.24, 0.22, 0.19, 0.15])
terms = (p - q) * np.log(p / q)
psi = float(np.sum(terms))
print("各分箱贡献:", np.round(terms, 4))
print("PSI:", round(psi, 4))
预期输出:
各分箱贡献: [0.0405 0.0004 0.0019 0.0095 0.0203]
PSI: 0.0726
PSI 为 0.0726,小于 0.1,按常用约定视为稳定。注意分箱边界必须在基准期确定并固定,否则两期分箱不同,PSI 不可比;某个分箱的 时对数发散,工程上需加平滑项或合并稀疏箱。
容量规划:A/B 样本量
import numpy as np
from statistics import NormalDist
def n_per_group(p1, p2, alpha=0.05, power=0.8):
"""双侧检验下每组所需样本量;p1 为基线转化率,p2 为目标转化率。"""
z = NormalDist()
za = z.inv_cdf(1 - alpha / 2) # 双侧 alpha 对应的分位数
zb = z.inv_cdf(power) # 功效对应的分位数
pbar = (p1 + p2) / 2
num = (za * (2 * pbar * (1 - pbar)) ** 0.5
+ zb * (p1 * (1 - p1) + p2 * (1 - p2)) ** 0.5) ** 2
return int(np.ceil(num / (p2 - p1) ** 2))
print("基线 10%、目标 11% 每组:", n_per_group(0.10, 0.11))
print("基线 10%、目标 10.5% 每组:", n_per_group(0.10, 0.105))
预期输出:
基线 10%、目标 11% 每组: 14751
基线 10%、目标 10.5% 每组: 57763
从 10% 提升到 11%(相对提升 10%)每组需要约 1.48 万样本;目标改为 10.5%(相对提升 5%)时样本量增至约 5.78 万,约为前者的 3.9 倍。样本量与效应量的平方近似成反比,这是小提升需要长试验期的原因。该公式基于正态近似与独立样本,实际还需考虑分流比例、指标方差与多重比较。
易错点
常见错误
- 用离线 AUC 的提升直接推断业务收益。AUC 与阈值无关,而业务指标在固定阈值下计算;验收标准应绑定误报率与召回。
- 特征计算使用全量历史统计,包含预测时点之后的数据。时间点不正确会使离线指标虚高,线上无法复现。
- A/B 试验中途反复查看并提前停止。连续检验使第一类错误率显著高于名义 ,应固定时窗或使用序贯检验。
- 监控只看输入漂移,不看标签与性能。输入分布不变时概念漂移仍可发生;标签延迟使性能监控天然滞后。
- 用模型自己标记的样本训练下一轮模型,且不做倾向校正。反馈闭环会放大既有偏差,评估集应保留随机流量。
- 模型更新无回滚与影子阶段。直接全量替换使故障影响全部流量,且无法区分模型问题与流量问题。
关联笔记
- 前置:模型评估与交叉验证 —— 离线指标、阈值选择与嵌套 CV 是系统验收的技术基础。
- 前置:数据工程入门 —— 数据管道、分区与调度决定特征能否按时、按正确时间点产出。
- 后续:成本-延迟-质量权衡 —— 部署形态与模型规模的取舍在该篇展开为可计算的成本模型。
- 后续:端到端项目模板 —— 本篇的组件在项目模板中落为目录结构、配置与运行脚本。
- 对照:推荐系统 —— 推荐系统是反馈闭环与曝光偏差最典型的场景,其评估协议可直接对照本篇第 9 节。
达标检测
- [ ] 能把一个业务目标分解为业务、产品、模型、系统四层指标,并说明每层指标的计算口径。
- [ ] 能指出一个特征在训练与线上计算中的时间语义差异,并给出修正后的 as-of join 方案。
- [ ] 能写出 PSI 公式,解释分箱边界为何必须固定,以及 时的处理方式。
- [ ] 能说明 A/B 试验的随机化单位如何选择,以及中途反复检验为何抬高第一类错误率。
- [ ] 能画出内容审核系统的数据流,标出模型、策略、人工复核与反馈库的位置。
- [ ] 能列举三类反馈闭环偏差及各自的修正手段(随机流量、倾向加权、探索)。
参考来源
- Chip Huyen, Designing Machine Learning Systems, O'Reilly, 2022 —— 对应本篇的数据工程、特征存储、部署形态、分布偏移监控与持续学习框架。
- Google, Rules of Machine Learning: Best Practices for ML Engineering(仅记名称)—— 对应本篇基线与迭代策略的工程经验来源。
- Hastie, Tibshirani, Friedman, The Elements of Statistical Learning, 2nd ed., 2009, 第 7 章 —— 对应本篇离线评估与模型选择的统计基础。
- scikit-learn 用户指南,Model selection and evaluation —— 对应本篇离线指标与验证集划分的实现口径。