异常检测
定义
异常检测(anomaly detection)是在正常样本占绝大多数、异常标签稀缺或缺失的条件下,学习一个评分函数 与阈值 ,使 的样本被判定为异常,并在给定的误报预算下最大化异常召回。
符号与术语:
- :一个样本, 为特征维数; 为样本矩阵。
- :真实标签, 表示异常;实际场景中 通常只在小规模标注集上可得。
- :异常分数(anomaly score),数值越大越异常;不同方法的分数尺度不可直接比较。
- :判定阈值;,其中 为指示函数,条件成立取 1,否则取 0。
- :异常先验比例(prevalence),,通常远小于 0.01。
- :允许的误报率(false positive rate),与 一一对应。
- 污染率(contamination):sklearn 接口中用于由分数分位点反推 的参数,默认 0.1,它不估计 ,只决定报警数量。
- 两类任务设定:新样本检测(novelty detection)只用正常数据训练,用于判断新样本是否偏离训练分布;离群点检测(outlier detection)在含异常的训练集上拟合,用于找出训练集内部的异常。二者的评估协议不同。
为什么重要
异常检测的目标不是提高平均预测精度,而是在极低异常比例下控制两类错误的交换关系。欺诈交易、设备故障、入侵行为、内容违规、医疗指标异常都符合同一结构:正常样本充足且同质,异常样本稀少、异质、标注成本高,且漏报与误报的代价不对称。
没有专用方法时,常见的替代做法是把问题当作二分类。该做法在两个环节失效:其一,正类样本太少,监督模型无法估计决策边界;其二,异常类型随时间变化,训练集中出现过的异常类型不能覆盖部署期的新类型。异常检测以正常分布为建模对象,把「偏离正常」作为判据,因而对未见过的异常类型仍可能给出高分。
在全书中的位置:本篇承接 无监督学习与聚类 中的距离与密度概念,使用 PCA与降维 中的协方差结构定义马氏距离;其评估部分依赖 模型评估与交叉验证 的 AUROC、PR-AUC 与阈值选择;自编码器方法以 神经网络与前向传播 为前提;部署期的漂移监控与报警预算属于 机器学习系统设计 的范围。
原理与推导
1. 问题设定与标签稀缺
设正常样本服从未知分布 ,异常样本服从 ,混合分布为 。贝叶斯最优判定为
其中 为漏报代价, 为误报代价。该式说明两点:最优阈值由代价比与先验比共同决定;当 极小时,右侧阈值很大,模型必须对 的比值给出足够精确的估计,而不能只拟合 的整体形状。异常检测因此通常估计 或等价的距离/密度统计量,再用验证集上的代价确定阈值。
2. 统计方法:3σ、IQR 与马氏距离
3σ 准则。若单变量特征 , 为标准正态分布的累积分布函数,则
判定区间为 。该准则依赖正态假设;用含异常的样本估计 与 会使二者偏移,阈值随之失真。对多变量逐维应用 3σ 会忽略特征间相关,且误报率随维数累积, 维独立时至少一维越界的概率约为 。
箱线图 IQR 准则。记 为第一、第三四分位数,,栅栏为
正态分布下 ,栅栏约等于 ,双侧尾部概率约 0.007。分位数对离群点不敏感,故 IQR 比 3σ 稳健;代价是它只使用单变量边缘分布。
马氏距离。设 、 为正常数据的均值与协方差,定义
当 时,,可取 作为阈值。马氏距离等价于先做白化 ,再计算 ,因此它按特征方差与相关性归一化,消除了量纲与相关性的影响。 奇异或近奇异时需用伪逆、收缩估计或先降维;离群点会同时污染 与 ,稳健版本使用最小协方差行列式估计。
3. 孤立森林
孤立森林(Isolation Forest)利用「异常点更容易被随机划分隔离」这一结构性质。单棵树的构造:
- 从 个样本中无放回抽取 个样本(sklearn 默认 )。
- 随机选一个特征 ,在该节点样本的该特征取值区间 上均匀取切分点 。
- 以 与 把样本分到左右子节点,递归直到节点只剩一个样本或达到高度上限 。
记样本 在树 中的路径长度为 (经过的边数,含未完全展开的叶节点调整项)。森林的平均路径长度为 。定义
其中 为调和数, 为欧拉常数, 是 个样本的二叉搜索树平均失败查找长度。 越小, 越接近 1;当 时 。原始论文以 0.5 为默认阈值,sklearn 则以 contamination 对应的分数分位点作为 offset_,二接口的原始分数不可直接比较。
单棵树训练复杂度 ,查询复杂度 ,森林为 与 。该方法的假设是异常位于低密度区域且可由轴平行的随机切分隔离;对「局部异常」(在全局密度正常、但相对邻域稀疏的点)效果有限。
4. LOF
局部离群因子(Local Outlier Factor, LOF)比较样本与其邻域的局部密度。设 为邻域参数:
- -距离 : 到第 个最近邻的距离。
- 邻域 :距离不大于 的样本集合。
- 可达距离:。用 是为了让距离很近的邻居不至于产生过小的可达距离。
- 局部可达密度:
- 局部离群因子:
若 的密度与邻域相当,;若 的密度显著低于邻域,分母小、分子大,。LOF 是比值而非绝对密度,因此在密度不均匀的数据中仍能识别局部异常。代价是必须保留训练集以计算邻域,查询复杂度 起,且 的选择直接影响结果: 过小则密度估计方差大, 过大则局部性消失、趋近全局密度比。
5. One-Class SVM
One-Class SVM 在核空间中寻找一个与原点距离最大、同时使大多数训练样本落在正侧的超平面。设 为核映射,优化问题为
其中 控制边界松紧。判定函数为 ,分数可取 。理论性质: 是训练集中被允许落在边界外的样本比例的上界,同时是支持向量比例的下界。使用 RBF 核 时, 与 共同决定边界形状;特征未标准化时 RBF 核的尺度由方差最大的特征主导。该方法不输出概率,分数到概率的映射需要额外的校准集。
6. 自编码器重构误差法
自编码器由编码器 与解码器 组成,在正常数据上最小化
训练完成后,以重构误差 作为异常分数,阈值取验证集正常样本误差的 分位数。其成立条件是:正常样本位于低维流形上,网络学会了该流形的编码与解码;异常样本不在流形上,因而重构误差大。网络结构、瓶颈维数与正则化见 神经网络与前向传播 与 正则化与调参。
该方法的风险在于训练集若混入异常,网络会同时学会重构异常,分数不再区分。工程上先用稳健统计或孤立森林过滤训练集,或对高误差样本降权。对图像、时序等高维结构化数据,重构误差比基于原始欧氏距离的方法更有效;对表格数据,其优势不明显。
7. 评估:AUROC、PR-AUC 与阈值代价
AUROC 等于随机取一个正样本与一个负样本、正样本分数更高的概率:
它衡量全阈值范围内的排序质量,与阈值无关,但在 极小时会对实际部署的误报数量给出乐观印象。
PR-AUC 以召回为横轴、精确率为纵轴。随机猜测的 PR-AUC 等于 ,而非 0.5;因此不同 的数据集之间的 PR-AUC 不可直接比较。平均精度(Average Precision, AP)是 PR 曲线下的阶梯积分:
阈值与业务代价。给定验证集上的分数,阈值 决定混淆矩阵四项。期望代价为
选择 。若部署约束是每日人工复核上限 ,则取分数最高的 个样本,等价于固定报警预算而非固定误报率。两种口径给出的阈值通常不同,评估时必须写明。
8. 类别极不平衡下的陷阱
- 准确率失效。全部判为正常的准确率为 ;当 时该平凡预测的准确率为 0.999。
- AUROC 与业务指标脱节。模型可以在低误报率区间很差、在高误报率区间很好,从而取得较高 AUROC,但部署只使用低误报率区间。
- 正样本太少导致估计方差大。几十个正样本下,AUROC 的 95% 置信区间宽度可能超过 0.1;应报告重复划分或 bootstrap 区间。
- 异常异质。多个异常类型被合并成一个正类时,单一分数可能只对其中一类敏感;应按类型分别报告召回。
- 评估集受污染。若测试集中的「正常」样本实际含未标注异常,指标会被系统性压低,且不同方法受压程度不同。
关键直觉
机制性直觉
异常分数可统一理解为「负对数密度」的单调变换或它的局部近似:马氏距离是高斯负对数密度去掉常数项,孤立森林的平均路径长度与 密度负相关,LOF 是局部密度的比值,自编码器重构误差是流形距离的代理。它与严格定义的对应关系是:在分数上取阈值 ,等价于在密度估计上取水平集;评估指标衡量的正是这一族水平集的排序质量与代价。
例子与代码
手算例:二维马氏距离
设正常数据均值 ,协方差
对 :
对 :,。取 、,阈值 ,故第一个点不报警,第二个点报警。若错误地按逐维 3σ 判断, 的第一维为 个标准差、第二维为 个标准差,只有第二维越界;马氏距离同时利用了「两维同向偏离」这一相关性信息,给出更强的异常证据。
sklearn 对照:孤立森林与 LOF
import numpy as np
from sklearn.ensemble import IsolationForest
from sklearn.neighbors import LocalOutlierFactor
from sklearn.metrics import roc_auc_score, average_precision_score
rng = np.random.default_rng(42)
n_in, n_out = 800, 40
X_in = rng.normal(size=(n_in, 2)) # 正常样本:标准正态
X_out = rng.uniform(low=-5.0, high=5.0, size=(n_out, 2)) # 异常:均匀分布
X = np.vstack([X_in, X_out])
y = np.r_[np.zeros(n_in, int), np.ones(n_out, int)]
iso = IsolationForest(n_estimators=200, contamination=0.05,
random_state=0).fit(X)
s_iso = -iso.score_samples(X) # 分数取负:越大越异常
lof = LocalOutlierFactor(n_neighbors=20, contamination=0.05)
labels_lof = lof.fit_predict(X) # 同时计算训练集 LOF
s_lof = -lof.negative_outlier_factor_
print("孤立森林 AUROC / AP:",
round(roc_auc_score(y, s_iso), 4),
round(average_precision_score(y, s_iso), 4))
print("LOF AUROC / AP:",
round(roc_auc_score(y, s_lof), 4),
round(average_precision_score(y, s_lof), 4))
print("报警数量:", int((iso.predict(X) == -1).sum()), int((labels_lof == -1).sum()))
预期输出:
孤立森林 AUROC / AP: 0.9487 0.844
LOF AUROC / AP: 0.94 0.8008
报警数量: 42 42
说明:
contamination=0.05使两种方法各报警 个样本;它只控制阈值分位点,与真实异常比例 40/840 接近但不必相等。- 分数取负是因为 sklearn 的
score_samples与negative_outlier_factor_均为「越大越正常」;直接送入roc_auc_score会得到 。 - LOF 的
fit_predict在训练集上做离群点检测;若用于新样本,需设置novelty=True并改用decision_function,此时训练集不参与判定。 - 两种方法的原始分数量纲不同(孤立森林在 0.37 至 0.77 之间,LOF 在 0.96 至 4.17 之间),只能比较排序指标,不能比较分数大小或直接取共同阈值。
- 40 个异常中有一部分落入正常样本的密集区域内部,因此 AUROC 未达到 1;这反映了异常定义与正常分布重叠时的固有上限。
阈值与代价
# 承接上文:y 与 s_iso 已定义
def cost_at_threshold(y_true, scores, tau, c_fn=10.0, c_fp=1.0):
pred = (scores > tau).astype(int)
fn = int(((pred == 0) & (y_true == 1)).sum())
fp = int(((pred == 1) & (y_true == 0)).sum())
return c_fn * fn + c_fp * fp
taus = np.quantile(s_iso, np.linspace(0.80, 0.999, 200))
costs = np.array([cost_at_threshold(y, s_iso, t) for t in taus])
best = taus[costs.argmin()]
print("代价最优阈值:", round(float(best), 4), "最小代价:", int(costs.min()))
该片段把漏报代价设为误报的 10 倍,输出阈值约为分数分布的 0.95 分位点附近。真实业务中 与 的单位必须统一(例如均为人工复核工时),否则最优阈值没有意义。
易错点
常见错误
- 把
contamination当作异常先验 的估计。它只决定阈值分位点;设得过大则报警数量被人为放大,精确率下降,设得过小则召回下降,二者都不改变模型排序。- 在包含异常的全量数据上估计 与 ,再计算马氏距离。异常会同时抬高均值、放大方差,使 被低估;应在清洗后的正常数据上估计,或使用稳健协方差。
- 对 LOF 取 或 。前者使可达距离退化为最近邻距离、密度估计方差极大;后者使邻域覆盖全体样本,LOF 趋近常数。
- 用准确率或单一 AUROC 汇报不平衡场景的效果。应同时给出 PR-AUC、固定误报率下的召回,以及按业务代价选出的阈值对应的混淆矩阵。
- 在含异常的数据上训练自编码器,并以训练集重构误差定阈值。网络会学会重构异常,阈值被抬高,部署期漏报增加。
- 直接比较不同实现或不同版本的异常分数。孤立森林的路径长度在不同实现中含不同的叶节点调整项,原始分数不可跨库比较。
关联笔记
- 前置:无监督学习与聚类 —— 密度、距离与邻域是 LOF 和马氏距离的共同基础;聚类得到的簇可用于分群建模正常分布。
- 前置:PCA与降维 —— 马氏距离的白化形式与 PCA 白化相同;子空间残差也是常用异常分数。
- 后续:模型评估与交叉验证 —— AUROC、PR-AUC、阈值代价与重采样区间在本篇只给出定义,完整的评估协议在该篇展开。
- 后续:神经网络与前向传播 —— 自编码器重构误差法要求理解编码器、解码器与重构损失。
- 后续:机器学习系统设计 —— 异常检测的报警预算、漂移监控与人工复核队列属于系统设计问题。
达标检测
- [ ] 能写出马氏距离定义,并说明它为什么等价于白化后的欧氏距离,以及在什么条件下服从卡方分布。
- [ ] 能独立计算本篇二维例子中 与 的 ,并与 比较。
- [ ] 能解释孤立森林中 的作用,以及为什么 越小异常分数越接近 1。
- [ ] 能写出 LOF 的 与 公式,并说明 的含义。
- [ ] 能运行代码,把
contamination从 0.01 改到 0.20,记录报警数量、精确率与召回的变化,并解释原因。 - [ ] 能指出「在含异常数据上训练自编码器」为何会破坏重构误差的判别力,并给出两种修正方案。
参考来源
- Hastie, Tibshirani, Friedman, The Elements of Statistical Learning, 2nd ed., 2009, 第 14 章 —— 对应本篇无监督学习中密度、距离与降维方法的背景,以及马氏距离的协方差归一化思想。
- scikit-learn 用户指南,Novelty and Outlier Detection —— 对应本篇孤立森林、LOF、One-Class SVM 的接口语义、
contamination与novelty参数说明。 - d2l.ai《动手学深度学习》,自编码器一章 —— 对应本篇重构误差法的网络结构与训练目标。
- Stanford CS229 课程讲义,异常检测(高斯分布模型)一节 —— 对应本篇 3σ 准则、多元高斯密度与阈值选择。
- NumPy 文档,
numpy.linalg.inv与numpy.quantile条目 —— 对应本篇手算例与阈值分位点的实现。