---
tags: [AI, 经典机器学习, 异常检测]
阶段: 03-经典机器学习
难度: ★★☆
created: 2026-10-18
related: "[[无监督学习与聚类]], [[模型评估与交叉验证]], [[神经网络与前向传播]]"
---

# 异常检测

## 定义

**异常检测**（anomaly detection）是在正常样本占绝大多数、异常标签稀缺或缺失的条件下，学习一个评分函数 $s:\mathbb{R}^d\to\mathbb{R}$ 与阈值 $\tau$，使 $s(\mathbf{x})>\tau$ 的样本被判定为异常，并在给定的误报预算下最大化异常召回。

符号与术语：

- $\mathbf{x}\in\mathbb{R}^d$：一个样本，$d$ 为特征维数；$\mathbf{X}\in\mathbb{R}^{n\times d}$ 为样本矩阵。
- $y\in\{0,1\}$：真实标签，$y=1$ 表示异常；实际场景中 $y$ 通常只在小规模标注集上可得。
- $s(\mathbf{x})$：异常分数（anomaly score），数值越大越异常；不同方法的分数尺度不可直接比较。
- $\tau$：判定阈值；$\hat{y}=\mathbb{1}[s(\mathbf{x})>\tau]$，其中 $\mathbb{1}[\cdot]$ 为指示函数，条件成立取 1，否则取 0。
- $\pi$：异常先验比例（prevalence），$\pi=P(y=1)$，通常远小于 0.01。
- $\alpha$：允许的误报率（false positive rate），与 $\tau$ 一一对应。
- **污染率**（contamination）：sklearn 接口中用于由分数分位点反推 $\tau$ 的参数，默认 0.1，它不估计 $\pi$，只决定报警数量。
- 两类任务设定：**新样本检测**（novelty detection）只用正常数据训练，用于判断新样本是否偏离训练分布；**离群点检测**（outlier detection）在含异常的训练集上拟合，用于找出训练集内部的异常。二者的评估协议不同。

## 为什么重要

异常检测的目标不是提高平均预测精度，而是在极低异常比例下控制两类错误的交换关系。欺诈交易、设备故障、入侵行为、内容违规、医疗指标异常都符合同一结构：正常样本充足且同质，异常样本稀少、异质、标注成本高，且漏报与误报的代价不对称。

没有专用方法时，常见的替代做法是把问题当作二分类。该做法在两个环节失效：其一，正类样本太少，监督模型无法估计决策边界；其二，异常类型随时间变化，训练集中出现过的异常类型不能覆盖部署期的新类型。异常检测以正常分布为建模对象，把「偏离正常」作为判据，因而对未见过的异常类型仍可能给出高分。

在全书中的位置：本篇承接 [[无监督学习与聚类]] 中的距离与密度概念，使用 [[PCA与降维]] 中的协方差结构定义马氏距离；其评估部分依赖 [[模型评估与交叉验证]] 的 AUROC、PR-AUC 与阈值选择；自编码器方法以 [[神经网络与前向传播]] 为前提；部署期的漂移监控与报警预算属于 [[机器学习系统设计]] 的范围。

## 原理与推导

### 1. 问题设定与标签稀缺

设正常样本服从未知分布 $P_0$，异常样本服从 $P_1$，混合分布为 $P=(1-\pi)P_0+\pi P_1$。贝叶斯最优判定为

$$
\frac{p_1(\mathbf{x})}{p_0(\mathbf{x})}>\frac{c_{FP}(1-\pi)}{c_{FN}\pi},
$$

其中 $c_{FN}$ 为漏报代价，$c_{FP}$ 为误报代价。该式说明两点：最优阈值由代价比与先验比共同决定；当 $\pi$ 极小时，右侧阈值很大，模型必须对 $P_1/P_0$ 的比值给出足够精确的估计，而不能只拟合 $P$ 的整体形状。异常检测因此通常估计 $p_0$ 或等价的距离/密度统计量，再用验证集上的代价确定阈值。

### 2. 统计方法：3σ、IQR 与马氏距离

**3σ 准则**。若单变量特征 $X\sim\mathcal{N}(\mu,\sigma^2)$，$\Phi$ 为标准正态分布的累积分布函数，则

$$
P(|X-\mu|>3\sigma)=2\left(1-\Phi(3)\right)\approx 0.0027,
$$

判定区间为 $[\mu-3\sigma,\mu+3\sigma]$。该准则依赖正态假设；用含异常的样本估计 $\mu$ 与 $\sigma$ 会使二者偏移，阈值随之失真。对多变量逐维应用 3σ 会忽略特征间相关，且误报率随维数累积，$d$ 维独立时至少一维越界的概率约为 $1-(1-0.0027)^d$。

**箱线图 IQR 准则**。记 $Q_1,Q_3$ 为第一、第三四分位数，$\mathrm{IQR}=Q_3-Q_1$，栅栏为

$$
[Q_1-1.5\,\mathrm{IQR},\ Q_3+1.5\,\mathrm{IQR}].
$$

正态分布下 $\mathrm{IQR}\approx1.349\sigma$，栅栏约等于 $\mu\pm2.698\sigma$，双侧尾部概率约 0.007。分位数对离群点不敏感，故 IQR 比 3σ 稳健；代价是它只使用单变量边缘分布。

**马氏距离**。设 $\boldsymbol{\mu}\in\mathbb{R}^d$、$\boldsymbol{\Sigma}\in\mathbb{R}^{d\times d}$ 为正常数据的均值与协方差，定义

$$
D^2(\mathbf{x})=(\mathbf{x}-\boldsymbol{\mu})^\top\boldsymbol{\Sigma}^{-1}(\mathbf{x}-\boldsymbol{\mu}).
$$

当 $\mathbf{x}\sim\mathcal{N}(\boldsymbol{\mu},\boldsymbol{\Sigma})$ 时，$D^2\sim\chi^2_d$，可取 $\chi^2_{d,1-\alpha}$ 作为阈值。马氏距离等价于先做白化 $\mathbf{z}=\boldsymbol{\Lambda}^{-1/2}\mathbf{V}^\top(\mathbf{x}-\boldsymbol{\mu})$，再计算 $\lVert\mathbf{z}\rVert_2^2$，因此它按特征方差与相关性归一化，消除了量纲与相关性的影响。$\boldsymbol{\Sigma}$ 奇异或近奇异时需用伪逆、收缩估计或先降维；离群点会同时污染 $\boldsymbol{\mu}$ 与 $\boldsymbol{\Sigma}$，稳健版本使用最小协方差行列式估计。

### 3. 孤立森林

**孤立森林**（Isolation Forest）利用「异常点更容易被随机划分隔离」这一结构性质。单棵树的构造：

1. 从 $n$ 个样本中无放回抽取 $m$ 个样本（sklearn 默认 $m=\min(256,n)$）。
2. 随机选一个特征 $q$，在该节点样本的该特征取值区间 $[\min,\max]$ 上均匀取切分点 $p$。
3. 以 $q<p$ 与 $q\ge p$ 把样本分到左右子节点，递归直到节点只剩一个样本或达到高度上限 $\lceil\log_2 m\rceil$。

记样本 $\mathbf{x}$ 在树 $t$ 中的路径长度为 $h_t(\mathbf{x})$（经过的边数，含未完全展开的叶节点调整项）。森林的平均路径长度为 $E[h(\mathbf{x})]$。定义

$$
s(\mathbf{x})=2^{-\dfrac{E[h(\mathbf{x})]}{c(m)}},\qquad
c(m)=2H(m-1)-\frac{2(m-1)}{m},
$$

其中 $H(k)=\sum_{i=1}^{k}\frac{1}{i}\approx\ln k+\gamma$ 为调和数，$\gamma\approx0.5772$ 为欧拉常数，$c(m)$ 是 $m$ 个样本的二叉搜索树平均失败查找长度。$E[h]$ 越小，$s$ 越接近 1；当 $E[h]\approx c(m)$ 时 $s\approx0.5$。原始论文以 0.5 为默认阈值，sklearn 则以 `contamination` 对应的分数分位点作为 `offset_`，二接口的原始分数不可直接比较。

单棵树训练复杂度 $O(m\log m)$，查询复杂度 $O(\log m)$，森林为 $O(Tm\log m)$ 与 $O(T\log m)$。该方法的假设是异常位于低密度区域且可由轴平行的随机切分隔离；对「局部异常」（在全局密度正常、但相对邻域稀疏的点）效果有限。

### 4. LOF

**局部离群因子**（Local Outlier Factor, LOF）比较样本与其邻域的局部密度。设 $k$ 为邻域参数：

1. $k$-距离 $d_k(\mathbf{x})$：$\mathbf{x}$ 到第 $k$ 个最近邻的距离。
2. 邻域 $N_k(\mathbf{x})$：距离不大于 $d_k(\mathbf{x})$ 的样本集合。
3. 可达距离：$\mathrm{reach\text{-}dist}_k(\mathbf{x},\mathbf{o})=\max\left(d_k(\mathbf{o}),\ \lVert\mathbf{x}-\mathbf{o}\rVert_2\right)$。用 $\max$ 是为了让距离很近的邻居不至于产生过小的可达距离。
4. 局部可达密度：

$$
\mathrm{lrd}_k(\mathbf{x})=\left(\frac{1}{|N_k(\mathbf{x})|}\sum_{\mathbf{o}\in N_k(\mathbf{x})}\mathrm{reach\text{-}dist}_k(\mathbf{x},\mathbf{o})\right)^{-1}.
$$

5. 局部离群因子：

$$
\mathrm{LOF}_k(\mathbf{x})=\frac{\dfrac{1}{|N_k(\mathbf{x})|}\sum_{\mathbf{o}\in N_k(\mathbf{x})}\mathrm{lrd}_k(\mathbf{o})}{\mathrm{lrd}_k(\mathbf{x})}.
$$

若 $\mathbf{x}$ 的密度与邻域相当，$\mathrm{LOF}\approx1$；若 $\mathbf{x}$ 的密度显著低于邻域，分母小、分子大，$\mathrm{LOF}>1$。LOF 是比值而非绝对密度，因此在密度不均匀的数据中仍能识别局部异常。代价是必须保留训练集以计算邻域，查询复杂度 $O(n d)$ 起，且 $k$ 的选择直接影响结果：$k$ 过小则密度估计方差大，$k$ 过大则局部性消失、趋近全局密度比。

### 5. One-Class SVM

One-Class SVM 在核空间中寻找一个与原点距离最大、同时使大多数训练样本落在正侧的超平面。设 $\phi(\cdot)$ 为核映射，优化问题为

$$
\min_{\mathbf{w},\rho,\boldsymbol{\xi}}\ \frac{1}{2}\lVert\mathbf{w}\rVert_2^2+\frac{1}{\nu n}\sum_{i=1}^{n}\xi_i-\rho
\quad\text{s.t.}\quad
\mathbf{w}^\top\phi(\mathbf{x}_i)\ge\rho-\xi_i,\ \ \xi_i\ge0,
$$

其中 $\nu\in(0,1]$ 控制边界松紧。判定函数为 $f(\mathbf{x})=\operatorname{sign}\left(\mathbf{w}^\top\phi(\mathbf{x})-\rho\right)$，分数可取 $\mathbf{w}^\top\phi(\mathbf{x})-\rho$。理论性质：$\nu$ 是训练集中被允许落在边界外的样本比例的上界，同时是支持向量比例的下界。使用 RBF 核 $k(\mathbf{x},\mathbf{x}')=\exp(-\gamma\lVert\mathbf{x}-\mathbf{x}'\rVert_2^2)$ 时，$\gamma$ 与 $\nu$ 共同决定边界形状；特征未标准化时 RBF 核的尺度由方差最大的特征主导。该方法不输出概率，分数到概率的映射需要额外的校准集。

### 6. 自编码器重构误差法

自编码器由编码器 $f_\theta:\mathbb{R}^d\to\mathbb{R}^h$ 与解码器 $g_\phi:\mathbb{R}^h\to\mathbb{R}^d$ 组成，在正常数据上最小化

$$
\mathcal{L}(\theta,\phi)=\frac{1}{n}\sum_{i=1}^{n}\left\lVert\mathbf{x}_i-g_\phi\left(f_\theta(\mathbf{x}_i)\right)\right\rVert_2^2 .
$$

训练完成后，以重构误差 $s(\mathbf{x})=\lVert\mathbf{x}-g_\phi(f_\theta(\mathbf{x}))\rVert_2^2$ 作为异常分数，阈值取验证集正常样本误差的 $1-\alpha$ 分位数。其成立条件是：正常样本位于低维流形上，网络学会了该流形的编码与解码；异常样本不在流形上，因而重构误差大。网络结构、瓶颈维数与正则化见 [[神经网络与前向传播]] 与 [[正则化与调参]]。

该方法的风险在于训练集若混入异常，网络会同时学会重构异常，分数不再区分。工程上先用稳健统计或孤立森林过滤训练集，或对高误差样本降权。对图像、时序等高维结构化数据，重构误差比基于原始欧氏距离的方法更有效；对表格数据，其优势不明显。

### 7. 评估：AUROC、PR-AUC 与阈值代价

**AUROC** 等于随机取一个正样本与一个负样本、正样本分数更高的概率：

$$
\mathrm{AUROC}=P\left(s(\mathbf{x}_+)>s(\mathbf{x}_-)\right)+\frac{1}{2}P\left(s(\mathbf{x}_+)=s(\mathbf{x}_-)\right).
$$

它衡量全阈值范围内的排序质量，与阈值无关，但在 $\pi$ 极小时会对实际部署的误报数量给出乐观印象。

**PR-AUC** 以召回为横轴、精确率为纵轴。随机猜测的 PR-AUC 等于 $\pi$，而非 0.5；因此不同 $\pi$ 的数据集之间的 PR-AUC 不可直接比较。平均精度（Average Precision, AP）是 PR 曲线下的阶梯积分：

$$
\mathrm{AP}=\sum_{n}\left(R_n-R_{n-1}\right)P_n .
$$

**阈值与业务代价**。给定验证集上的分数，阈值 $\tau$ 决定混淆矩阵四项。期望代价为

$$
C(\tau)=c_{FN}\cdot\mathrm{FN}(\tau)+c_{FP}\cdot\mathrm{FP}(\tau),
$$

选择 $\tau^*=\arg\min_\tau C(\tau)$。若部署约束是每日人工复核上限 $B$，则取分数最高的 $B$ 个样本，等价于固定报警预算而非固定误报率。两种口径给出的阈值通常不同，评估时必须写明。

### 8. 类别极不平衡下的陷阱

1. 准确率失效。全部判为正常的准确率为 $1-\pi$；当 $\pi=0.001$ 时该平凡预测的准确率为 0.999。
2. AUROC 与业务指标脱节。模型可以在低误报率区间很差、在高误报率区间很好，从而取得较高 AUROC，但部署只使用低误报率区间。
3. 正样本太少导致估计方差大。几十个正样本下，AUROC 的 95% 置信区间宽度可能超过 0.1；应报告重复划分或 bootstrap 区间。
4. 异常异质。多个异常类型被合并成一个正类时，单一分数可能只对其中一类敏感；应按类型分别报告召回。
5. 评估集受污染。若测试集中的「正常」样本实际含未标注异常，指标会被系统性压低，且不同方法受压程度不同。

## 关键直觉

> [!tip] 机制性直觉
> 异常分数可统一理解为「负对数密度」的单调变换或它的局部近似：马氏距离是高斯负对数密度去掉常数项，孤立森林的平均路径长度与 $\log$ 密度负相关，LOF 是局部密度的比值，自编码器重构误差是流形距离的代理。它与严格定义的对应关系是：在分数上取阈值 $\tau$，等价于在密度估计上取水平集；评估指标衡量的正是这一族水平集的排序质量与代价。

## 例子与代码

### 手算例：二维马氏距离

设正常数据均值 $\boldsymbol{\mu}=(0,0)^\top$，协方差

$$
\boldsymbol{\Sigma}=\begin{pmatrix}4&1\\1&1\end{pmatrix},
\qquad
\boldsymbol{\Sigma}^{-1}=\frac{1}{3}\begin{pmatrix}1&-1\\-1&4\end{pmatrix}.
$$

对 $\mathbf{x}=(3,2)^\top$：

$$
\boldsymbol{\Sigma}^{-1}\mathbf{x}=\frac{1}{3}\begin{pmatrix}3-2\\-3+8\end{pmatrix}
=\begin{pmatrix}1/3\\5/3\end{pmatrix},
\qquad
D^2=3\cdot\frac{1}{3}+2\cdot\frac{5}{3}=\frac{13}{3}\approx4.333.
$$

对 $\mathbf{x}=(4,4)^\top$：$\boldsymbol{\Sigma}^{-1}\mathbf{x}=(0,4)^\top$，$D^2=16$。取 $\alpha=0.01$、$d=2$，阈值 $\chi^2_{2,0.99}=9.210$，故第一个点不报警，第二个点报警。若错误地按逐维 3σ 判断，$(4,4)$ 的第一维为 $4/2=2$ 个标准差、第二维为 $4/1=4$ 个标准差，只有第二维越界；马氏距离同时利用了「两维同向偏离」这一相关性信息，给出更强的异常证据。

### sklearn 对照：孤立森林与 LOF

```python
import numpy as np
from sklearn.ensemble import IsolationForest
from sklearn.neighbors import LocalOutlierFactor
from sklearn.metrics import roc_auc_score, average_precision_score

rng = np.random.default_rng(42)
n_in, n_out = 800, 40
X_in = rng.normal(size=(n_in, 2))                      # 正常样本：标准正态
X_out = rng.uniform(low=-5.0, high=5.0, size=(n_out, 2))  # 异常：均匀分布
X = np.vstack([X_in, X_out])
y = np.r_[np.zeros(n_in, int), np.ones(n_out, int)]

iso = IsolationForest(n_estimators=200, contamination=0.05,
                      random_state=0).fit(X)
s_iso = -iso.score_samples(X)                          # 分数取负：越大越异常

lof = LocalOutlierFactor(n_neighbors=20, contamination=0.05)
labels_lof = lof.fit_predict(X)                        # 同时计算训练集 LOF
s_lof = -lof.negative_outlier_factor_

print("孤立森林 AUROC / AP:",
      round(roc_auc_score(y, s_iso), 4),
      round(average_precision_score(y, s_iso), 4))
print("LOF      AUROC / AP:",
      round(roc_auc_score(y, s_lof), 4),
      round(average_precision_score(y, s_lof), 4))
print("报警数量:", int((iso.predict(X) == -1).sum()), int((labels_lof == -1).sum()))
```

预期输出：

```text
孤立森林 AUROC / AP: 0.9487 0.844
LOF      AUROC / AP: 0.94 0.8008
报警数量: 42 42
```

说明：

1. `contamination=0.05` 使两种方法各报警 $0.05\times840=42$ 个样本；它只控制阈值分位点，与真实异常比例 40/840 接近但不必相等。
2. 分数取负是因为 sklearn 的 `score_samples` 与 `negative_outlier_factor_` 均为「越大越正常」；直接送入 `roc_auc_score` 会得到 $1-\mathrm{AUROC}$。
3. LOF 的 `fit_predict` 在训练集上做离群点检测；若用于新样本，需设置 `novelty=True` 并改用 `decision_function`，此时训练集不参与判定。
4. 两种方法的原始分数量纲不同（孤立森林在 0.37 至 0.77 之间，LOF 在 0.96 至 4.17 之间），只能比较排序指标，不能比较分数大小或直接取共同阈值。
5. 40 个异常中有一部分落入正常样本的密集区域内部，因此 AUROC 未达到 1；这反映了异常定义与正常分布重叠时的固有上限。

### 阈值与代价

```python
# 承接上文：y 与 s_iso 已定义
def cost_at_threshold(y_true, scores, tau, c_fn=10.0, c_fp=1.0):
    pred = (scores > tau).astype(int)
    fn = int(((pred == 0) & (y_true == 1)).sum())
    fp = int(((pred == 1) & (y_true == 0)).sum())
    return c_fn * fn + c_fp * fp

taus = np.quantile(s_iso, np.linspace(0.80, 0.999, 200))
costs = np.array([cost_at_threshold(y, s_iso, t) for t in taus])
best = taus[costs.argmin()]
print("代价最优阈值:", round(float(best), 4), "最小代价:", int(costs.min()))
```

该片段把漏报代价设为误报的 10 倍，输出阈值约为分数分布的 0.95 分位点附近。真实业务中 $c_{FN}$ 与 $c_{FP}$ 的单位必须统一（例如均为人工复核工时），否则最优阈值没有意义。

## 易错点

> [!warning] 常见错误
> - 把 `contamination` 当作异常先验 $\pi$ 的估计。它只决定阈值分位点；设得过大则报警数量被人为放大，精确率下降，设得过小则召回下降，二者都不改变模型排序。
> - 在包含异常的全量数据上估计 $\boldsymbol{\mu}$ 与 $\boldsymbol{\Sigma}$，再计算马氏距离。异常会同时抬高均值、放大方差，使 $D^2$ 被低估；应在清洗后的正常数据上估计，或使用稳健协方差。
> - 对 LOF 取 $k=1$ 或 $k=n$。前者使可达距离退化为最近邻距离、密度估计方差极大；后者使邻域覆盖全体样本，LOF 趋近常数。
> - 用准确率或单一 AUROC 汇报不平衡场景的效果。应同时给出 PR-AUC、固定误报率下的召回，以及按业务代价选出的阈值对应的混淆矩阵。
> - 在含异常的数据上训练自编码器，并以训练集重构误差定阈值。网络会学会重构异常，阈值被抬高，部署期漏报增加。
> - 直接比较不同实现或不同版本的异常分数。孤立森林的路径长度在不同实现中含不同的叶节点调整项，原始分数不可跨库比较。

## 关联笔记

- 前置：[[无监督学习与聚类]] —— 密度、距离与邻域是 LOF 和马氏距离的共同基础；聚类得到的簇可用于分群建模正常分布。
- 前置：[[PCA与降维]] —— 马氏距离的白化形式与 PCA 白化相同；子空间残差也是常用异常分数。
- 后续：[[模型评估与交叉验证]] —— AUROC、PR-AUC、阈值代价与重采样区间在本篇只给出定义，完整的评估协议在该篇展开。
- 后续：[[神经网络与前向传播]] —— 自编码器重构误差法要求理解编码器、解码器与重构损失。
- 后续：[[机器学习系统设计]] —— 异常检测的报警预算、漂移监控与人工复核队列属于系统设计问题。

## 达标检测

- [ ] 能写出马氏距离定义，并说明它为什么等价于白化后的欧氏距离，以及在什么条件下服从卡方分布。
- [ ] 能独立计算本篇二维例子中 $(3,2)$ 与 $(4,4)$ 的 $D^2$，并与 $\chi^2_{2,0.99}$ 比较。
- [ ] 能解释孤立森林中 $c(m)$ 的作用，以及为什么 $E[h]$ 越小异常分数越接近 1。
- [ ] 能写出 LOF 的 $\mathrm{lrd}$ 与 $\mathrm{LOF}$ 公式，并说明 $\mathrm{LOF}>1$ 的含义。
- [ ] 能运行代码，把 `contamination` 从 0.01 改到 0.20，记录报警数量、精确率与召回的变化，并解释原因。
- [ ] 能指出「在含异常数据上训练自编码器」为何会破坏重构误差的判别力，并给出两种修正方案。

## 参考来源

- Hastie, Tibshirani, Friedman, *The Elements of Statistical Learning*, 2nd ed., 2009, 第 14 章 —— 对应本篇无监督学习中密度、距离与降维方法的背景，以及马氏距离的协方差归一化思想。
- scikit-learn 用户指南，*Novelty and Outlier Detection* —— 对应本篇孤立森林、LOF、One-Class SVM 的接口语义、`contamination` 与 `novelty` 参数说明。
- d2l.ai《动手学深度学习》，自编码器一章 —— 对应本篇重构误差法的网络结构与训练目标。
- Stanford CS229 课程讲义，异常检测（高斯分布模型）一节 —— 对应本篇 3σ 准则、多元高斯密度与阈值选择。
- NumPy 文档，`numpy.linalg.inv` 与 `numpy.quantile` 条目 —— 对应本篇手算例与阈值分位点的实现。
