---
tags: [AI, 数学基础, 概率统计]
阶段: 01-数学基础
难度: ★★☆
created: 2026-10-18
related: "[[线性回归]], [[损失函数]], [[矩阵分解-SVD与特征分解]]"
---

# 概率与统计

## 定义

概率与统计是以概率空间为公理基础、研究随机现象数量规律的两部分理论：概率论从给定分布推导事件、随机变量与统计量的性质；数理统计从有限样本反推总体分布或参数，并对推断结果给出不确定性度量。

定义中出现的符号与术语：

- $\Omega$：样本空间，一次试验全部可能结果的集合；$\omega\in\Omega$ 称为样本点。
- $\mathcal{F}$：事件域，由 $\Omega$ 的若干子集构成，对补集与可列并封闭；$A\in\mathcal{F}$ 称为事件。
- $P$：概率测度，把事件映射到 $[0,1]$ 的函数，满足下节三条公理。
- $X:\Omega\to\mathbb{R}$：随机变量，把样本点映射为实数的可测函数；$x$ 表示它的取值。
- $p(x)$：离散随机变量的概率质量函数，$p(x)=P(X=x)$。
- $f(x)$：连续随机变量的概率密度函数，满足 $P(a\le X\le b)=\int_a^b f(x)\,\mathrm{d}x$。
- $F(x)$：累积分布函数，$F(x)=P(X\le x)$。
- $\mathbb{E}[X]$：期望；$\operatorname{Var}(X)$：方差；$\operatorname{Cov}(X,Y)$：协方差。
- $\theta$：分布参数；$D=\{x_1,\dots,x_n\}$：观测样本；$L(\theta)$：似然函数。
- $T$：统计量，仅由样本决定、不依赖未知参数的函数；检验中用作决策依据。
- $\mathcal{H}(p)$：熵；$D_{\mathrm{KL}}(p\,\|\,q)$：KL 散度。

## 为什么重要

- 机器学习的目标函数几乎都来自概率假设。平方损失对应高斯噪声下的负对数似然，交叉熵对应类别分布下的负对数似然；若不清楚这两条推导，损失函数的选择只能靠记忆。
- 泛化问题本质上是统计推断问题。训练集给出经验风险 $\frac{1}{n}\sum_i \ell(f(x_i),y_i)$，总体关心期望风险 $\mathbb{E}_{(x,y)\sim P}[\ell(f(x),y)]$；大数定律说明前者在什么条件下逼近后者，中心极限定理说明逼近误差的量级是 $O(n^{-1/2})$。
- 正则化有明确的贝叶斯解释。L2 正则等价于高斯先验下的最大后验估计，L1 正则等价于拉普拉斯先验；这一联系把「防止过拟合」转化为「对参数施加先验」，使正则强度的含义可计算。
- 评估结论需要不确定性度量。只有掌握假设检验与置信区间，才能判断两个模型 0.5 个百分点的差异是真实差异还是抽样波动。
- 在全书中的位置：本篇依赖 [[微积分与梯度]] 中的积分与求导、[[线性代数]] 中的二次型与矩阵运算；后续被 [[线性回归]]、[[逻辑回归]]、[[损失函数]] 反复引用。

## 原理与推导

### 1. 概率空间与三条公理

概率论的公理体系把「事件发生可能性」抽象为一个测度。给定样本空间 $\Omega$、事件域 $\mathcal{F}$ 与定义在 $\mathcal{F}$ 上的函数 $P$，若满足

$$
\text{(i) } P(A)\ge 0,\qquad
\text{(ii) } P(\Omega)=1,\qquad
\text{(iii) } P\!\left(\bigcup_{i=1}^{\infty}A_i\right)=\sum_{i=1}^{\infty}P(A_i)\ \ \text{当 } A_i\cap A_j=\varnothing\ (i\ne j),
$$

则称 $P$ 为概率测度。第三条只对可列个两两不交的事件成立，称为可列可加性。

由三条公理可直接推出常用性质。取 $A_1=\Omega$，$A_i=\varnothing\ (i\ge 2)$，由可列可加性得 $P(\Omega)=P(\Omega)+\sum_{i\ge2}P(\varnothing)$，故 $P(\varnothing)=0$。再由 $A\cap A^{c}=\varnothing$ 与 $A\cup A^{c}=\Omega$ 得

$$
P(A)+P(A^{c})=1\quad\Longrightarrow\quad P(A^{c})=1-P(A).
$$

若 $A\subseteq B$，写 $B=A\cup(B\setminus A)$，两项不交，于是 $P(B)=P(A)+P(B\setminus A)\ge P(A)$，即单调性。对任意两个事件，

$$
P(A\cup B)=P(A)+P(B)-P(A\cap B),
$$

因为 $A\cup B$ 可分解为不交的 $A$、$B\setminus A$，而 $P(B\setminus A)=P(B)-P(A\cap B)$。

### 2. 条件概率、独立性、全概率公式与贝叶斯公式

在 $P(B)>0$ 的前提下，定义在 $B$ 已发生条件下 $A$ 的条件概率为

$$
P(A\mid B)=\frac{P(A\cap B)}{P(B)}.
$$

固定 $B$ 时，$P(\cdot\mid B)$ 本身也是概率测度：非负性、规范性 $P(B\mid B)=1$、可列可加性均可由定义直接验证。由此得到乘法公式

$$
P(A\cap B)=P(A\mid B)P(B)=P(B\mid A)P(A),
$$

以及多事件的链式法则 $P(A_1\cap\cdots\cap A_n)=P(A_1)\prod_{i=2}^{n}P(A_i\mid A_1\cap\cdots\cap A_{i-1})$。

若 $P(A\cap B)=P(A)P(B)$，称 $A$ 与 $B$ **独立**。独立性是联合分布可分解的性质，不是「互不影响」的直觉描述；互斥事件 $A\cap B=\varnothing$ 在 $P(A),P(B)>0$ 时必然不独立，因为 $0\ne P(A)P(B)$。多个事件两两独立不蕴涵相互独立，后者要求任意子集的交的概率等于各自概率之积。

设 $B_1,\dots,B_K$ 构成样本空间的一个划分，即两两不交且并为 $\Omega$，且 $P(B_i)>0$。对任意事件 $A$，

$$
P(A)=\sum_{i=1}^{K}P(A\cap B_i)=\sum_{i=1}^{K}P(A\mid B_i)P(B_i),
$$

第一步把 $A$ 写成不交并 $A=\bigcup_i(A\cap B_i)$ 后用可列可加性，第二步用乘法公式。此即**全概率公式**。

把乘法公式用于 $P(B_i\cap A)$，再用全概率公式展开分母，得到**贝叶斯公式**

$$
P(B_i\mid A)=\frac{P(A\mid B_i)P(B_i)}{\displaystyle\sum_{j=1}^{K}P(A\mid B_j)P(B_j)}.
$$

其中 $P(B_i)$ 称为先验概率，$P(A\mid B_i)$ 称为似然，$P(B_i\mid A)$ 称为后验概率，分母 $P(A)$ 称为证据。连续参数情形写作 $p(\theta\mid D)\propto p(D\mid\theta)p(\theta)$，比例符号吸收了与 $\theta$ 无关的归一化常数。

### 3. 随机变量与 PMF、PDF、CDF

随机变量 $X$ 是 $(\Omega,\mathcal{F},P)$ 到 $(\mathbb{R},\mathcal{B})$ 的可测映射，可测性保证 $\{X\le x\}\in\mathcal{F}$，从而 $F(x)=P(X\le x)$ 有定义。

若 $X$ 取至多可列个值，称为离散型，其分布由概率质量函数 $p(x)=P(X=x)$ 刻画，满足 $p(x)\ge0$ 与 $\sum_x p(x)=1$。若存在非负可积函数 $f$ 使 $F(x)=\int_{-\infty}^{x}f(t)\,\mathrm{d}t$，称为连续型，$f$ 为概率密度。密度不是概率：$f(x)$ 可以大于 $1$，只有积分才给出概率；连续型随机变量满足 $P(X=x)=0$，因此 $P(a\le X\le b)=P(a<X<b)$。

累积分布函数 $F$ 单调不减、右连续，且 $\lim_{x\to-\infty}F(x)=0$，$\lim_{x\to+\infty}F(x)=1$。在 $f$ 的连续点处 $F'(x)=f(x)$，且 $P(a<X\le b)=F(b)-F(a)$。

### 4. 期望、方差与矩

离散与连续情形分别定义

$$
\mathbb{E}[X]=\sum_x x\,p(x),\qquad \mathbb{E}[X]=\int_{-\infty}^{\infty}x\,f(x)\,\mathrm{d}x,
$$

要求相应级数或积分绝对收敛。对任意可测函数 $g$，有

$$
\mathbb{E}[g(X)]=\sum_x g(x)p(x)\quad\text{或}\quad \mathbb{E}[g(X)]=\int g(x)f(x)\,\mathrm{d}x,
$$

此式称为无意识统计学家定律，它把「求 $g(X)$ 的分布再求期望」简化为「在原分布上对 $g$ 加权求和」。

期望是线性算子，对任意常数 $a,b$ 与随机变量 $X,Y$，

$$
\mathbb{E}[aX+bY]=a\mathbb{E}[X]+b\mathbb{E}[Y],
$$

该性质不要求独立性。若 $X,Y$ 独立且期望存在，则 $\mathbb{E}[XY]=\mathbb{E}[X]\mathbb{E}[Y]$；逆命题不成立。

方差定义为

$$
\operatorname{Var}(X)=\mathbb{E}\left[(X-\mathbb{E}[X])^{2}\right]=\mathbb{E}[X^{2}]-\left(\mathbb{E}[X]\right)^{2},
$$

第二个等号展开平方后利用期望线性得到。由定义直接可得 $\operatorname{Var}(aX+b)=a^{2}\operatorname{Var}(X)$，即方差对平移不变、对缩放按平方缩放。一般地，

$$
\operatorname{Var}(X+Y)=\operatorname{Var}(X)+\operatorname{Var}(Y)+2\operatorname{Cov}(X,Y),
$$

当 $X,Y$ 独立时协方差为零，方差可加。

$k$ 阶原点矩为 $\mathbb{E}[X^{k}]$，$k$ 阶中心矩为 $\mathbb{E}[(X-\mathbb{E}X)^{k}]$。偏度是标准化三阶中心矩，衡量分布的不对称方向；峰度是标准化四阶中心矩，高斯分布的峰度为 $3$，超额峰度定义为峰度减 $3$。样本层面用 $\bar x=\frac{1}{n}\sum_i x_i$ 估计均值，用 $s^{2}=\frac{1}{n-1}\sum_i(x_i-\bar x)^{2}$ 估计方差；分母取 $n-1$ 使 $\mathbb{E}[s^{2}]=\sigma^{2}$。

### 5. 常见分布及其矩

| 分布 | 参数 | 支撑与 PMF 或 PDF | 期望 | 方差 |
|---|---|---|---|---|
| 伯努利 $\mathrm{Bern}(p)$ | $p\in[0,1]$ | $x\in\{0,1\}$，$p^{x}(1-p)^{1-x}$ | $p$ | $p(1-p)$ |
| 二项 $\mathrm{Bin}(n,p)$ | $n\in\mathbb{N}$，$p\in[0,1]$ | $x\in\{0,\dots,n\}$，$\binom{n}{x}p^{x}(1-p)^{n-x}$ | $np$ | $np(1-p)$ |
| 均匀 $\mathrm{U}(a,b)$ | $a<b$ | $f(x)=\frac{1}{b-a}$，$x\in[a,b]$ | $\frac{a+b}{2}$ | $\frac{(b-a)^{2}}{12}$ |
| 高斯 $\mathcal{N}(\mu,\sigma^{2})$ | $\mu\in\mathbb{R}$，$\sigma>0$ | $f(x)=\frac{1}{\sqrt{2\pi}\sigma}\exp\!\left(-\frac{(x-\mu)^{2}}{2\sigma^{2}}\right)$ | $\mu$ | $\sigma^{2}$ |
| 类别 $\mathrm{Cat}(\mathbf{p})$ | $\mathbf{p}\in\Delta^{K-1}$ | $x\in\{1,\dots,K\}$，$p_x$ | 见下文 | 见下文 |

伯努利的期望为 $1\cdot p+0\cdot(1-p)=p$，二阶矩同为 $p$，故方差 $p-p^{2}=p(1-p)$。二项分布可写成 $n$ 个独立伯努利之和 $X=\sum_{i=1}^{n}X_i$，由期望线性得 $np$，由独立性得方差可加，故方差为 $np(1-p)$。均匀分布的一阶矩为 $\frac{1}{b-a}\int_a^b x\,\mathrm{d}x=\frac{a+b}{2}$，二阶中心矩为 $\frac{1}{b-a}\int_a^b\left(x-\frac{a+b}{2}\right)^{2}\mathrm{d}x=\frac{(b-a)^{2}}{12}$。

高斯分布的标准化形式为 $Z=(X-\mu)/\sigma\sim\mathcal{N}(0,1)$，其密度关于原点对称，故 $\mathbb{E}[Z]=0$；由分部积分得 $\mathbb{E}[Z^{2}]=1$，于是 $\operatorname{Var}(X)=\sigma^{2}$。四阶中心矩为 $3\sigma^{4}$。数值上 $P(|X-\mu|\le\sigma)\approx0.6827$，$P(|X-\mu|\le2\sigma)\approx0.9545$，$P(|X-\mu|\le3\sigma)\approx0.9973$。

类别分布用于描述 $K$ 选一的结果。把取值编码为 one-hot 向量 $\mathbf{e}_x\in\{0,1\}^{K}$，则 $\mathbb{E}[\mathbf{e}_X]=\mathbf{p}$，且

$$
\operatorname{Cov}(\mathbf{e}_X)=\mathbb{E}[\mathbf{e}_X\mathbf{e}_X^{\top}]-\mathbf{p}\mathbf{p}^{\top}=\operatorname{diag}(\mathbf{p})-\mathbf{p}\mathbf{p}^{\top},
$$

因为 $\mathbb{E}[e_i e_j]=\delta_{ij}p_i$。该矩阵奇异，因为

$$
(\operatorname{diag}(\mathbf{p})-\mathbf{p}\mathbf{p}^{\top})\mathbf{1}
=\mathbf{p}-\mathbf{p}(\mathbf{p}^{\top}\mathbf{1})=\mathbf{0},
$$

即 one-hot 编码各分量之和恒为 $1$，其中心化向量的分量之和恒为 $0$，故协方差矩阵必有一个零特征值。类别分布的单样本负对数似然 $-\log p_y$ 即多分类交叉熵，见本篇第 11 节。

### 6. 协方差、相关系数与协方差矩阵

两个随机变量的协方差定义为

$$
\operatorname{Cov}(X,Y)=\mathbb{E}\left[(X-\mathbb{E}X)(Y-\mathbb{E}Y)\right]=\mathbb{E}[XY]-\mathbb{E}[X]\mathbb{E}[Y].
$$

协方差是双线性型：$\operatorname{Cov}(aX+bY,Z)=a\operatorname{Cov}(X,Z)+b\operatorname{Cov}(Y,Z)$。相关系数将其归一化，

$$
\rho(X,Y)=\frac{\operatorname{Cov}(X,Y)}{\sqrt{\operatorname{Var}(X)\operatorname{Var}(Y)}}\in[-1,1].
$$

上界由柯西–施瓦茨不等式给出：对中心化变量 $\tilde X=X-\mathbb{E}X$、$\tilde Y=Y-\mathbb{E}Y$，有 $\left(\mathbb{E}[\tilde X\tilde Y]\right)^{2}\le\mathbb{E}[\tilde X^{2}]\mathbb{E}[\tilde Y^{2}]$。等号成立当且仅当存在常数 $a\ne0$ 使 $\tilde Y=a\tilde X$ 几乎必然成立，即两者为仿射关系。因此 $\rho$ 度量线性相关程度，$\rho=0$ 只说明无线性相关。

设随机向量 $\mathbf{x}\in\mathbb{R}^{d}$，均值 $\boldsymbol{\mu}=\mathbb{E}[\mathbf{x}]$，协方差矩阵定义为

$$
\boldsymbol{\Sigma}=\mathbb{E}\left[(\mathbf{x}-\boldsymbol{\mu})(\mathbf{x}-\boldsymbol{\mu})^{\top}\right]=\mathbb{E}[\mathbf{x}\mathbf{x}^{\top}]-\boldsymbol{\mu}\boldsymbol{\mu}^{\top}\in\mathbb{R}^{d\times d}.
$$

$\boldsymbol{\Sigma}$ 对称，且对任意 $\mathbf{a}\in\mathbb{R}^{d}$，

$$
\mathbf{a}^{\top}\boldsymbol{\Sigma}\mathbf{a}=\mathbb{E}\left[\left(\mathbf{a}^{\top}(\mathbf{x}-\boldsymbol{\mu})\right)^{2}\right]=\operatorname{Var}(\mathbf{a}^{\top}\mathbf{x})\ge0,
$$

故半正定。若 $\boldsymbol{\Sigma}$ 正定，白化变换 $\mathbf{z}=\boldsymbol{\Sigma}^{-1/2}(\mathbf{x}-\boldsymbol{\mu})$ 满足 $\mathbb{E}[\mathbf{z}]=\mathbf{0}$、$\operatorname{Cov}(\mathbf{z})=\mathbf{I}$。样本协方差矩阵为 $\hat{\boldsymbol{\Sigma}}=\frac{1}{n-1}\sum_{i=1}^{n}(\mathbf{x}_i-\bar{\mathbf{x}})(\mathbf{x}_i-\bar{\mathbf{x}})^{\top}$。

独立蕴涵协方差为零：若 $X,Y$ 独立，则 $\mathbb{E}[XY]=\mathbb{E}[X]\mathbb{E}[Y]$。逆命题不成立。取 $X$ 在 $\{-1,0,1\}$ 上等概率取值，$Y=X^{2}$，则 $\mathbb{E}[XY]=\mathbb{E}[X^{3}]=0=\mathbb{E}[X]\mathbb{E}[Y]$，但 $Y$ 由 $X$ 完全确定，二者不独立。

### 7. 大数定律与中心极限定理

**马尔可夫不等式**：对非负随机变量 $Z$ 与 $t>0$，$P(Z\ge t)\le\mathbb{E}[Z]/t$。对 $Z=(X-\mu)^{2}$、$t=\varepsilon^{2}$ 得**切比雪夫不等式**

$$
P(|X-\mu|\ge\varepsilon)\le\frac{\operatorname{Var}(X)}{\varepsilon^{2}}.
$$

设 $X_1,\dots,X_n$ 独立同分布，$\mathbb{E}[X_1]=\mu$，$\operatorname{Var}(X_1)=\sigma^{2}<\infty$，样本均值 $\bar X_n=\frac{1}{n}\sum_{i=1}^{n}X_i$ 满足 $\mathbb{E}[\bar X_n]=\mu$、$\operatorname{Var}(\bar X_n)=\sigma^{2}/n$。代入切比雪夫不等式，

$$
P(|\bar X_n-\mu|\ge\varepsilon)\le\frac{\sigma^{2}}{n\varepsilon^{2}}\xrightarrow[n\to\infty]{}0.
$$

此即**弱大数定律**：样本均值依概率收敛到总体均值。它的意义是把「用频率估计概率」「用经验风险估计期望风险」变为可证明的命题；成立条件是独立同分布且一阶矩存在，方差有限只是上述证明路径的充分条件，并非定理本身所必需。

**中心极限定理**：在同样的独立同分布、$\operatorname{Var}(X_1)=\sigma^{2}\in(0,\infty)$ 条件下，

$$
\frac{\sqrt{n}\,(\bar X_n-\mu)}{\sigma}\xrightarrow[n\to\infty]{d}\mathcal{N}(0,1).
$$

等价地，$\bar X_n$ 近似服从 $\mathcal{N}(\mu,\sigma^{2}/n)$。定理只要求有限方差，不要求 $X_i$ 服从正态分布；它给出的是分布收敛，而非某个固定 $n$ 的精确等式。由该定理可得近似置信区间

$$
\bar X_n\pm z_{1-\alpha/2}\frac{\sigma}{\sqrt{n}},
$$

其中 $z_{1-\alpha/2}$ 为标准正态的 $1-\alpha/2$ 分位数。误差量级 $O(n^{-1/2})$ 说明样本量翻四倍才能把标准误减半，这决定了评估实验所需的样本量级。

### 8. 最大似然估计

设样本 $D=\{x_1,\dots,x_n\}$ 独立同分布，概率密度或质量函数为 $p(x\mid\theta)$。似然函数把数据视为固定、参数视为变量：

$$
L(\theta)=\prod_{i=1}^{n}p(x_i\mid\theta),\qquad
\ell(\theta)=\log L(\theta)=\sum_{i=1}^{n}\log p(x_i\mid\theta).
$$

对数单调递增，故 $\arg\max_\theta L(\theta)=\arg\max_\theta\ell(\theta)$，而求和形式更易求导。**最大似然估计**为 $\hat\theta_{\mathrm{MLE}}=\arg\max_\theta \ell(\theta)$。

伯努利分布的 MLE。设 $x_i\in\{0,1\}$，$p(x_i\mid p)=p^{x_i}(1-p)^{1-x_i}$。记 $k=\sum_i x_i$，

$$
\ell(p)=k\log p+(n-k)\log(1-p).
$$

求导并令其为零：

$$
\ell'(p)=\frac{k}{p}-\frac{n-k}{1-p}=0
\;\Longrightarrow\; k(1-p)=(n-k)p
\;\Longrightarrow\; k=np
\;\Longrightarrow\; \hat p=\frac{k}{n}.
$$

二阶导数为

$$
\ell''(p)=-\frac{k}{p^{2}}-\frac{n-k}{(1-p)^{2}}<0\quad(0<p<1),
$$

故 $\hat p$ 是严格极大值点。当 $k=0$ 或 $k=n$ 时驻点落在边界，似然在 $p=0$ 或 $p=1$ 取最大值，公式 $\hat p=k/n$ 仍然成立。

高斯分布的 MLE。设 $x_i\sim\mathcal{N}(\mu,\sigma^{2})$，

$$
\ell(\mu,\sigma^{2})=-\frac{n}{2}\log(2\pi)-\frac{n}{2}\log\sigma^{2}-\frac{1}{2\sigma^{2}}\sum_{i=1}^{n}(x_i-\mu)^{2}.
$$

对 $\mu$ 求偏导：

$$
\frac{\partial\ell}{\partial\mu}=\frac{1}{\sigma^{2}}\sum_{i=1}^{n}(x_i-\mu)=0
\;\Longrightarrow\;\sum_i x_i=n\mu
\;\Longrightarrow\;\hat\mu=\bar x.
$$

对 $\sigma^{2}$ 求偏导，记 $v=\sigma^{2}$：

$$
\frac{\partial\ell}{\partial v}=-\frac{n}{2v}+\frac{1}{2v^{2}}\sum_{i=1}^{n}(x_i-\hat\mu)^{2}=0
\;\Longrightarrow\;\hat\sigma^{2}=\frac{1}{n}\sum_{i=1}^{n}(x_i-\bar x)^{2}.
$$

二阶条件可由 Hessian 验证：在驻点处 $\partial^{2}\ell/\partial\mu^{2}=-n/\hat\sigma^{2}<0$，$\partial^{2}\ell/\partial v^{2}=-n/(2\hat v^{2})<0$，混合偏导为零，故 Hessian 负定，驻点为极大值点。

该估计有偏：

$$
\mathbb{E}[\hat\sigma^{2}]=\frac{1}{n}\mathbb{E}\left[\sum_i(x_i-\bar x)^{2}\right]=\frac{n-1}{n}\sigma^{2},
$$

其中用了 $\sum_i(x_i-\bar x)^{2}=\sum_i(x_i-\mu)^{2}-n(\bar x-\mu)^{2}$ 及 $\mathbb{E}[(\bar x-\mu)^{2}]=\sigma^{2}/n$。因此无偏估计量是 $s^{2}=\frac{1}{n-1}\sum_i(x_i-\bar x)^{2}$。MLE 在大样本下具有一致性与渐近正态性，且对参数的连续变换保持不变性：若 $\hat\theta$ 是 $\theta$ 的 MLE，则 $g(\hat\theta)$ 是 $g(\theta)$ 的 MLE。

### 9. MAP 与正则化的关系

贝叶斯推断给出后验 $p(\theta\mid D)\propto p(D\mid\theta)p(\theta)$。**最大后验估计**取后验众数：

$$
\hat\theta_{\mathrm{MAP}}=\arg\max_\theta\left[\ell(\theta)+\log p(\theta)\right].
$$

与 MLE 相比多出先验项 $\log p(\theta)$，它正是正则项的来源。以 [[线性回归]] 为例，设 $\mathbf{y}=\mathbf{X}\mathbf{w}+\boldsymbol{\varepsilon}$，$\varepsilon_i\sim\mathcal{N}(0,\sigma^{2})$ 独立，先验 $\mathbf{w}\sim\mathcal{N}(\mathbf{0},\tau^{2}\mathbf{I})$。对数后验为

$$
\log p(\mathbf{w}\mid\mathbf{X},\mathbf{y})
=-\frac{\|\mathbf{y}-\mathbf{X}\mathbf{w}\|^{2}}{2\sigma^{2}}
-\frac{\|\mathbf{w}\|^{2}}{2\tau^{2}}+\text{常数}.
$$

最大化它等价于最小化

$$
\|\mathbf{y}-\mathbf{X}\mathbf{w}\|^{2}+\lambda\|\mathbf{w}\|^{2},\qquad \lambda=\frac{\sigma^{2}}{\tau^{2}},
$$

即岭回归。噪声方差越大或先验方差越小，$\lambda$ 越大，收缩越强。若改用拉普拉斯先验 $p(w_j)=\frac{1}{2b}\exp(-|w_j|/b)$，则 $\log p(\mathbf{w})=-\|\mathbf{w}\|_1/b+\text{常数}$，得到 L1 正则与稀疏解。这一推导说明正则化不是经验技巧，而是先验假设的代数结果；先验的选择决定正则项的形式，先验的尺度决定正则强度。

### 10. 假设检验

假设检验把关于总体的命题分为**原假设** $H_0$ 与**备择假设** $H_1$，构造检验统计量 $T$，预先指定显著性水平 $\alpha$，并给出拒绝域 $W$，使 $P(T\in W\mid H_0)\le\alpha$。

**p 值**定义为：在 $H_0$ 成立的前提下，检验统计量取到与观测值同等或更极端值的概率。双侧检验写作 $p=P(|T|\ge|t_{\mathrm{obs}}|\mid H_0)$。决策规则是 $p<\alpha$ 时拒绝 $H_0$，否则不拒绝。p 值不是 $H_0$ 为真的概率，也不是效应大小。

两类错误：

- 第一类错误：$H_0$ 为真而拒绝，其概率不超过 $\alpha$，在拒绝域边界处等于 $\alpha$。
- 第二类错误：$H_0$ 为假而未拒绝，概率记为 $\beta$；检验功效为 $1-\beta$，即在备择假设下正确拒绝的概率。

在样本量固定时，减小 $\alpha$ 会增大 $\beta$；提高功效的途径是增大样本量、增大效应量或改用方差更小的统计量。

单样本 t 检验的流程如下。设 $x_1,\dots,x_n$ 近似来自 $\mathcal{N}(\mu,\sigma^{2})$，检验 $H_0:\mu=\mu_0$ 对 $H_1:\mu\ne\mu_0$：

1. 计算样本均值 $\bar x$ 与样本标准差 $s=\sqrt{\frac{1}{n-1}\sum_i(x_i-\bar x)^{2}}$。
2. 计算标准误 $\mathrm{SE}=s/\sqrt{n}$。
3. 计算统计量 $t=\frac{\bar x-\mu_0}{\mathrm{SE}}$。
4. 在 $H_0$ 与正态假设下，$T\sim t_{n-1}$，自由度 $\nu=n-1$。
5. 计算双侧 p 值 $p=2\left(1-F_{t_{n-1}}(|t|)\right)$，$F_{t_{n-1}}$ 为 t 分布函数。
6. 若 $p<\alpha$ 拒绝 $H_0$，否则不拒绝；等价地，若 $\mu_0$ 落在 $1-\alpha$ 置信区间 $\bar x\pm t_{1-\alpha/2,\nu}\,\mathrm{SE}$ 之外，则拒绝。

数值示例：$n=25$，$\bar x=102$，$s=10$，$\mu_0=100$，则 $\mathrm{SE}=2$，$t=1$，自由度 $24$，双侧 $p\approx0.327$。在 $\alpha=0.05$ 下不拒绝；$t$ 分布临界值为 $2.064$，$|t|<2.064$ 与 $p>\alpha$ 一致。样本量增大时标准误下降，同样的均值差会得到更大的 $|t|$，这说明显著性同时依赖效应量与精度。

### 11. 熵、交叉熵与 KL 散度

设离散分布 $p$ 定义在 $\{1,\dots,K\}$ 上，**熵**定义为

$$
\mathcal{H}(p)=-\sum_{k=1}^{K}p_k\log p_k=\mathbb{E}_{X\sim p}[-\log p(X)],
$$

约定 $0\log0=0$。熵是分布不确定性的度量：均匀分布熵最大，退化为单点时熵为零。对连续分布，类似定义微分熵 $-\int p(x)\log p(x)\,\mathrm{d}x$，它可为负。

给定两个分布 $p,q$（$q_k>0$），**交叉熵**与**KL 散度**定义为

$$
\mathcal{H}(p,q)=-\sum_{k=1}^{K}p_k\log q_k,\qquad
D_{\mathrm{KL}}(p\,\|\,q)=\sum_{k=1}^{K}p_k\log\frac{p_k}{q_k}.
$$

三者满足恒等关系

$$
\mathcal{H}(p,q)=\mathcal{H}(p)+D_{\mathrm{KL}}(p\,\|\,q).
$$

证明只需展开 KL 定义：$\sum_k p_k\log(p_k/q_k)=\sum_k p_k\log p_k-\sum_k p_k\log q_k=-\mathcal{H}(p)+\mathcal{H}(p,q)$。

KL 散度非负，且仅当 $p=q$ 几乎处处成立时为零。证明用 $\log$ 的凹性与琴生不等式：

$$
-D_{\mathrm{KL}}(p\,\|\,q)=\sum_k p_k\log\frac{q_k}{p_k}
\le\log\left(\sum_k p_k\frac{q_k}{p_k}\right)=\log\left(\sum_k q_k\right)=0.
$$

因此 $D_{\mathrm{KL}}\ge0$。KL 散度不对称，$D_{\mathrm{KL}}(p\|q)\ne D_{\mathrm{KL}}(q\|p)$，也不满足三角不等式，故不是距离。

在监督学习中，真实分布常取训练集上的经验分布 $\hat p$（单样本层面为标签的 one-hot 编码），模型输出 $q_\theta$。此时

$$
\mathcal{H}(\hat p,q_\theta)=-\frac{1}{n}\sum_{i=1}^{n}\log q_\theta(y_i\mid x_i),
$$

最小化交叉熵等价于最小化 KL 散度（因为 $\mathcal{H}(\hat p)$ 与 $\theta$ 无关），也等价于最大化似然。对 one-hot 标签 $y$，交叉熵退化为 $-\log q_\theta(y\mid x)$。这正是 [[损失函数]] 中多分类交叉熵的形式来源，也是 [[逻辑回归]] 目标函数的概率解释。

## 关键直觉

> [!tip] 机制性直觉
> 贝叶斯公式只是把联合分布的两种分解 $p(A,B)=p(A\mid B)p(B)=p(B\mid A)p(A)$ 等同起来并解出后验；先验通过乘法改变各假设的相对权重，证据只做归一化。KL 散度是「用 $q$ 编码来自 $p$ 的样本时，平均对数损失比用 $p$ 编码多出的部分」；由于 $\mathcal{H}(p,q)=\mathcal{H}(p)+D_{\mathrm{KL}}(p\|q)$，固定数据分布时最小化交叉熵与最小化 KL 完全等价。上述表述与第 2、11 节的公式一一对应，不引入额外假设。

## 例子与代码

### 手算：患病率对后验的影响

某检测的灵敏度 $P(+\mid D)=0.99$，特异度 $P(-\mid\neg D)=0.95$，即假阳性率 $P(+\mid\neg D)=0.05$。设患病率 $P(D)=0.01$。按全概率公式，

$$
P(+)=0.99\times0.01+0.05\times0.99=0.0099+0.0495=0.0594.
$$

按贝叶斯公式，

$$
P(D\mid +)=\frac{0.99\times0.01}{0.0594}=\frac{0.0099}{0.0594}\approx0.1667.
$$

按每 $10000$ 人计算：患者 $100$ 人，其中 $99$ 人检测阳性；健康者 $9900$ 人，其中 $495$ 人假阳性；阳性总数 $594$，其中真患者 $99$，比例 $99/594\approx0.1667$。若患病率改为 $0.1$，则 $P(+)=0.099+0.045=0.144$，后验为 $0.099/0.144\approx0.6875$。同一检测在不同先验下给出差异极大的后验，说明只报告灵敏度与特异度不足以解释检测结果。

### 代码：大数定律、中心极限定理与 MLE 数值求解

以下代码使用 NumPy 2.x，固定随机种子，输出可直接复现。

```python
import numpy as np

rng = np.random.default_rng(20261018)

# 1) 大数定律：伯努利样本均值随 n 增大趋近 p
p = 0.3
samples = rng.binomial(1, p, size=20000)
running = np.cumsum(samples) / np.arange(1, samples.size + 1)
for n in [10, 100, 1000, 10000, 20000]:
    print(f"n={n:6d}  mean={running[n - 1]:.4f}  |mean-p|={abs(running[n - 1] - p):.4f}")

# 2) 中心极限定理：指数分布（均值 1、方差 1）样本均值的标准化分布
for n in [5, 30]:
    xbar = rng.exponential(1.0, size=(20000, n)).mean(axis=1)
    z = (xbar - 1.0) * np.sqrt(n)   # 标准化：减去均值 1，除以标准差 1/sqrt(n)
    print(f"n={n:2d}  std(xbar)={xbar.std(ddof=1):.4f}  "
          f"1/sqrt(n)={1 / np.sqrt(n):.4f}  P(|z|<=1)={np.mean(np.abs(z) <= 1):.4f}")

# 3) 伯努利 MLE：74 次成功、126 次失败，网格搜索与解析解一致
data = np.array([1] * 74 + [0] * 126)
grid = np.linspace(0.01, 0.99, 9801)
loglik = data.sum() * np.log(grid) + (data.size - data.sum()) * np.log1p(-grid)
print("bernoulli grid:", f"{grid[np.argmax(loglik)]:.4f}", " closed form:", f"{data.mean():.4f}")

# 4) 高斯 MLE：在 (mu, sigma) 网格上最大化对数似然
x = rng.normal(2.0, 1.5, size=500)
mus, sds = np.linspace(1.0, 3.0, 401), np.linspace(1.0, 2.0, 401)
ss = np.sum((x[None, :] - mus[:, None]) ** 2, axis=1)      # 每个 mu 的残差平方和
ll = -0.5 * ss[:, None] / sds[None, :] ** 2 \
     - x.size * np.log(sds)[None, :] - 0.5 * x.size * np.log(2 * np.pi)
i, j = np.unravel_index(np.argmax(ll), ll.shape)
print(f"gauss grid: mu={mus[i]:.4f} sd={sds[j]:.4f}")
print(f"gauss closed: mu={x.mean():.4f} sd={x.std(ddof=0):.4f}")

# 5) 贝叶斯：患病率 1%，灵敏度 99%，特异度 95%
prior, sens, spec = 0.01, 0.99, 0.95
p_pos = sens * prior + (1 - spec) * (1 - prior)
print(f"P(+)={p_pos:.4f}  P(D|+)={sens * prior / p_pos:.4f}")
```

输出：

```text
n=    10  mean=0.5000  |mean-p|=0.2000
n=   100  mean=0.4400  |mean-p|=0.1400
n=  1000  mean=0.3140  |mean-p|=0.0140
n= 10000  mean=0.3075  |mean-p|=0.0075
n= 20000  mean=0.3008  |mean-p|=0.0008
n= 5  std(xbar)=0.4472  1/sqrt(n)=0.4472  P(|z|<=1)=0.6996
n=30  std(xbar)=0.1823  1/sqrt(n)=0.1826  P(|z|<=1)=0.6884
bernoulli grid: 0.3700  closed form: 0.3700
gauss grid: mu=1.9950 sd=1.4575
gauss closed: mu=1.9937 sd=1.4581
P(+)=0.0594  P(D|+)=0.1667
```

各部分的作用与删除后的后果：

- 第 1 段逐点计算累计均值，用于观察 $\bar X_n$ 的收敛过程。若只画终点，无法区分「已收敛」与「恰好在终点接近」，也无法看到 $n=10$ 时 $0.2$ 的偏差。
- 第 2 段从指数分布抽样，均值为 $1$、方差为 $1$，分布右偏。$z=(\bar x-1)\sqrt{n}$ 是标准化构造；一般情形应写 $(\bar x-\mu)/(\sigma/\sqrt{n})$。$n=5$ 时 $P(|z|\le1)=0.6996$，高于正态值 $0.6827$；$n=30$ 时降至 $0.6884$，向 $0.6827$ 靠近，说明 CLT 是 $n\to\infty$ 的极限。样本均值的标准差对任意 $n$ 都精确等于 $\sigma/\sqrt{n}=0.4472$，模拟值 $0.4472$ 与 $0.1823$ 的吻合只验证方差可加，不验证正态近似；正态近似体现在分布形状与分位概率上。
- 第 3 段以网格搜索最大化对数似然，步长 $0.0001$ 使网格解与闭式解在四位小数上一致。直接比较似然也可行，但随着 $n$ 增大乘积迅速趋近 $0$，双精度在上千个样本时下溢，对数形式把乘积变为求和，避免该问题。
- 第 4 段对 $(\mu,\sigma)$ 做二维网格搜索。$\mu$ 的网格间距为 $0.005$，网格解 $1.9950$ 与闭式解 $1.9937$ 的差小于一个网格间距；缩小间距可减小差异，但计算量按平方增长。
- 第 5 段复现手算结果，用于核对公式实现。若把特异度误用为假阳性率，会得到错误的分母。

## 易错点

> [!warning] 常见错误
> - 把 $P(A\mid B)$ 与 $P(B\mid A)$ 混用。检测灵敏度 $P(+\mid D)=0.99$ 不意味着 $P(D\mid+)=0.99$；后者还依赖患病率，本篇手算例中仅为 $0.1667$。
> - 把独立与互斥混为一谈。互斥事件在概率为正时不独立；独立事件通常可以同时发生。另需注意零相关不蕴涵独立，$Y=X^{2}$ 的反例见第 6 节。
> - 把概率密度当作概率。$f(x)$ 可大于 $1$，例如 $\mathcal{N}(0,0.01)$ 在 $x=0$ 处密度约为 $3.99$；连续分布单点概率为零，只能对区间积分。
> - 混淆 MLE 与无偏估计。高斯方差的 MLE 为 $\frac{1}{n}\sum_i(x_i-\bar x)^{2}$，其期望为 $\frac{n-1}{n}\sigma^{2}$；样本方差用 $n-1$ 才是无偏的。
> - 把 p 值解释为「$H_0$ 为真的概率」。p 值是在 $H_0$ 下观测到当前或更极端结果的概率；$p=0.03$ 不表示 $H_0$ 有 $3\%$ 的概率成立。不拒绝 $H_0$ 也不等于接受 $H_0$。
> - 认为最小化交叉熵与最小化 KL 散度在数值上相同。二者相差 $\mathcal{H}(p)$；当 $p$ 随参数变化（如标签平滑或蒸馏）时，梯度不再等价。

## 关联笔记

- 前置：[[微积分与梯度]] —— 连续分布的期望、MLE 的对数似然求导与 Hessian 判定都依赖积分与多元微分。
- 前置：[[线性代数]] —— 协方差矩阵的半正定性、白化变换与二次型是本篇第 6 节的代数基础。
- 后续：[[线性回归]] —— 高斯噪声假设导出平方损失，高斯先验导出岭回归，对应本篇第 8、9 节。
- 后续：[[损失函数]] —— 交叉熵、KL 散度与负对数似然的关系在本篇第 11 节给出，那里讨论具体损失的设计。
- 对照：[[矩阵分解-SVD与特征分解]] —— 协方差矩阵的特征分解给出主成分方向，是概率与线性代数交汇之处。

## 达标检测

- [ ] 能写出概率空间的三条公理，并由它们推出 $P(\varnothing)=0$、$P(A^{c})=1-P(A)$ 与加法公式。
- [ ] 能不查笔记写出全概率公式与贝叶斯公式，并说明划分条件 $P(B_i)>0$ 为何必要。
- [ ] 能独立完成伯努利与高斯两个 MLE 推导，包括二阶条件与 $\hat\sigma^{2}$ 的有偏性证明。
- [ ] 能写出高斯先验下岭回归的 MAP 推导，并说明 $\lambda=\sigma^{2}/\tau^{2}$ 中每个量的含义。
- [ ] 能运行本篇代码，把第 1 段的 `size` 改为 $500$ 并相应调整检查点，解释样本均值偏差的变化；能指出网格搜索解与闭式解产生差异的原因。
- [ ] 能给出一个协方差为零但相依的例子，并说明它为什么不违反「独立蕴涵零协方差」。

## 参考来源

- Goodfellow et al., *Deep Learning*, 2016, 第 3 章 —— 对应本篇概率公理、随机变量、常用分布、期望与协方差。
- Goodfellow et al., *Deep Learning*, 2016, 第 5 章 —— 对应最大似然、MAP、正则化与贝叶斯统计视角。
- d2l.ai《动手学深度学习》，第 2 章预备知识中的概率一节 —— 对应联合分布、条件概率、贝叶斯例子与期望的代码实现。
- Hastie et al., *The Elements of Statistical Learning*, 第 2 章 —— 对应统计决策理论、偏差与方差、模型评估的统计框架。
- Stanford CS229 课程讲义，概率与最大似然部分 —— 对应 MLE 推导与高斯判别分析的统计假设。
