概率与统计
定义
概率与统计是以概率空间为公理基础、研究随机现象数量规律的两部分理论:概率论从给定分布推导事件、随机变量与统计量的性质;数理统计从有限样本反推总体分布或参数,并对推断结果给出不确定性度量。
定义中出现的符号与术语:
- :样本空间,一次试验全部可能结果的集合; 称为样本点。
- :事件域,由 的若干子集构成,对补集与可列并封闭; 称为事件。
- :概率测度,把事件映射到 的函数,满足下节三条公理。
- :随机变量,把样本点映射为实数的可测函数; 表示它的取值。
- :离散随机变量的概率质量函数,。
- :连续随机变量的概率密度函数,满足 。
- :累积分布函数,。
- :期望;:方差;:协方差。
- :分布参数;:观测样本;:似然函数。
- :统计量,仅由样本决定、不依赖未知参数的函数;检验中用作决策依据。
- :熵;:KL 散度。
为什么重要
- 机器学习的目标函数几乎都来自概率假设。平方损失对应高斯噪声下的负对数似然,交叉熵对应类别分布下的负对数似然;若不清楚这两条推导,损失函数的选择只能靠记忆。
- 泛化问题本质上是统计推断问题。训练集给出经验风险 ,总体关心期望风险 ;大数定律说明前者在什么条件下逼近后者,中心极限定理说明逼近误差的量级是 。
- 正则化有明确的贝叶斯解释。L2 正则等价于高斯先验下的最大后验估计,L1 正则等价于拉普拉斯先验;这一联系把「防止过拟合」转化为「对参数施加先验」,使正则强度的含义可计算。
- 评估结论需要不确定性度量。只有掌握假设检验与置信区间,才能判断两个模型 0.5 个百分点的差异是真实差异还是抽样波动。
- 在全书中的位置:本篇依赖 微积分与梯度 中的积分与求导、线性代数 中的二次型与矩阵运算;后续被 线性回归、逻辑回归、损失函数 反复引用。
原理与推导
1. 概率空间与三条公理
概率论的公理体系把「事件发生可能性」抽象为一个测度。给定样本空间 、事件域 与定义在 上的函数 ,若满足
则称 为概率测度。第三条只对可列个两两不交的事件成立,称为可列可加性。
由三条公理可直接推出常用性质。取 ,,由可列可加性得 ,故 。再由 与 得
若 ,写 ,两项不交,于是 ,即单调性。对任意两个事件,
因为 可分解为不交的 、,而 。
2. 条件概率、独立性、全概率公式与贝叶斯公式
在 的前提下,定义在 已发生条件下 的条件概率为
固定 时, 本身也是概率测度:非负性、规范性 、可列可加性均可由定义直接验证。由此得到乘法公式
以及多事件的链式法则 。
若 ,称 与 独立。独立性是联合分布可分解的性质,不是「互不影响」的直觉描述;互斥事件 在 时必然不独立,因为 。多个事件两两独立不蕴涵相互独立,后者要求任意子集的交的概率等于各自概率之积。
设 构成样本空间的一个划分,即两两不交且并为 ,且 。对任意事件 ,
第一步把 写成不交并 后用可列可加性,第二步用乘法公式。此即全概率公式。
把乘法公式用于 ,再用全概率公式展开分母,得到贝叶斯公式
其中 称为先验概率, 称为似然, 称为后验概率,分母 称为证据。连续参数情形写作 ,比例符号吸收了与 无关的归一化常数。
3. 随机变量与 PMF、PDF、CDF
随机变量 是 到 的可测映射,可测性保证 ,从而 有定义。
若 取至多可列个值,称为离散型,其分布由概率质量函数 刻画,满足 与 。若存在非负可积函数 使 ,称为连续型, 为概率密度。密度不是概率: 可以大于 ,只有积分才给出概率;连续型随机变量满足 ,因此 。
累积分布函数 单调不减、右连续,且 ,。在 的连续点处 ,且 。
4. 期望、方差与矩
离散与连续情形分别定义
要求相应级数或积分绝对收敛。对任意可测函数 ,有
此式称为无意识统计学家定律,它把「求 的分布再求期望」简化为「在原分布上对 加权求和」。
期望是线性算子,对任意常数 与随机变量 ,
该性质不要求独立性。若 独立且期望存在,则 ;逆命题不成立。
方差定义为
第二个等号展开平方后利用期望线性得到。由定义直接可得 ,即方差对平移不变、对缩放按平方缩放。一般地,
当 独立时协方差为零,方差可加。
阶原点矩为 , 阶中心矩为 。偏度是标准化三阶中心矩,衡量分布的不对称方向;峰度是标准化四阶中心矩,高斯分布的峰度为 ,超额峰度定义为峰度减 。样本层面用 估计均值,用 估计方差;分母取 使 。
5. 常见分布及其矩
| 分布 | 参数 | 支撑与 PMF 或 PDF | 期望 | 方差 |
|---|---|---|---|---|
| 伯努利 | , | |||
| 二项 | , | , | ||
| 均匀 | , | |||
| 高斯 | , | |||
| 类别 | , | 见下文 | 见下文 |
伯努利的期望为 ,二阶矩同为 ,故方差 。二项分布可写成 个独立伯努利之和 ,由期望线性得 ,由独立性得方差可加,故方差为 。均匀分布的一阶矩为 ,二阶中心矩为 。
高斯分布的标准化形式为 ,其密度关于原点对称,故 ;由分部积分得 ,于是 。四阶中心矩为 。数值上 ,,。
类别分布用于描述 选一的结果。把取值编码为 one-hot 向量 ,则 ,且
因为 。该矩阵奇异,因为
即 one-hot 编码各分量之和恒为 ,其中心化向量的分量之和恒为 ,故协方差矩阵必有一个零特征值。类别分布的单样本负对数似然 即多分类交叉熵,见本篇第 11 节。
6. 协方差、相关系数与协方差矩阵
两个随机变量的协方差定义为
协方差是双线性型:。相关系数将其归一化,
上界由柯西–施瓦茨不等式给出:对中心化变量 、,有 。等号成立当且仅当存在常数 使 几乎必然成立,即两者为仿射关系。因此 度量线性相关程度, 只说明无线性相关。
设随机向量 ,均值 ,协方差矩阵定义为
对称,且对任意 ,
故半正定。若 正定,白化变换 满足 、。样本协方差矩阵为 。
独立蕴涵协方差为零:若 独立,则 。逆命题不成立。取 在 上等概率取值,,则 ,但 由 完全确定,二者不独立。
7. 大数定律与中心极限定理
马尔可夫不等式:对非负随机变量 与 ,。对 、 得切比雪夫不等式
设 独立同分布,,,样本均值 满足 、。代入切比雪夫不等式,
此即弱大数定律:样本均值依概率收敛到总体均值。它的意义是把「用频率估计概率」「用经验风险估计期望风险」变为可证明的命题;成立条件是独立同分布且一阶矩存在,方差有限只是上述证明路径的充分条件,并非定理本身所必需。
中心极限定理:在同样的独立同分布、 条件下,
等价地, 近似服从 。定理只要求有限方差,不要求 服从正态分布;它给出的是分布收敛,而非某个固定 的精确等式。由该定理可得近似置信区间
其中 为标准正态的 分位数。误差量级 说明样本量翻四倍才能把标准误减半,这决定了评估实验所需的样本量级。
8. 最大似然估计
设样本 独立同分布,概率密度或质量函数为 。似然函数把数据视为固定、参数视为变量:
对数单调递增,故 ,而求和形式更易求导。最大似然估计为 。
伯努利分布的 MLE。设 ,。记 ,
求导并令其为零:
二阶导数为
故 是严格极大值点。当 或 时驻点落在边界,似然在 或 取最大值,公式 仍然成立。
高斯分布的 MLE。设 ,
对 求偏导:
对 求偏导,记 :
二阶条件可由 Hessian 验证:在驻点处 ,,混合偏导为零,故 Hessian 负定,驻点为极大值点。
该估计有偏:
其中用了 及 。因此无偏估计量是 。MLE 在大样本下具有一致性与渐近正态性,且对参数的连续变换保持不变性:若 是 的 MLE,则 是 的 MLE。
9. MAP 与正则化的关系
贝叶斯推断给出后验 。最大后验估计取后验众数:
与 MLE 相比多出先验项 ,它正是正则项的来源。以 线性回归 为例,设 , 独立,先验 。对数后验为
最大化它等价于最小化
即岭回归。噪声方差越大或先验方差越小, 越大,收缩越强。若改用拉普拉斯先验 ,则 ,得到 L1 正则与稀疏解。这一推导说明正则化不是经验技巧,而是先验假设的代数结果;先验的选择决定正则项的形式,先验的尺度决定正则强度。
10. 假设检验
假设检验把关于总体的命题分为原假设 与备择假设 ,构造检验统计量 ,预先指定显著性水平 ,并给出拒绝域 ,使 。
p 值定义为:在 成立的前提下,检验统计量取到与观测值同等或更极端值的概率。双侧检验写作 。决策规则是 时拒绝 ,否则不拒绝。p 值不是 为真的概率,也不是效应大小。
两类错误:
- 第一类错误: 为真而拒绝,其概率不超过 ,在拒绝域边界处等于 。
- 第二类错误: 为假而未拒绝,概率记为 ;检验功效为 ,即在备择假设下正确拒绝的概率。
在样本量固定时,减小 会增大 ;提高功效的途径是增大样本量、增大效应量或改用方差更小的统计量。
单样本 t 检验的流程如下。设 近似来自 ,检验 对 :
- 计算样本均值 与样本标准差 。
- 计算标准误 。
- 计算统计量 。
- 在 与正态假设下,,自由度 。
- 计算双侧 p 值 , 为 t 分布函数。
- 若 拒绝 ,否则不拒绝;等价地,若 落在 置信区间 之外,则拒绝。
数值示例:,,,,则 ,,自由度 ,双侧 。在 下不拒绝; 分布临界值为 , 与 一致。样本量增大时标准误下降,同样的均值差会得到更大的 ,这说明显著性同时依赖效应量与精度。
11. 熵、交叉熵与 KL 散度
设离散分布 定义在 上,熵定义为
约定 。熵是分布不确定性的度量:均匀分布熵最大,退化为单点时熵为零。对连续分布,类似定义微分熵 ,它可为负。
给定两个分布 (),交叉熵与KL 散度定义为
三者满足恒等关系
证明只需展开 KL 定义:。
KL 散度非负,且仅当 几乎处处成立时为零。证明用 的凹性与琴生不等式:
因此 。KL 散度不对称,,也不满足三角不等式,故不是距离。
在监督学习中,真实分布常取训练集上的经验分布 (单样本层面为标签的 one-hot 编码),模型输出 。此时
最小化交叉熵等价于最小化 KL 散度(因为 与 无关),也等价于最大化似然。对 one-hot 标签 ,交叉熵退化为 。这正是 损失函数 中多分类交叉熵的形式来源,也是 逻辑回归 目标函数的概率解释。
关键直觉
机制性直觉
贝叶斯公式只是把联合分布的两种分解 等同起来并解出后验;先验通过乘法改变各假设的相对权重,证据只做归一化。KL 散度是「用 编码来自 的样本时,平均对数损失比用 编码多出的部分」;由于 ,固定数据分布时最小化交叉熵与最小化 KL 完全等价。上述表述与第 2、11 节的公式一一对应,不引入额外假设。
例子与代码
手算:患病率对后验的影响
某检测的灵敏度 ,特异度 ,即假阳性率 。设患病率 。按全概率公式,
按贝叶斯公式,
按每 人计算:患者 人,其中 人检测阳性;健康者 人,其中 人假阳性;阳性总数 ,其中真患者 ,比例 。若患病率改为 ,则 ,后验为 。同一检测在不同先验下给出差异极大的后验,说明只报告灵敏度与特异度不足以解释检测结果。
代码:大数定律、中心极限定理与 MLE 数值求解
以下代码使用 NumPy 2.x,固定随机种子,输出可直接复现。
import numpy as np
rng = np.random.default_rng(20261018)
# 1) 大数定律:伯努利样本均值随 n 增大趋近 p
p = 0.3
samples = rng.binomial(1, p, size=20000)
running = np.cumsum(samples) / np.arange(1, samples.size + 1)
for n in [10, 100, 1000, 10000, 20000]:
print(f"n={n:6d} mean={running[n - 1]:.4f} |mean-p|={abs(running[n - 1] - p):.4f}")
# 2) 中心极限定理:指数分布(均值 1、方差 1)样本均值的标准化分布
for n in [5, 30]:
xbar = rng.exponential(1.0, size=(20000, n)).mean(axis=1)
z = (xbar - 1.0) * np.sqrt(n) # 标准化:减去均值 1,除以标准差 1/sqrt(n)
print(f"n={n:2d} std(xbar)={xbar.std(ddof=1):.4f} "
f"1/sqrt(n)={1 / np.sqrt(n):.4f} P(|z|<=1)={np.mean(np.abs(z) <= 1):.4f}")
# 3) 伯努利 MLE:74 次成功、126 次失败,网格搜索与解析解一致
data = np.array([1] * 74 + [0] * 126)
grid = np.linspace(0.01, 0.99, 9801)
loglik = data.sum() * np.log(grid) + (data.size - data.sum()) * np.log1p(-grid)
print("bernoulli grid:", f"{grid[np.argmax(loglik)]:.4f}", " closed form:", f"{data.mean():.4f}")
# 4) 高斯 MLE:在 (mu, sigma) 网格上最大化对数似然
x = rng.normal(2.0, 1.5, size=500)
mus, sds = np.linspace(1.0, 3.0, 401), np.linspace(1.0, 2.0, 401)
ss = np.sum((x[None, :] - mus[:, None]) ** 2, axis=1) # 每个 mu 的残差平方和
ll = -0.5 * ss[:, None] / sds[None, :] ** 2 \
- x.size * np.log(sds)[None, :] - 0.5 * x.size * np.log(2 * np.pi)
i, j = np.unravel_index(np.argmax(ll), ll.shape)
print(f"gauss grid: mu={mus[i]:.4f} sd={sds[j]:.4f}")
print(f"gauss closed: mu={x.mean():.4f} sd={x.std(ddof=0):.4f}")
# 5) 贝叶斯:患病率 1%,灵敏度 99%,特异度 95%
prior, sens, spec = 0.01, 0.99, 0.95
p_pos = sens * prior + (1 - spec) * (1 - prior)
print(f"P(+)={p_pos:.4f} P(D|+)={sens * prior / p_pos:.4f}")
输出:
n= 10 mean=0.5000 |mean-p|=0.2000
n= 100 mean=0.4400 |mean-p|=0.1400
n= 1000 mean=0.3140 |mean-p|=0.0140
n= 10000 mean=0.3075 |mean-p|=0.0075
n= 20000 mean=0.3008 |mean-p|=0.0008
n= 5 std(xbar)=0.4472 1/sqrt(n)=0.4472 P(|z|<=1)=0.6996
n=30 std(xbar)=0.1823 1/sqrt(n)=0.1826 P(|z|<=1)=0.6884
bernoulli grid: 0.3700 closed form: 0.3700
gauss grid: mu=1.9950 sd=1.4575
gauss closed: mu=1.9937 sd=1.4581
P(+)=0.0594 P(D|+)=0.1667
各部分的作用与删除后的后果:
- 第 1 段逐点计算累计均值,用于观察 的收敛过程。若只画终点,无法区分「已收敛」与「恰好在终点接近」,也无法看到 时 的偏差。
- 第 2 段从指数分布抽样,均值为 、方差为 ,分布右偏。 是标准化构造;一般情形应写 。 时 ,高于正态值 ; 时降至 ,向 靠近,说明 CLT 是 的极限。样本均值的标准差对任意 都精确等于 ,模拟值 与 的吻合只验证方差可加,不验证正态近似;正态近似体现在分布形状与分位概率上。
- 第 3 段以网格搜索最大化对数似然,步长 使网格解与闭式解在四位小数上一致。直接比较似然也可行,但随着 增大乘积迅速趋近 ,双精度在上千个样本时下溢,对数形式把乘积变为求和,避免该问题。
- 第 4 段对 做二维网格搜索。 的网格间距为 ,网格解 与闭式解 的差小于一个网格间距;缩小间距可减小差异,但计算量按平方增长。
- 第 5 段复现手算结果,用于核对公式实现。若把特异度误用为假阳性率,会得到错误的分母。
易错点
常见错误
- 把 与 混用。检测灵敏度 不意味着 ;后者还依赖患病率,本篇手算例中仅为 。
- 把独立与互斥混为一谈。互斥事件在概率为正时不独立;独立事件通常可以同时发生。另需注意零相关不蕴涵独立, 的反例见第 6 节。
- 把概率密度当作概率。 可大于 ,例如 在 处密度约为 ;连续分布单点概率为零,只能对区间积分。
- 混淆 MLE 与无偏估计。高斯方差的 MLE 为 ,其期望为 ;样本方差用 才是无偏的。
- 把 p 值解释为「 为真的概率」。p 值是在 下观测到当前或更极端结果的概率; 不表示 有 的概率成立。不拒绝 也不等于接受 。
- 认为最小化交叉熵与最小化 KL 散度在数值上相同。二者相差 ;当 随参数变化(如标签平滑或蒸馏)时,梯度不再等价。
关联笔记
- 前置:微积分与梯度 —— 连续分布的期望、MLE 的对数似然求导与 Hessian 判定都依赖积分与多元微分。
- 前置:线性代数 —— 协方差矩阵的半正定性、白化变换与二次型是本篇第 6 节的代数基础。
- 后续:线性回归 —— 高斯噪声假设导出平方损失,高斯先验导出岭回归,对应本篇第 8、9 节。
- 后续:损失函数 —— 交叉熵、KL 散度与负对数似然的关系在本篇第 11 节给出,那里讨论具体损失的设计。
- 对照:矩阵分解-SVD与特征分解 —— 协方差矩阵的特征分解给出主成分方向,是概率与线性代数交汇之处。
达标检测
- [ ] 能写出概率空间的三条公理,并由它们推出 、 与加法公式。
- [ ] 能不查笔记写出全概率公式与贝叶斯公式,并说明划分条件 为何必要。
- [ ] 能独立完成伯努利与高斯两个 MLE 推导,包括二阶条件与 的有偏性证明。
- [ ] 能写出高斯先验下岭回归的 MAP 推导,并说明 中每个量的含义。
- [ ] 能运行本篇代码,把第 1 段的
size改为 并相应调整检查点,解释样本均值偏差的变化;能指出网格搜索解与闭式解产生差异的原因。 - [ ] 能给出一个协方差为零但相依的例子,并说明它为什么不违反「独立蕴涵零协方差」。
参考来源
- Goodfellow et al., Deep Learning, 2016, 第 3 章 —— 对应本篇概率公理、随机变量、常用分布、期望与协方差。
- Goodfellow et al., Deep Learning, 2016, 第 5 章 —— 对应最大似然、MAP、正则化与贝叶斯统计视角。
- d2l.ai《动手学深度学习》,第 2 章预备知识中的概率一节 —— 对应联合分布、条件概率、贝叶斯例子与期望的代码实现。
- Hastie et al., The Elements of Statistical Learning, 第 2 章 —— 对应统计决策理论、偏差与方差、模型评估的统计框架。
- Stanford CS229 课程讲义,概率与最大似然部分 —— 对应 MLE 推导与高斯判别分析的统计假设。