---
tags: [AI, 生成模型, 多模态, 扩散模型]
阶段: 09-评估安全与前沿
难度: ★★★
created: 2026-10-18
related: "[[概率与统计]], [[损失函数]], [[模型评估矩阵]], [[Embedding与向量检索]]"
---

# 多模态与生成模型概览

## 定义

**生成建模**（generative modeling）指从有限样本估计数据分布 $p_{\mathrm{data}}(\mathbf{x})$，并构造可采样、可计算密度的模型分布 $p_\theta(\mathbf{x})$ 的问题与方法集合。

**多模态建模**（multimodal modeling）指同时处理两种及以上模态（图像、文本、音频）的模型，其核心是把不同模态的表示映射到可比的空间，或把它们拼接为统一序列输入同一个解码器。

先固定全篇记号。

- **数据分布** $p_{\mathrm{data}}(\mathbf{x})$，$\mathbf{x}\in\mathbb{R}^{D}$ 为一个样本（图像的全部像素或一段文本的 token 序列）。
- **模型分布** $p_\theta(\mathbf{x})$，由参数 $\theta$ 确定，训练目标是使其接近 $p_{\mathrm{data}}$。
- **潜变量**（latent variable）$\mathbf{z}\in\mathbb{R}^{k}$，未观测的低维变量，用于解释观测的高维结构。
- **先验**（prior）$p(\mathbf{z})$，潜变量的边缘分布，VAE 中取标准正态 $\mathcal{N}(\mathbf{0},\mathbf{I})$。
- **似然**（likelihood）$p_\theta(\mathbf{x}\mid\mathbf{z})$，给定潜变量时观测的条件分布，也称解码器或生成网络。
- **真实后验**（posterior）$p_\theta(\mathbf{z}\mid\mathbf{x})=p_\theta(\mathbf{x}\mid\mathbf{z})p(\mathbf{z})/p_\theta(\mathbf{x})$，分母为不可积的归一化常数。
- **变分后验**（variational posterior）$q_\phi(\mathbf{z}\mid\mathbf{x})$，用参数 $\phi$ 的分布近似真实后验，也称编码器。
- **证据下界**（evidence lower bound, ELBO）$\mathcal{L}(\theta,\phi;\mathbf{x})$，$\log p_\theta(\mathbf{x})$ 的下界，见第 2 节。
- **KL 散度**（Kullback-Leibler divergence）$\mathrm{KL}(q\|p)=\mathbb{E}_{q}[\log q-\log p]$，非负且不对称。
- **重参数化**（reparameterization）把采样写成确定性变换加独立噪声，使梯度可穿过随机节点。
- **判别器**（discriminator）$D(\mathbf{x})\in[0,1]$，估计样本来自真实数据的概率；**生成器**（generator）$G(\mathbf{z})$ 把噪声映射为样本。
- **Jensen-Shannon 散度**（JSD）$\mathrm{JSD}(p\|q)=\frac{1}{2}\mathrm{KL}\big(p\,\|\,\frac{p+q}{2}\big)+\frac{1}{2}\mathrm{KL}\big(q\,\|\,\frac{p+q}{2}\big)$。
- **前向过程**（forward process）$q(\mathbf{x}_t\mid\mathbf{x}_{t-1})$，逐步向数据加高斯噪声的马尔可夫链，$t=1,\dots,T$。
- **反向过程**（reverse process）$p_\theta(\mathbf{x}_{t-1}\mid\mathbf{x}_t)$，学习从噪声逐步恢复数据。
- **噪声调度**（noise schedule）$\beta_1,\dots,\beta_T$，每步注入的方差；记 $\alpha_t=1-\beta_t$，$\bar\alpha_t=\prod_{s=1}^{t}\alpha_s$。
- **引导**（guidance）在采样时把条件模型的预测向条件方向外推的操作，强度由标量 $w$ 控制。
- **对比学习**（contrastive learning）把配对样本拉近、非配对样本推远的训练方式；**InfoNCE** 是其以负样本分类形式给出的损失。
- **温度**（temperature）$\tau$，相似度除以该系数后送入 softmax，控制分布的尖锐程度。

## 为什么重要

生成建模把三类看似不同的模型统一到同一个问题上：估计 $p_{\mathrm{data}}$。该问题在数学上有一个共同障碍，即高维积分的不可计算性：

$$
p_\theta(\mathbf{x})=\int p_\theta(\mathbf{x}\mid\mathbf{z})p(\mathbf{z})\,d\mathbf{z}
$$

除少数共轭情形外，该积分无闭式，且其数值计算随维数指数增长。三类模型给出三种不同的回避方式：VAE 用变分下界把积分转化为可优化的期望，GAN 放弃显式密度、改用判别器间接比较分布，Diffusion 把一次生成拆成 $T$ 步小变换、每步的分布都可解析。理解这三种回避方式，比记住三套损失函数更重要：它决定了各类模型在似然、稳定性、采样速度上的差异，第 5 节的对比表由此推出，而不是经验罗列。

没有这套框架会产生三类具体误判。

第一，用同一套指标横向比较不同族的模型。显式密度模型的 $\log p_\theta(\mathbf{x})$ 可以直接比较，GAN 的隐式分布没有密度，只能借助 FID 一类代理指标，而这类指标有自己的偏差，第 8 节说明。

第二，把训练损失下降当作样本质量提升。VAE 的 ELBO 提高时重构更准，但样本仍可能模糊，因为 ELBO 的两项存在权衡；GAN 的判别器损失接近理论值时生成器梯度可能已经消失。

第三，把多模态对齐理解为语义等价。CLIP 训练出的共享空间在分布层面把图文配对拉近，不保证属性绑定、计数、空间关系在单样本上正确。

在本库中的位置如下。[[概率与统计]] 提供高斯分布、期望与 KL 散度的运算规则，本篇的 ELBO 与后验推导全部建立在其上；[[损失函数]] 提供交叉熵与均方误差的语义，本篇用它解释重构项；[[Embedding与向量检索]] 与本篇第 6 节共享对比学习目标，区别是后者用于检索、前者用于跨模态对齐；[[模型评估矩阵]] 接收第 8 节的生成指标，并给出样本量与置信区间的口径；[[可解释性]] 与本篇互为工具，机制分析用于核查多模态模型是否真的使用了图像信息。

## 原理与推导

### 1. 统一视角：三种回避不可积分的方式

三种生成模型对 $p_\theta(\mathbf{x})$ 的处理方式不同，先把它们放在同一张表里。

| 模型族 | 对不可积分的处理 | 可计算的量 | 训练信号 |
|---|---|---|---|
| VAE | 引入 $q_\phi(\mathbf{z}\mid\mathbf{x})$，用 Jensen 不等式得到下界 | ELBO，$\log p_\theta(\mathbf{x})$ 的下界 | 重构误差加 KL 正则 |
| GAN | 不显式计算密度，用判别器比较两个分布的样本 | 无密度，仅有采样 | 判别器给出的分类信号 |
| Diffusion | 把生成分解为 $T$ 步，每步条件分布为高斯 | 变分下界，逐步 KL 之和 | 每步的噪声预测误差 |

```mermaid
flowchart TD
    A[估计数据分布] --> B[显式密度]
    A --> C[隐式分布]
    A --> D[逐步变换]
    B --> E[VAE 变分下界]
    C --> F[GAN 对抗训练]
    D --> G[Diffusion 去噪链]
    E --> H[编码器加解码器]
    F --> I[生成器加判别器]
    G --> J[噪声预测网络]
```

三者共享一个前提：训练数据只给出样本，不给出密度。因此所有目标函数都必须写成对样本的期望，可用小批量估计。差别在于期望内部的量是否可微、是否有方差。

### 2. VAE：从 ELBO 到重参数化

VAE 的训练细节可由三个对象推出：生成过程定义似然，变分后验定义近似，ELBO 把二者连成一个可优化的目标。以下按此顺序展开，并在末尾集中说明生成样本偏模糊的四个成因。

### 2.1 生成过程

VAE 假设数据由两步产生：先采潜变量 $\mathbf{z}\sim p(\mathbf{z})=\mathcal{N}(\mathbf{0},\mathbf{I})$，再由条件分布生成观测：

$$
p_\theta(\mathbf{x}\mid\mathbf{z})=\mathcal{N}\big(\boldsymbol{\mu}_\theta(\mathbf{z}),\ \sigma^{2}\mathbf{I}\big)
$$

其中 $\boldsymbol{\mu}_\theta$ 为解码器网络输出。边缘分布 $p_\theta(\mathbf{x})=\int p_\theta(\mathbf{x}\mid\mathbf{z})p(\mathbf{z})d\mathbf{z}$ 不可计算，因此无法直接最大化对数似然。

### 2.2 ELBO 的推导

引入任意分布 $q_\phi(\mathbf{z}\mid\mathbf{x})$，对 $\log p_\theta(\mathbf{x})$ 做恒等变形：

$$
\log p_\theta(\mathbf{x})=\log\int p_\theta(\mathbf{x}\mid\mathbf{z})p(\mathbf{z})\,d\mathbf{z}=\log\int q_\phi(\mathbf{z}\mid\mathbf{x})\frac{p_\theta(\mathbf{x}\mid\mathbf{z})p(\mathbf{z})}{q_\phi(\mathbf{z}\mid\mathbf{x})}\,d\mathbf{z}
$$

把积分写成对 $q_\phi$ 的期望，再用 Jensen 不等式（$\log$ 为凹函数）：

$$
\log p_\theta(\mathbf{x})=\log\mathbb{E}_{q_\phi(\mathbf{z}\mid\mathbf{x})}\left[\frac{p_\theta(\mathbf{x}\mid\mathbf{z})p(\mathbf{z})}{q_\phi(\mathbf{z}\mid\mathbf{x})}\right]\ \ge\ \mathbb{E}_{q_\phi}\left[\log\frac{p_\theta(\mathbf{x}\mid\mathbf{z})p(\mathbf{z})}{q_\phi(\mathbf{z}\mid\mathbf{x})}\right]
$$

右端拆开即得 ELBO 的常见形式：

$$
\mathcal{L}(\theta,\phi;\mathbf{x})=\underbrace{\mathbb{E}_{q_\phi(\mathbf{z}\mid\mathbf{x})}\big[\log p_\theta(\mathbf{x}\mid\mathbf{z})\big]}_{\text{重构项}}\ -\ \underbrace{\mathrm{KL}\big(q_\phi(\mathbf{z}\mid\mathbf{x})\,\|\,p(\mathbf{z})\big)}_{\text{正则项}}
$$

下界的紧度由下式给出，其推导只用贝叶斯公式：

$$
\log p_\theta(\mathbf{x})-\mathcal{L}=\mathbb{E}_{q_\phi}\left[\log\frac{q_\phi(\mathbf{z}\mid\mathbf{x})}{p_\theta(\mathbf{z}\mid\mathbf{x})}\right]=\mathrm{KL}\big(q_\phi(\mathbf{z}\mid\mathbf{x})\,\|\,p_\theta(\mathbf{z}\mid\mathbf{x})\big)\ \ge 0
$$

因此最大化 ELBO 同时做两件事：提高数据的似然下界，以及让变分后验接近真实后验。两项的梯度都通过 $\theta$ 与 $\phi$ 传播，这是 VAE 可端到端训练的原因。

### 2.3 KL 项的闭式

取 $q_\phi(\mathbf{z}\mid\mathbf{x})=\mathcal{N}(\boldsymbol{\mu},\operatorname{diag}(\boldsymbol{\sigma}^{2}))$，$p(\mathbf{z})=\mathcal{N}(\mathbf{0},\mathbf{I})$。两个对角高斯之间的 KL 有闭式：

$$
\mathrm{KL}(q\|p)=\frac{1}{2}\sum_{j=1}^{k}\Big(\mu_j^{2}+\sigma_j^{2}-1-\log\sigma_j^{2}\Big)
$$

推导要点：高斯 KL 的一般形式为 $\frac{1}{2}\big[\operatorname{tr}(\Sigma_p^{-1}\Sigma_q)+(\boldsymbol{\mu}_p-\boldsymbol{\mu}_q)^{\top}\Sigma_p^{-1}(\boldsymbol{\mu}_p-\boldsymbol{\mu}_q)-k+\log\frac{\det\Sigma_p}{\det\Sigma_q}\big]$。代入 $\Sigma_p=\mathbf{I}$、$\boldsymbol{\mu}_p=\mathbf{0}$，得 $\frac{1}{2}\big[\sum_j\sigma_j^{2}+\sum_j\mu_j^{2}-k-\sum_j\log\sigma_j^{2}\big]$，即上式。实现时网络输出 $\log\sigma^{2}$ 而非 $\sigma$，原因有两点：$\sigma>0$ 的约束无需额外处理，且 $\log\sigma^{2}$ 的取值范围是全体实数，数值上更稳定。

### 2.4 重构项

重构项依赖对 $p_\theta(\mathbf{x}\mid\mathbf{z})$ 的选择，两种常见设定对应两种损失。

若取各维独立高斯、方差固定为 $\sigma^{2}$：

$$
\log p_\theta(\mathbf{x}\mid\mathbf{z})=-\frac{\lVert\mathbf{x}-\boldsymbol{\mu}_\theta(\mathbf{z})\rVert^{2}}{2\sigma^{2}}-\frac{D}{2}\log(2\pi\sigma^{2})
$$

对 $\theta$ 求期望并忽略常数，等价于均方误差。

若数据为二值（如二值化图像），取各维独立 Bernoulli，解码器输出概率 $\mathbf{p}\in(0,1)^{D}$：

$$
\log p_\theta(\mathbf{x}\mid\mathbf{z})=\sum_{i=1}^{D}\Big[x_i\log p_i+(1-x_i)\log(1-p_i)\Big]
$$

即负的二元交叉熵。两种设定的差别不只是尺度：高斯对应连续强度，Bernoulli 对应独立像素的生成假设，后者忽略像素间相关，是生成样本偏平滑的原因之一。

### 2.5 重参数化技巧

ELBO 中含期望 $\mathbb{E}_{q_\phi(\mathbf{z}\mid\mathbf{x})}[\cdot]$，采样操作本身不可导，无法对 $\phi$ 求梯度。**重参数化**把随机性移出参数：

$$
\mathbf{z}=\boldsymbol{\mu}_\phi(\mathbf{x})+\boldsymbol{\sigma}_\phi(\mathbf{x})\odot\boldsymbol{\epsilon},\qquad \boldsymbol{\epsilon}\sim\mathcal{N}(\mathbf{0},\mathbf{I})
$$

其中 $\odot$ 为逐元素乘。此时 $\mathbf{z}$ 是 $(\boldsymbol{\mu},\boldsymbol{\sigma},\boldsymbol{\epsilon})$ 的确定性函数，$\boldsymbol{\epsilon}$ 的分布与参数无关，梯度可直接回传：

$$
\frac{\partial\mathcal{L}}{\partial\boldsymbol{\mu}}=\frac{\partial\mathcal{L}}{\partial\mathbf{z}},\qquad \frac{\partial\mathcal{L}}{\partial\boldsymbol{\sigma}}=\frac{\partial\mathcal{L}}{\partial\mathbf{z}}\odot\boldsymbol{\epsilon}
$$

单样本的梯度是真实期望梯度的无偏估计，因为 $\boldsymbol{\epsilon}$ 的采样分布不含 $\phi$。去掉重参数化会怎样：只能使用得分函数估计（REINFORCE），方差显著更大，且需要额外的基线项，训练效率下降一个量级。

### 2.6 生成模糊的成因

VAE 的样本常偏模糊，原因有四条，可分别检验。

其一，重构项在高斯假设下等价于均方误差，其最优解是条件均值 $\mathbb{E}[\mathbf{x}\mid\mathbf{z}]$。当给定 $\mathbf{z}$ 时后验存在多个可能样本，均值落在它们的中间，不在任何一个峰上。

其二，解码器假设各维独立（对角协方差），无法表示像素间的相关性，边缘因此被平滑。

其三，KL 项迫使不同 $\mathbf{x}$ 的后验向先验靠拢、彼此重叠，解码器无法为每个样本分配专用区域，只能对相近的 $\mathbf{z}$ 输出折中结果。

其四，$\mathrm{KL}(q\|p)$ 的方向是 mode-covering：$q$ 若漏掉 $p$ 的某个峰，KL 会给出很大的惩罚，因此 $q$ 倾向于覆盖所有峰，代价是把质量摊薄。这与第 3 节 GAN 的 mode-seeking 行为相反，后者倾向锁定少数峰。

四条原因中，第一条与第三条是结构性的，提高容量无法消除；第二条与第四条可通过更强的解码器、更灵活的后验（如 Normalizing Flow 后验）缓解。

### 3. GAN：极小极大目标与最优判别器

GAN 的性质可由两步得到：先对判别器做逐点最优化，再把最优解代回目标函数。前者给出判别器的语义，后者给出生成器实际最小化的散度。

### 3.1 目标函数

GAN 定义二人零和博弈：

$$
\min_G\max_D\ V(D,G)=\mathbb{E}_{\mathbf{x}\sim p_{\mathrm{data}}}\big[\log D(\mathbf{x})\big]+\mathbb{E}_{\mathbf{z}\sim p_{\mathbf{z}}}\big[\log\big(1-D(G(\mathbf{z}))\big)\big]
$$

其中 $p_{\mathbf{z}}$ 为噪声先验（通常为标准正态），$D$ 输出标量概率。记生成分布为 $p_g$，则第二项可写为 $\mathbb{E}_{\mathbf{x}\sim p_g}[\log(1-D(\mathbf{x}))]$。

### 3.2 最优判别器

固定 $G$，目标对 $D$ 是逐点的：

$$
V(D)=\int\Big[p_{\mathrm{data}}(\mathbf{x})\log D(\mathbf{x})+p_g(\mathbf{x})\log\big(1-D(\mathbf{x})\big)\Big]d\mathbf{x}
$$

被积函数形如 $a\log y+b\log(1-y)$，对 $y$ 求导并令零：

$$
\frac{a}{y}-\frac{b}{1-y}=0\ \Longrightarrow\ y^{*}=\frac{a}{a+b}
$$

因此最优判别器为

$$
D^{*}(\mathbf{x})=\frac{p_{\mathrm{data}}(\mathbf{x})}{p_{\mathrm{data}}(\mathbf{x})+p_g(\mathbf{x})}
$$

该式说明判别器在每一点估计的是「真实分布占两者之和的比例」。它不是分类准确率最优的硬判决，而是软概率意义下的最优。

### 3.3 代入后得到 Jensen-Shannon 散度

把 $D^{*}$ 代入 $V$，并记 $m=\frac{1}{2}(p_{\mathrm{data}}+p_g)$：

$$
V(D^{*},G)=\mathbb{E}_{p_{\mathrm{data}}}\Big[\log\frac{p_{\mathrm{data}}}{p_{\mathrm{data}}+p_g}\Big]+\mathbb{E}_{p_g}\Big[\log\frac{p_g}{p_{\mathrm{data}}+p_g}\Big]
$$

利用 $\frac{p}{p+q}=\frac{p}{2m}$，两项分别变为 $\log\frac{p_{\mathrm{data}}}{m}-\log2$ 与 $\log\frac{p_g}{m}-\log2$，合并得

$$
V(D^{*},G)=-\log4+\mathrm{KL}\Big(p_{\mathrm{data}}\,\Big\|\,m\Big)+\mathrm{KL}\Big(p_g\,\Big\|\,m\Big)=-\log4+2\,\mathrm{JSD}\big(p_{\mathrm{data}}\,\|\,p_g\big)
$$

由于 $\mathrm{JSD}\ge0$ 且仅在 $p_g=p_{\mathrm{data}}$ 时取零，极小极大博弈的全局最优满足 $p_g=p_{\mathrm{data}}$，此时 $V^{*}=-\log4$。这个推导给出三点推论。

第一，训练目标本质是最小化两个分布之间的 JSD，与最大似然无关，因此 GAN 不提供似然值。

第二，JSD 在支撑集不交叠时局部为常数 $\log2$。当 $p_g$ 与 $p_{\mathrm{data}}$ 的支撑几乎不相交（训练早期常见），$D^{*}$ 接近 0 或 1，$\log(1-D(G(\mathbf{z})))$ 的梯度趋近于零，生成器得不到方向信息。这是训练不稳定的结构性原因，不是调参问题。

第三，理论最优 $D^{*}$ 要求 $D$ 可以是任意函数，而实际 $D$ 是有限容量的网络，最优不可达；判别器过强时梯度消失，过弱时生成器缺少有效信号，二者的平衡点依赖容量与更新次数比。

### 3.4 实践中的两个修正

**非饱和损失**。原始目标中生成器最小化 $\log(1-D(G(\mathbf{z})))$，当 $D$ 很自信时该函数梯度饱和。实践中改为最小化 $-\log D(G(\mathbf{z}))$，在训练早期梯度更大，但不再对应原来的极小极大博弈，理论上会引入模式覆盖的偏差。

**模式崩溃**（mode collapse）。生成器把多个 $\mathbf{z}$ 映射到同一输出，导致样本多样性缺失。从目标函数看，JSD 对「已覆盖的峰」与「未覆盖的峰」惩罚对称，若 $D$ 已能区分真实与生成，遗漏某个峰不会额外增加 $D$ 的损失，生成器因此缺少覆盖全部峰的激励。

### 3.5 WGAN 简述

Wasserstein GAN 用 Earth Mover 距离替代 JSD：

$$
W(p_{\mathrm{data}},p_g)=\inf_{\gamma\in\Pi(p_{\mathrm{data}},p_g)}\mathbb{E}_{(\mathbf{x},\mathbf{y})\sim\gamma}\big[\lVert\mathbf{x}-\mathbf{y}\rVert\big]
$$

其中 $\Pi$ 为所有以两个分布为边缘的联合分布集合。直接计算该下确界不可行，Kantorovich-Rubinstein 对偶给出

$$
W(p_{\mathrm{data}},p_g)=\sup_{\lVert f\rVert_{L}\le1}\Big(\mathbb{E}_{p_{\mathrm{data}}}[f(\mathbf{x})]-\mathbb{E}_{p_g}[f(\mathbf{x})]\Big)
$$

其中 $\lVert f\rVert_{L}\le1$ 表示 $f$ 为 1-Lipschitz 函数。用参数化网络 $f_w$（称为 critic，不再输出概率）替代 $f$，训练目标为

$$
\max_{w}\ \mathbb{E}_{p_{\mathrm{data}}}[f_w(\mathbf{x})]-\mathbb{E}_{p_g}[f_w(\mathbf{x})],\qquad \min_{\theta}\ -\mathbb{E}_{p_g}[f_w(\mathbf{x})]
$$

Lipschitz 约束通过权重裁剪或梯度惩罚实现。WGAN 的关键改进是：即使两个分布的支撑不交叠，$W$ 仍随分布移动连续变化，梯度不会消失，因此训练更稳定；代价是每步需要多次更新 critic，计算量上升。

### 4. Diffusion：前向加噪与反向去噪

扩散模型的推导分四步：前向过程的闭式边缘分布、反向后验的闭式均值、变分下界的逐项化简、采样式的参数化。四步都只用到高斯分布的线性叠加与贝叶斯公式，不引入新的近似。

### 4.1 前向过程与闭式边缘分布

前向过程是固定（无参数）的马尔可夫链：

$$
q(\mathbf{x}_t\mid\mathbf{x}_{t-1})=\mathcal{N}\big(\sqrt{\alpha_t}\,\mathbf{x}_{t-1},\ \beta_t\mathbf{I}\big),\qquad \alpha_t=1-\beta_t
$$

等价地写成采样式 $\mathbf{x}_t=\sqrt{\alpha_t}\mathbf{x}_{t-1}+\sqrt{\beta_t}\boldsymbol{\epsilon}_{t-1}$，$\boldsymbol{\epsilon}_{t-1}\sim\mathcal{N}(\mathbf{0},\mathbf{I})$。

由马尔可夫性与高斯线性叠加，任意时刻的边缘分布有闭式：

$$
q(\mathbf{x}_t\mid\mathbf{x}_0)=\mathcal{N}\big(\sqrt{\bar\alpha_t}\,\mathbf{x}_0,\ (1-\bar\alpha_t)\mathbf{I}\big),\qquad \bar\alpha_t=\prod_{s=1}^{t}\alpha_s
$$

归纳证明：设 $\mathbf{x}_{t-1}=\sqrt{\bar\alpha_{t-1}}\mathbf{x}_0+\sqrt{1-\bar\alpha_{t-1}}\,\tilde{\boldsymbol{\epsilon}}$，代入一步转移：

$$
\mathbf{x}_t=\sqrt{\alpha_t\bar\alpha_{t-1}}\,\mathbf{x}_0+\sqrt{\alpha_t(1-\bar\alpha_{t-1})}\,\tilde{\boldsymbol{\epsilon}}+\sqrt{\beta_t}\,\boldsymbol{\epsilon}_{t-1}
$$

两个独立高斯项相加，方差为 $\alpha_t(1-\bar\alpha_{t-1})+\beta_t=\alpha_t-\bar\alpha_t+1-\alpha_t=1-\bar\alpha_t$，均值为 $\sqrt{\bar\alpha_t}\mathbf{x}_0$，归纳完成。该式是扩散模型可训练的关键：任意 $t$ 的加噪样本可一步采样，无需展开 $t$ 步链。

由此得到重参数化形式：

$$
\mathbf{x}_t=\sqrt{\bar\alpha_t}\,\mathbf{x}_0+\sqrt{1-\bar\alpha_t}\,\boldsymbol{\epsilon},\qquad \boldsymbol{\epsilon}\sim\mathcal{N}(\mathbf{0},\mathbf{I})
$$

信噪比 $\mathrm{SNR}(t)=\bar\alpha_t/(1-\bar\alpha_t)$ 单调下降。线性调度下 $\bar\alpha_t$ 在 $t\approx T/2$ 附近已降到 0.1 以下，意味着过半时间步的样本几乎不含原始信号；这是扩散采样慢而稳定的原因之一。

### 4.2 反向过程

反向过程用参数化高斯近似：

$$
p_\theta(\mathbf{x}_{t-1}\mid\mathbf{x}_t)=\mathcal{N}\big(\boldsymbol{\mu}_\theta(\mathbf{x}_t,t),\ \sigma_t^{2}\mathbf{I}\big)
$$

真实的反向条件分布 $q(\mathbf{x}_{t-1}\mid\mathbf{x}_t)$ 难以直接写出，但加上 $\mathbf{x}_0$ 后它可解析：由贝叶斯公式与马尔可夫性，

$$
q(\mathbf{x}_{t-1}\mid\mathbf{x}_t,\mathbf{x}_0)\propto q(\mathbf{x}_t\mid\mathbf{x}_{t-1})\,q(\mathbf{x}_{t-1}\mid\mathbf{x}_0)
$$

右端是两个关于 $\mathbf{x}_{t-1}$ 的高斯，乘积仍为高斯。按精度相加、均值加权计算：第一个因子的精度为 $\alpha_t/\beta_t$、均值为 $\mathbf{x}_t/\sqrt{\alpha_t}$；第二个因子的精度为 $1/(1-\bar\alpha_{t-1})$、均值为 $\sqrt{\bar\alpha_{t-1}}\mathbf{x}_0$。总精度为

$$
\frac{\alpha_t}{\beta_t}+\frac{1}{1-\bar\alpha_{t-1}}=\frac{\alpha_t(1-\bar\alpha_{t-1})+\beta_t}{\beta_t(1-\bar\alpha_{t-1})}=\frac{1-\bar\alpha_t}{\beta_t(1-\bar\alpha_{t-1})}
$$

故后验方差与均值分别为

$$
\tilde\beta_t=\frac{\beta_t(1-\bar\alpha_{t-1})}{1-\bar\alpha_t},\qquad
\tilde{\boldsymbol{\mu}}_t=\frac{\sqrt{\bar\alpha_{t-1}}\,\beta_t}{1-\bar\alpha_t}\mathbf{x}_0+\frac{\sqrt{\alpha_t}\,(1-\bar\alpha_{t-1})}{1-\bar\alpha_t}\mathbf{x}_t
$$

记两个系数为 $c_{x_0}$ 与 $c_{x_t}$，它们满足恒等式 $c_{x_0}+c_{x_t}\sqrt{\bar\alpha_t}=\sqrt{\bar\alpha_{t-1}}$。该式说明：若把 $\mathbf{x}_t$ 取为无噪形式 $\sqrt{\bar\alpha_t}\mathbf{x}_0$，后验均值退化为 $\sqrt{\bar\alpha_{t-1}}\mathbf{x}_0$，与 $q(\mathbf{x}_{t-1}\mid\mathbf{x}_0)$ 的均值一致。该恒等式在实现中可作为系数推导的数值校验。

### 4.3 变分下界与简化训练目标

对 $-\log p_\theta(\mathbf{x}_0)$ 做与 VAE 相同的变分分解，得到

$$
\mathcal{L}=\mathbb{E}_{q}\Big[\underbrace{\mathrm{KL}\big(q(\mathbf{x}_T\mid\mathbf{x}_0)\,\|\,p(\mathbf{x}_T)\big)}_{L_T}+\sum_{t=2}^{T}\underbrace{\mathrm{KL}\big(q(\mathbf{x}_{t-1}\mid\mathbf{x}_t,\mathbf{x}_0)\,\|\,p_\theta(\mathbf{x}_{t-1}\mid\mathbf{x}_t)\big)}_{L_{t-1}}-\underbrace{\log p_\theta(\mathbf{x}_0\mid\mathbf{x}_1)}_{L_0}\Big]
$$

$L_T$ 不含可训练参数，且当 $\bar\alpha_T$ 足够小（约 $10^{-4}$ 量级）时 $q(\mathbf{x}_T\mid\mathbf{x}_0)\approx\mathcal{N}(\mathbf{0},\mathbf{I})=p(\mathbf{x}_T)$，故近似为零。$L_0$ 是离散解码项，通常单独用一个小型解码器或直接取高斯。

核心是 $L_{t-1}$：两项都是对角高斯，把 $p_\theta$ 的方差取为 $\tilde\beta_t$ 后二者方差相同，KL 有闭式，等于均值差的平方除以 $2\sigma_t^{2}$。把后验均值中的 $\mathbf{x}_0$ 用 $\mathbf{x}_t$ 与 $\boldsymbol{\epsilon}$ 表示。由 $\mathbf{x}_t=\sqrt{\bar\alpha_t}\mathbf{x}_0+\sqrt{1-\bar\alpha_t}\boldsymbol{\epsilon}$ 得 $\mathbf{x}_0=(\mathbf{x}_t-\sqrt{1-\bar\alpha_t}\boldsymbol{\epsilon})/\sqrt{\bar\alpha_t}$，代入 $\tilde{\boldsymbol{\mu}}_t$：

$$
\tilde{\boldsymbol{\mu}}_t=\frac{1}{\sqrt{\alpha_t}}\left(\mathbf{x}_t-\frac{\beta_t}{\sqrt{1-\bar\alpha_t}}\boldsymbol{\epsilon}\right)
$$

这一步是 DDPM 的核心：后验均值只依赖 $\mathbf{x}_t$ 与噪声 $\boldsymbol{\epsilon}$。若令模型按同样形式参数化：

$$
\boldsymbol{\mu}_\theta(\mathbf{x}_t,t)=\frac{1}{\sqrt{\alpha_t}}\left(\mathbf{x}_t-\frac{\beta_t}{\sqrt{1-\bar\alpha_t}}\boldsymbol{\epsilon}_\theta(\mathbf{x}_t,t)\right)
$$

则 $L_{t-1}$ 化为带权重的噪声误差：

$$
L_{t-1}=\frac{\beta_t}{2\alpha_t(1-\bar\alpha_{t-1})}\big\lVert\boldsymbol{\epsilon}-\boldsymbol{\epsilon}_\theta(\mathbf{x}_t,t)\big\rVert^{2}
$$

DDPM 丢弃该系数（在 $t$ 较大时系数较小，会压低后期时间步的权重），得到简化目标：

$$
\mathcal{L}_{\mathrm{simple}}=\mathbb{E}_{t,\mathbf{x}_0,\boldsymbol{\epsilon}}\Big[\big\lVert\boldsymbol{\epsilon}-\boldsymbol{\epsilon}_\theta\big(\sqrt{\bar\alpha_t}\mathbf{x}_0+\sqrt{1-\bar\alpha_t}\boldsymbol{\epsilon},\,t\big)\big\rVert^{2}\Big]
$$

其中 $t$ 在 $\{1,\dots,T\}$ 上均匀采样。该目标等价于去噪得分匹配：$\boldsymbol{\epsilon}_\theta/\sqrt{1-\bar\alpha_t}$ 近似 $-\nabla_{\mathbf{x}}\log q(\mathbf{x}_t)$ 的缩放形式，因此噪声预测网络同时是一个得分估计器。

### 4.4 采样

从 $\mathbf{x}_T\sim\mathcal{N}(\mathbf{0},\mathbf{I})$ 开始，对 $t=T,T-1,\dots,1$：

$$
\mathbf{x}_{t-1}=\frac{1}{\sqrt{\alpha_t}}\left(\mathbf{x}_t-\frac{\beta_t}{\sqrt{1-\bar\alpha_t}}\boldsymbol{\epsilon}_\theta(\mathbf{x}_t,t)\right)+\sigma_t\mathbf{z},\qquad \mathbf{z}\sim\mathcal{N}(\mathbf{0},\mathbf{I})\ (t>1)
$$

最后一步（$t=1$）取 $\mathbf{z}=\mathbf{0}$。采样需要 $T$ 次网络前向，$T=1000$ 时比单步生成模型慢三个数量级。加速方法有两类：降低 $T$（重设调度，如余弦调度）；用确定性采样（DDIM）跳过部分步骤，把随机项系数设为零，用同一训练好的网络在子序列上采样。二者都在牺牲少量质量的前提下减少前向次数。

### 4.5 条件生成与 classifier-free guidance

条件生成要求采样结果符合条件 $c$（文本、类别标签）。**classifier-free guidance** 不训练额外分类器，而是同时训练条件与无条件两个预测：训练时以概率 $p_{\mathrm{uncond}}$ 把 $c$ 替换为空条件 $\varnothing$，同一网络学会 $\boldsymbol{\epsilon}_\theta(\mathbf{x}_t,c)$ 与 $\boldsymbol{\epsilon}_\theta(\mathbf{x}_t,\varnothing)$。采样时组合两者：

$$
\tilde{\boldsymbol{\epsilon}}_\theta(\mathbf{x}_t,c)=(1+w)\,\boldsymbol{\epsilon}_\theta(\mathbf{x}_t,c)-w\,\boldsymbol{\epsilon}_\theta(\mathbf{x}_t,\varnothing)
$$

等价写法为 $\boldsymbol{\epsilon}_\theta(\mathbf{x}_t,\varnothing)+(1+w)\big[\boldsymbol{\epsilon}_\theta(\mathbf{x}_t,c)-\boldsymbol{\epsilon}_\theta(\mathbf{x}_t,\varnothing)\big]$，即沿「条件预测减无条件预测」的方向外推。由得分匹配关系，该方向近似 $\nabla_{\mathbf{x}}\log p(c\mid\mathbf{x}_t)$ 的缩放，因此 $w$ 等价于分类器引导强度。

$w$ 的取值有权衡。$w=0$ 退化为普通条件采样；$w>0$ 提高条件一致性，同时降低多样性，因为外推使样本向条件的高密度区集中；$w$ 过大时采样点落在训练分布之外，出现颜色过饱和、结构崩坏、重复纹理。$w$ 是超参数，其最优值随任务、$T$、调度而变，没有普遍适用的数值。

### 5. 三类模型对比

| 维度 | VAE | GAN | Diffusion |
|---|---|---|---|
| 似然 | ELBO 可计算，为下界 | 无显式密度 | ELBO 可计算，为下界 |
| 训练目标 | 重构加 KL，单目标 | 极小极大，双目标交替 | 噪声回归，单目标 |
| 训练稳定性 | 高，损失单调可用 | 低，需平衡容量与更新比 | 高，损失与质量相关性较好 |
| 采样速度 | 1 次前向 | 1 次前向 | $T$ 次前向（DDIM 可减少） |
| 样本质量 | 偏模糊 | 单样本锐利 | 高，DDPM 报告 CIFAR-10 上 FID 3.17 |
| 模式覆盖 | 覆盖全，质量摊薄 | 易模式崩溃 | 覆盖较好 |
| 潜空间 | 显式、连续、可插值 | 噪声空间无结构 | 中间时刻的 $\mathbf{x}_t$ 可部分解释 |
| 主要成本 | 后验近似误差 | 训练不稳定 | 采样计算量大 |

两个结论需要强调。

似然高不等于样本好。VAE 的 ELBO 可以在测试集上精确比较，但它与感知质量的相关性弱：ELBO 高的模型可能生成更模糊的样本，因为下界对大尺度结构的拟合更敏感。GAN 与 Diffusion 的样本质量通常用 FID 一类代理指标，第 8 节说明其偏差。

训练稳定性来自目标函数的性质，不来自实现细节。VAE 与 Diffusion 的损失是样本上的回归或重构误差，梯度方差可控；GAN 的梯度依赖判别器当前状态，判别器与生成器的更新比例改变博弈的动态。这一点无法通过换优化器解决。

### 6. 多模态：CLIP 与对比学习

CLIP 的结构只有两个编码器与一个对称对比损失，但其性质需从相似度矩阵的归一化方向与 InfoNCE 的互信息下界两处读出。前者决定负样本如何使用，后者决定批次规模为何重要。

### 6.1 双塔结构与相似度矩阵

CLIP 使用两个独立编码器：图像编码器 $f$ 与文本编码器 $g$，分别把图像与文本映射到同一维度的单位球面：

$$
\mathbf{u}_i=\frac{f(\mathbf{x}_i)}{\lVert f(\mathbf{x}_i)\rVert},\qquad \mathbf{v}_j=\frac{g(\mathbf{t}_j)}{\lVert g(\mathbf{t}_j)\rVert}
$$

一个批次含 $N$ 个配对 $(\mathbf{x}_i,\mathbf{t}_i)$，计算相似度矩阵 $S_{ij}=\mathbf{u}_i^{\top}\mathbf{v}_j/\tau$，其中 $\tau$ 为可学习的温度。训练目标是让对角元相对同行、同列的其他元素最大。

### 6.2 InfoNCE 与对称损失

把图像到文本的匹配视为 $N$ 类分类，标签为 $i$：

$$
\mathcal{L}_{\mathrm{img}}=-\frac{1}{N}\sum_{i=1}^{N}\log\frac{\exp(S_{ii})}{\sum_{j=1}^{N}\exp(S_{ij})}
$$

对称项把文本到图像的匹配同样视为 $N$ 类分类：

$$
\mathcal{L}_{\mathrm{txt}}=-\frac{1}{N}\sum_{i=1}^{N}\log\frac{\exp(S_{ii})}{\sum_{j=1}^{N}\exp(S_{ji})}
$$

最终损失取平均 $\mathcal{L}=\frac{1}{2}(\mathcal{L}_{\mathrm{img}}+\mathcal{L}_{\mathrm{txt}})$。两项的区别在于归一化的方向：第一项在每行内比较，把同批次的其他文本作为负样本；第二项在每列内比较，把同批次的其他图像作为负样本。只用一项会浪费一半的负样本，且两个编码器的梯度尺度不平衡。

**InfoNCE 与互信息**。$\mathcal{L}_{\mathrm{img}}$ 是图像与文本互信息的对比下界：

$$
I(\mathbf{x};\mathbf{t})\ \ge\ \log N-\mathcal{L}_{\mathrm{img}}
$$

推导思路：最优情况下正样本对的相似度应高于任意负样本对，$N$ 类分类的最优错误率给出互信息的下界，$N$ 越大下界越紧。该式说明增大批次等价于增加负样本，从而收紧下界；这也是 CLIP 使用大批次（数万）的原因之一，CLIP 原文使用约 4 亿图文对训练。

**温度的作用**。$\tau$ 越小，softmax 越尖锐，模型对困难负样本的惩罚越强；$\tau$ 过大则所有负样本权重接近，梯度信号弱。CLIP 把 $\tau$ 作为可学习参数（以对数参数化保证为正），让模型自行调节。

### 6.3 零样本分类

训练完成后，分类不需要任何标注样本。对类别集合 $\{c_1,\dots,c_K\}$，把每个类名填入模板得到文本 $t_k$，计算

$$
\hat{k}=\arg\max_{k}\ \cos\big(f(\mathbf{x}),\ g(t_k)\big)
$$

模板通常写作 "a photo of a {class}"，并可对多个模板的文本嵌入取平均（prompt ensemble）以降低模板敏感性。零样本分类的准确率来自训练时学到的跨模态对应：图像编码器输出的方向与对应类名的文本方向接近。

### 6.4 对齐的性质与局限

CLIP 学到的是**分布层面的对齐**：在训练分布上，配对图文在共享空间的平均距离小于非配对。这一性质不等价于单样本上的语义等价，具体表现为四类失败。

- 属性绑定：图像中有红色方块与蓝色圆，文本 "a red circle" 与 "a blue square" 的相似度可能同样高，因为模型对「颜色—形状」的绑定弱。
- 计数：图像中物体数量与文本数词的对应在超过三个后迅速下降。
- 空间关系：左右、上下、内部等关系需要位置编码与组合推理，对比目标不直接约束。
- 分布偏移：训练分布外的图像（素描、医学影像、低分辨率）上对齐退化，零样本准确率显著下降。

因此 CLIP 适合做粗粒度检索与候选筛选，不适合做需要精确属性判断的最终判定；需要精确判断时应在其上训练任务特定的分类头。

### 7. 多模态大模型的结构

把视觉接入语言模型的主流结构由三部分组成：

```mermaid
flowchart LR
    A[图像] --> B[视觉编码器 ViT]
    B --> C[投影层或重采样器]
    C --> D[视觉 token]
    E[文本 token] --> F[拼接]
    D --> F
    F --> G[LLM 解码器]
    G --> H[文本输出]
```

**视觉编码器**通常是预训练的 ViT（常来自 CLIP），把图像切成 $p\times p$ 的块，输出 $n=(H/p)(W/p)$ 个 token 的序列。$336\times336$ 的图像、$p=14$ 时 $n=576$。

**投影层**把视觉 token 的维度映射到语言模型的嵌入维度。三种常见形式：单层线性映射；两层 MLP；重采样器（用固定数量的查询向量对视觉 token 做注意力池化，把 $n$ 压缩到 $m\ll n$）。线性与 MLP 保留全部 patch，序列长；重采样器压缩序列，但丢失细节，对 OCR 与细粒度定位不利。

**语言模型**把视觉 token 与文本 token 拼接后按自回归方式训练。因为 Transformer 的注意力代价随序列长度二次增长，576 个视觉 token 相当于把上下文长度扩展了近 600，这是多模态推理成本高的直接来源。

训练通常分两阶段。第一阶段冻结视觉编码器与语言模型，只训练投影层，目标是图文配对或图像描述，使视觉 token 落入语言模型已理解的嵌入区域。第二阶段解冻语言模型（有时也解冻编码器顶部若干层），用视觉指令数据做监督微调，使模型学会按指令引用图像内容。第一阶段不可省略：若直接联合训练，随机初始化的投影层会给语言模型输入分布外的向量，破坏其已有的语言能力。

### 8. 评估指标

生成模型的评估分三类：比较生成分布与真实分布的指标（FID）、只使用生成样本的指标（IS）、度量图文一致性的指标（CLIPScore）。三类指标回答不同问题，都有明确的适用边界与已知偏差。

### 8.1 FID

**FID**（Fréchet inception distance）用预训练 Inception 网络的特征层把图像映射为向量，对真实集与生成集分别拟合高斯 $\mathcal{N}(\boldsymbol{\mu}_r,\Sigma_r)$ 与 $\mathcal{N}(\boldsymbol{\mu}_g,\Sigma_g)$，取两个高斯之间的 Fréchet 距离：

$$
\mathrm{FID}=\lVert\boldsymbol{\mu}_r-\boldsymbol{\mu}_g\rVert^{2}+\operatorname{tr}\Big(\Sigma_r+\Sigma_g-2\big(\Sigma_r\Sigma_g\big)^{1/2}\Big)
$$

其中 $\operatorname{tr}$ 为迹，$(\Sigma_r\Sigma_g)^{1/2}$ 为矩阵平方根（$\Sigma_r,\Sigma_g$ 对称半正定，乘积的特征值非负）。两项分别度量均值偏移与协方差差异。

FID 的局限有四条。其一，依赖 Inception 的训练分布，该网络在 ImageNet 上训练，对其他数据集的特征不具判别力。其二，对样本量敏感：$\boldsymbol{\mu}$ 与 $\Sigma$ 的估计误差随 $N$ 下降，$N$ 较小时 FID 系统性偏高，因此不同 $N$ 的 FID 不可直接比较，惯例是统一使用 50000 个样本。其三，高斯假设忽略特征分布的多峰结构，两个多峰分布可以有相同均值与协方差。其四，不度量条件一致性：给定文本生成图像时，FID 只比较图像分布，不检查图像是否符合文本。

### 8.2 IS

**Inception Score** 不需要真实样本，只用生成样本与 Inception 分类器 $p(y\mid\mathbf{x})$：

$$
\mathrm{IS}=\exp\Big(\mathbb{E}_{\mathbf{x}\sim p_g}\big[\mathrm{KL}\big(p(y\mid\mathbf{x})\,\|\,p(y)\big)\big]\Big)
$$

其中 $p(y)=\mathbb{E}_{\mathbf{x}\sim p_g}[p(y\mid\mathbf{x})]$ 为生成样本的类别边缘分布。指标奖励两点：单个样本的类别分布尖锐（可识别），全体样本的类别分布平坦（多样）。

IS 的局限更严重。它不比较真实分布，因此可以生成与训练数据无关但「可识别且多样」的图像而获得高分；对 Inception 的对抗扰动可显著刷高分数；类别集合固定为 1000 类，无法评估其他数据集。实践中 IS 只作为辅助指标。

### 8.3 CLIPScore

**CLIPScore** 用 CLIP 的图像与文本编码器度量生成图像与提示词的匹配：

$$
\mathrm{CLIPScore}=\max\big(0,\ \cos\big(f(\mathbf{x}),g(\mathbf{t})\big)\big)
$$

其局限来自与训练目标同源：CLIP 的相似度在分布层面有效，对词序、否定、计数不敏感，"a dog chasing a cat" 与 "a cat chasing a dog" 的分数可能接近。此外分数的绝对值无统一语义，只能在同一模型、同一提示集内比较相对差异。

### 8.4 补充指标

生成模型的评估常需组合多个指标：精确率与召回率分别度量生成样本的保真度与对真实分布的覆盖（把两者都转成 k 近邻流形上的概率估计）；人类偏好评分度量感知质量；任务特定指标（如 OCR 准确率、目标检测 mAP）度量下游可用性。任何单一指标都不足以支撑结论，报告时应给出指标组合、样本量与置信区间，口径与 [[模型评估矩阵]] 一致。

## 关键直觉

> [!tip] 三类模型是同一个不可积分问题的三种回避方式
> 三者都在估计 $p_\theta(\mathbf{x})=\int p_\theta(\mathbf{x}\mid\mathbf{z})p(\mathbf{z})d\mathbf{z}$，差别只在如何处理这个积分：VAE 用变分分布 $q_\phi$ 把积分变成期望，Jensen 不等式给出下界，训练即最大化下界；GAN 绕开积分，用判别器间接比较两个分布的样本，最优判别器把目标化为 JSD；Diffusion 把一次难以建模的变换拆成 $T$ 次小变换，每步条件分布都是高斯，于是整个链的变分下界化为逐步的噪声回归。三种处理方式决定了三者在似然、稳定性、采样速度上的全部差异，第 5 节的对比表是这些差异的直接推论。

该表述与严格推导的对应关系是：VAE 的「变分」对应第 2 节的 Jensen 不等式与 KL 间隙；GAN 的「比较」对应第 3 节的最优判别器与 $-\log4+2\mathrm{JSD}$；Diffusion 的「拆分」对应第 4 节的马尔可夫链与逐步 KL。三处的共同点是：都用可计算的期望替代不可计算的积分。

## 例子与代码

以下两段代码使用 NumPy 2.x，各自可独立运行。第一段按闭式计算 VAE 的 ELBO 两项并展示 $\beta$ 加权的影响；第二段打印扩散前向过程的闭式均值与方差、反向后验系数，并演示 classifier-free guidance 的数值。

### 例 1：VAE 的 ELBO 计算

```python
# 依赖：numpy 2.x
import numpy as np

rng = np.random.default_rng(0)


def kl_to_standard_normal(mu, logvar):
    """KL(N(mu, sigma^2) || N(0,1))，逐样本闭式；sigma^2 = exp(logvar)。"""
    return 0.5 * np.sum(mu ** 2 + np.exp(logvar) - 1.0 - logvar, axis=1)


def bernoulli_log_likelihood(x, p):
    """p(x|z) 为各维独立 Bernoulli，返回对数似然之和。"""
    p = np.clip(p, 1e-7, 1.0 - 1e-7)
    return np.sum(x * np.log(p) + (1.0 - x) * np.log(1.0 - p), axis=1)


D, H, B = 8, 3, 4
x_obs = (rng.random((B, D)) > 0.5).astype(float)          # 二值观测
mu = rng.normal(size=(B, H))                              # 编码器均值
logvar = rng.normal(scale=0.5, size=(B, H))               # 编码器对数方差
p_dec = 1.0 / (1.0 + np.exp(-rng.normal(size=(B, D))))    # 解码器输出概率

rec = bernoulli_log_likelihood(x_obs, p_dec)
kl = kl_to_standard_normal(mu, logvar)
elbo = rec - kl
print("=== VAE 的 ELBO ===")
print("%6s %12s %10s %12s" % ("样本", "重构项", "KL 项", "ELBO"))
for b in range(B):
    print("%6d %12.4f %10.4f %12.4f" % (b, rec[b], kl[b], elbo[b]))
print("均值：重构 %.4f  KL %.4f  ELBO %.4f" % (rec.mean(), kl.mean(), elbo.mean()))

print()
print("=== beta 加权：损失 = -重构项 + beta * KL ===")
for beta in (0.0, 0.5, 1.0, 4.0):
    print("beta = %4.1f  loss = %.4f" % (beta, -rec.mean() + beta * kl.mean()))
```

输出如下。

```text
=== VAE 的 ELBO ===
    样本          重构项       KL 项         ELBO
     0      -5.7932     0.3644      -6.1576
     1      -5.4070     1.0443      -6.4512
     2      -6.0477     2.2989      -8.3467
     3      -7.2408     2.4821      -9.7229
均值：重构 -6.1222  KL 1.5474  ELBO -7.6696

=== beta 加权：损失 = -重构项 + beta * KL ===
beta =  0.0  loss = 6.1222
beta =  0.5  loss = 6.8959
beta =  1.0  loss = 7.6696
beta =  4.0  loss = 12.3119
```

`kl_to_standard_normal` 在做什么：按第 2.3 节的闭式计算 $\frac{1}{2}\sum_j(\mu_j^2+\sigma_j^2-1-\log\sigma_j^2)$，其中 $\sigma_j^2=\exp(\text{logvar}_j)$。为什么直接写闭式而不用蒙特卡洛估计：两个高斯之间的 KL 有解析解，闭式的方差为零，训练时不会引入额外的梯度噪声；若用采样估计，每步的 KL 项波动会叠加到重构项上，掩盖重构误差的变化。去掉 `-1-logvar` 两项会怎样：KL 退化为 $\frac{1}{2}\sum(\mu^2+\sigma^2)$，不再以零为最小值，模型被持续推向 $\sigma\to0$ 与 $\mu\to0$，后验坍缩为点估计，采样时无多样性。

`bernoulli_log_likelihood` 在做什么：按式 $\sum_i[x_i\log p_i+(1-x_i)\log(1-p_i)]$ 累加每个像素的对数概率。为什么先 `clip`：$p_i$ 由 sigmoid 输出，在极端 logit 下可能取到 0 或 1，$\log 0$ 会产生 $-\infty$，一步就把参数梯度变成 NaN。`clip` 到 $[10^{-7},1-10^{-7}]$ 使对数有界，代价是极端错误的重构被截断，梯度略被削弱。去掉 `clip` 后程序仍可能运行若干步，但一旦某个像素输出饱和就会崩溃，这类错误在小批量训练中不易复现。

三个数值可以核对。单个样本的重构项为负，因为它是 8 个概率的对数和，每个概率小于 1；KL 项非负，最小值在 $\mu=0,\sigma=1$ 处取到；ELBO 等于两者之差，因此必小于等于 0。均值行为 $\text{ELBO}=-6.1222-1.5474=-7.6696$，与输出一致。

$\beta$ 加权部分演示第 2.6 节的第一条与第三条成因：$\beta=0$ 时只剩重构项，编码器可以把每个样本压到互不重叠的后验上，重构最准但潜空间没有结构；$\beta$ 增大时 KL 项被放大，后验被压向先验，重构损失上升。输出中 $\beta=4$ 的损失为 12.31，比 $\beta=1$ 的 7.67 高出约 4.6，其中 $4\times1.5474-1\times1.5474=4.64$ 来自 KL 项权重，重构项不变（本段代码固定了编码器输出，只展示损失函数如何随 $\beta$ 变化，未重新训练）。

### 例 2：扩散前向过程与引导

```python
# 依赖：numpy 2.x
import numpy as np

print("=== 扩散前向过程的闭式边缘分布 ===")
T = 1000
betas = np.linspace(1e-4, 2e-2, T)      # 线性调度，beta_1=1e-4，beta_T=0.02
alphas = 1.0 - betas
abar = np.cumprod(alphas)               # 累积乘积 abar_t
print("%5s %12s %12s %12s %12s" % ("t", "abar_t", "sqrt(abar)", "1-abar", "SNR"))
for t in (1, 100, 250, 500, 750, 1000):
    a = abar[t - 1]                     # 下标从 0 开始，第 t 步对应 abar[t-1]
    print("%5d %12.6f %12.6f %12.6f %12.6f" % (t, a, np.sqrt(a), 1.0 - a, a / (1.0 - a)))

x0, eps = 1.0, 0.5
print()
print("x0 = 1.0, eps = 0.5 时 x_t = sqrt(abar)*x0 + sqrt(1-abar)*eps")
for t in (1, 100, 500, 1000):
    a = abar[t - 1]
    print("t = %4d  x_t = %8.4f" % (t, np.sqrt(a) * x0 + np.sqrt(1.0 - a) * eps))


def posterior_coeffs(t):
    """q(x_{t-1}|x_t,x0) 的均值系数与方差；t 从 1 开始。"""
    beta = betas[t - 1]
    a = alphas[t - 1]
    ab = abar[t - 1]
    ab_prev = abar[t - 2] if t > 1 else 1.0
    c_x0 = np.sqrt(ab_prev) * beta / (1.0 - ab)
    c_xt = np.sqrt(a) * (1.0 - ab_prev) / (1.0 - ab)
    var = beta * (1.0 - ab_prev) / (1.0 - ab)
    return c_x0, c_xt, var


print()
print("=== 反向后验 q(x_{t-1}|x_t,x0) 的系数 ===")
print("%5s %10s %10s %14s %12s %12s" % ("t", "c_x0", "c_xt", "c_x0+c_xt*sqrt(ab)", "sqrt(ab_prev)", "方差"))
for t in (1, 100, 500, 1000):
    c_x0, c_xt, var = posterior_coeffs(t)
    ab = abar[t - 1]
    ab_prev = abar[t - 2] if t > 1 else 1.0
    print("%5d %10.5f %10.5f %14.6f %12.6f %12.6f"
          % (t, c_x0, c_xt, c_x0 + c_xt * np.sqrt(ab), np.sqrt(ab_prev), var))

print()
print("=== classifier-free guidance：eps = (1+w)*eps_c - w*eps_u ===")
eps_c, eps_u = 0.8, -0.2
for w in (0.0, 1.0, 3.0, 7.5):
    print("w = %4.1f  eps = %6.3f" % (w, (1.0 + w) * eps_c - w * eps_u))
```

输出如下。

```text
=== 扩散前向过程的闭式边缘分布 ===
    t       abar_t   sqrt(abar)       1-abar          SNR
    1     0.999900     0.999950     0.000100  9999.000000
  100     0.897018     0.947110     0.102982     8.710449
  250     0.524085     0.723937     0.475915     1.101217
  500     0.078587     0.280334     0.921413     0.085290
  750     0.003351     0.057884     0.996649     0.003362
 1000     0.000040     0.006353     0.999960     0.000040

x0 = 1.0, eps = 0.5 时 x_t = sqrt(abar)*x0 + sqrt(1-abar)*eps
t =    1  x_t =   1.0049
t =  100  x_t =   1.1076
t =  500  x_t =   0.7603
t = 1000  x_t =   0.5063

=== 反向后验 q(x_{t-1}|x_t,x0) 的系数 ===
    t       c_x0       c_xt c_x0+c_xt*sqrt(ab) sqrt(ab_prev)           方差
    1    1.00000    0.00000       1.000000     1.000000     0.000000
  100    0.01908    0.98090       0.948093     0.948093     0.002035
  500    0.00307    0.99411       0.281752     0.281752     0.010031
 1000    0.00013    0.98995       0.006417     0.006417     0.020000

=== classifier-free guidance：eps = (1+w)*eps_c - w*eps_u ===
w =  0.0  eps =  0.800
w =  1.0  eps =  1.800
w =  3.0  eps =  3.800
w =  7.5  eps =  8.300
```

`np.cumprod(alphas)` 在做什么：按 $\bar\alpha_t=\prod_{s\le t}\alpha_s$ 一次算出全部时间步的累积系数。为什么用累积乘积而不是在循环中逐次相乘：扩散训练要按随机 $t$ 采样，需要 $O(1)$ 随机访问 $\bar\alpha_t$；预先算好数组后，每个批次的索引是常数时间，且避免浮点误差逐次累积。去掉预先计算、在训练循环内重算会怎样：每步多做一次长度 $T$ 的乘积，$T=1000$ 且批次大时这部分开销与网络前向可比。

`posterior_coeffs` 在做什么：按第 4.2 节的两个系数公式计算 $q(\mathbf{x}_{t-1}\mid\mathbf{x}_t,\mathbf{x}_0)$ 的均值权重与方差。为什么单独打印 `c_x0 + c_xt*sqrt(ab)` 与 `sqrt(ab_prev)` 两列：理论上二者应相等，这是对系数推导的数值校验。输出中每一行两列完全相同（如 $t=500$ 时均为 0.281752），说明公式实现无误。若把 $1-\bar\alpha_t$ 写成 $1-\bar\alpha_{t-1}$，校验列会偏离，但其余数值仍看似合理，这类错误只能靠这一个恒等式发现。

三组数值给出三个结论。

第一，前向过程的信噪比下降极快。$t=250$ 时 $\bar\alpha_t=0.524$，信号与噪声方差已接近相等；$t=500$ 时 $\bar\alpha_t=0.079$，样本中仅剩约 8% 的原始信号。这意味着生成过程的大部分时间步在重建低频结构，细节信息集中在最后约 250 步。

第二，样本轨迹非单调。$\mathbf{x}_0=1$、$\epsilon=0.5$ 时，$t=100$ 的样本值为 1.108，比原始值大，因为噪声项 $\sqrt{1-\bar\alpha_t}\,\epsilon$ 与信号项叠加；$t=1000$ 时降到 0.506，接近纯噪声的均值 0 加上该噪声实现。这说明单条轨迹的取值不能直接反映信号保留程度，只有分布层面的方差有意义。

第三，引导是线性外推。$w=0$ 时输出等于条件预测 0.8；$w=7.5$ 时为 8.3，是条件预测与无条件预测之差的 8.5 倍。数值本身没有上界，因为外推不受约束；采样时该值进入 $\mathbf{x}_{t-1}$ 的更新式后会被 $1/\sqrt{\alpha_t}$ 与 $\beta_t/\sqrt{1-\bar\alpha_t}$ 缩放，过大的偏差使下一步落在训练分布之外，对应第 4.5 节所说的过饱和与结构崩坏。

## 易错点

> [!warning] 六个可检验的错误
> 1. ELBO 符号写反。ELBO 是下界，训练应最大化它，等价于最小化负 ELBO；若写成「最小化 ELBO」或把 KL 项写成加号，模型会同时压低重构精度与后验方差。检验方式：在固定批次上计算 $-\text{ELBO}$，确认其随训练下降且始终不小于 $-\log p_\theta(\mathbf{x})$ 的估计。
> 2. KL 方向混淆。VAE 中使用 $\mathrm{KL}(q_\phi\|p)$，其 mode-covering 行为导致模糊；若改成 $\mathrm{KL}(p\|q)$，$q$ 会锁定单个峰，后验坍缩。检验方式：统计一批样本的 $\mathbf{z}$ 方差，若远小于 1 且重构误差骤升，说明方向或权重有误。
> 3. 扩散时间步索引错位。$\beta_1$ 对应第一步，$\bar\alpha_t$ 使用前 $t$ 项；Python 数组中第 $t$ 步对应下标 $t-1$，后验用到的是 $\bar\alpha_{t-1}$。检验方式：用本篇代码的恒等式 $c_{x_0}+c_{x_t}\sqrt{\bar\alpha_t}=\sqrt{\bar\alpha_{t-1}}$ 校验，错位时该式不成立。
> 4. guidance scale 一味调大。$w$ 增大提高条件一致性，但降低多样性并引入过饱和；$w$ 超过训练时条件分布覆盖的范围后，样本质量下降。检验方式：固定种子，扫描 $w\in\{0,1,3,7,15\}$，同时报告条件匹配指标与多样性指标（如生成样本的两两距离），取二者乘积的峰值。
> 5. 用不同样本量比较 FID。FID 的均值与协方差估计依赖 $N$，$N$ 越小 FID 系统性越高，不同 $N$ 的数值不可比。检验方式：对同一模型用 $N=10000$ 与 $N=50000$ 各算一次，若差异超过 10%，则跨论文比较无效。
> 6. 把 CLIP 相似度当作语义等价的证明。相似度高只说明在训练分布上配对方向接近，不保证属性绑定、计数、否定正确。检验方式：构造只交换属性或只改变否定的文本对，观察相似度差是否小于随机扰动带来的差。

## 关联笔记

- 前置：[[概率与统计]]，提供高斯分布的性质、期望的线性性与 KL 散度的定义，第 2 节的 ELBO、第 3 节的 JSD、第 4 节的后验推导均依赖这些运算。
- 前置：[[损失函数]]，给出交叉熵与均方误差的语义，第 2.4 节说明重构项在两种分布假设下分别退化为这两种损失。
- 后续：[[模型评估矩阵]]，接收第 8 节的 FID、IS、CLIPScore，并提供样本量与置信区间的口径，生成模型的评估报告应与该篇的框架一致。
- 对照：[[Embedding与向量检索]]，与本篇第 6 节共享 InfoNCE 与双塔结构，区别在于检索任务只要求同模态或跨模态的近邻排序，不要求生成。
- 对照：[[可解释性]]，提供探针与激活替换的方法，可用于检验多模态模型是否真的使用了图像信息而非文本先验。

## 达标检测

- [ ] 不看原文，写出 ELBO 并完成两步推导：Jensen 不等式形式与 KL 间隙恒等式。
- [ ] 手推高斯对角情形下 $\mathrm{KL}(\mathcal{N}(\boldsymbol{\mu},\operatorname{diag}\boldsymbol{\sigma}^2)\|\mathcal{N}(\mathbf{0},\mathbf{I}))$ 的闭式，并说明网络输出 $\log\sigma^2$ 的两个理由。
- [ ] 给定 $\beta_t$ 序列，手算 $\bar\alpha_3$，用归纳法写出 $q(\mathbf{x}_t\mid\mathbf{x}_0)$ 的均值与方差，并说明 DDPM 简化目标中丢弃系数的后果：哪些时间步的权重被压低，对样本的哪些频段影响更大。
- [ ] 写出最优判别器 $D^{*}$ 的推导（从逐点求导开始），并说明代入后为何得到 $-\log4+2\mathrm{JSD}$。
- [ ] 运行本篇第二段代码，把 $T$ 改为 100 并重设调度，记录 $\bar\alpha_{100}$ 与方差，解释与 $T=1000$ 的差异。
- [ ] 构造一个 CLIP 会失败的例子（属性交换或否定），说明失败原因并给出一种改进方案。
- [ ] 列出 FID 的三条局限，并设计一个控制样本量的对比实验，使两个模型的 FID 可比。

## 参考来源

- Kingma, Welling, "Auto-Encoding Variational Bayes", ICLR 2014, arXiv:1312.6114 —— 对应第 2 节的 ELBO 推导、重参数化技巧与 KL 闭式。
- Goodfellow et al., "Generative Adversarial Nets", NeurIPS 2014, arXiv:1406.2661 —— 对应第 3 节的极小极大目标、最优判别器与 JSD 结论。
- Arjovsky, Chintala, Bottou, "Wasserstein GAN", 2017, arXiv:1701.07875 —— 对应第 3.5 节的 Kantorovich-Rubinstein 对偶与 Lipschitz 约束。
- Ho, Jain, Abbeel, "Denoising Diffusion Probabilistic Models", NeurIPS 2020, arXiv:2006.11239 —— 对应第 4 节的前向闭式、后验系数与简化噪声目标；其后续工作 Ho, Salimans, "Classifier-Free Diffusion Guidance", arXiv:2207.12598 给出第 4.5 节的无分类器引导公式。
- Radford et al., "Learning Transferable Visual Models From Natural Language Supervision", ICML 2021, arXiv:2103.00020 —— 对应第 6 节的 InfoNCE 对称损失、温度参数与零样本分类。
- Goodfellow, Bengio, Courville, *Deep Learning*, MIT Press, 2016, 第 20 章 —— 对应第 1 节的生成模型分类与第 2、3 节的变分推断、对抗训练表述。
