多模态与生成模型概览
定义
生成建模(generative modeling)指从有限样本估计数据分布 ,并构造可采样、可计算密度的模型分布 的问题与方法集合。
多模态建模(multimodal modeling)指同时处理两种及以上模态(图像、文本、音频)的模型,其核心是把不同模态的表示映射到可比的空间,或把它们拼接为统一序列输入同一个解码器。
先固定全篇记号。
- 数据分布 , 为一个样本(图像的全部像素或一段文本的 token 序列)。
- 模型分布 ,由参数 确定,训练目标是使其接近 。
- 潜变量(latent variable),未观测的低维变量,用于解释观测的高维结构。
- 先验(prior),潜变量的边缘分布,VAE 中取标准正态 。
- 似然(likelihood),给定潜变量时观测的条件分布,也称解码器或生成网络。
- 真实后验(posterior),分母为不可积的归一化常数。
- 变分后验(variational posterior),用参数 的分布近似真实后验,也称编码器。
- 证据下界(evidence lower bound, ELBO), 的下界,见第 2 节。
- KL 散度(Kullback-Leibler divergence),非负且不对称。
- 重参数化(reparameterization)把采样写成确定性变换加独立噪声,使梯度可穿过随机节点。
- 判别器(discriminator),估计样本来自真实数据的概率;生成器(generator) 把噪声映射为样本。
- Jensen-Shannon 散度(JSD)。
- 前向过程(forward process),逐步向数据加高斯噪声的马尔可夫链,。
- 反向过程(reverse process),学习从噪声逐步恢复数据。
- 噪声调度(noise schedule),每步注入的方差;记 ,。
- 引导(guidance)在采样时把条件模型的预测向条件方向外推的操作,强度由标量 控制。
- 对比学习(contrastive learning)把配对样本拉近、非配对样本推远的训练方式;InfoNCE 是其以负样本分类形式给出的损失。
- 温度(temperature),相似度除以该系数后送入 softmax,控制分布的尖锐程度。
为什么重要
生成建模把三类看似不同的模型统一到同一个问题上:估计 。该问题在数学上有一个共同障碍,即高维积分的不可计算性:
除少数共轭情形外,该积分无闭式,且其数值计算随维数指数增长。三类模型给出三种不同的回避方式:VAE 用变分下界把积分转化为可优化的期望,GAN 放弃显式密度、改用判别器间接比较分布,Diffusion 把一次生成拆成 步小变换、每步的分布都可解析。理解这三种回避方式,比记住三套损失函数更重要:它决定了各类模型在似然、稳定性、采样速度上的差异,第 5 节的对比表由此推出,而不是经验罗列。
没有这套框架会产生三类具体误判。
第一,用同一套指标横向比较不同族的模型。显式密度模型的 可以直接比较,GAN 的隐式分布没有密度,只能借助 FID 一类代理指标,而这类指标有自己的偏差,第 8 节说明。
第二,把训练损失下降当作样本质量提升。VAE 的 ELBO 提高时重构更准,但样本仍可能模糊,因为 ELBO 的两项存在权衡;GAN 的判别器损失接近理论值时生成器梯度可能已经消失。
第三,把多模态对齐理解为语义等价。CLIP 训练出的共享空间在分布层面把图文配对拉近,不保证属性绑定、计数、空间关系在单样本上正确。
在本库中的位置如下。概率与统计 提供高斯分布、期望与 KL 散度的运算规则,本篇的 ELBO 与后验推导全部建立在其上;损失函数 提供交叉熵与均方误差的语义,本篇用它解释重构项;Embedding与向量检索 与本篇第 6 节共享对比学习目标,区别是后者用于检索、前者用于跨模态对齐;模型评估矩阵 接收第 8 节的生成指标,并给出样本量与置信区间的口径;可解释性 与本篇互为工具,机制分析用于核查多模态模型是否真的使用了图像信息。
原理与推导
1. 统一视角:三种回避不可积分的方式
三种生成模型对 的处理方式不同,先把它们放在同一张表里。
| 模型族 | 对不可积分的处理 | 可计算的量 | 训练信号 |
|---|---|---|---|
| VAE | 引入 ,用 Jensen 不等式得到下界 | ELBO, 的下界 | 重构误差加 KL 正则 |
| GAN | 不显式计算密度,用判别器比较两个分布的样本 | 无密度,仅有采样 | 判别器给出的分类信号 |
| Diffusion | 把生成分解为 步,每步条件分布为高斯 | 变分下界,逐步 KL 之和 | 每步的噪声预测误差 |
flowchart TD
A[估计数据分布] --> B[显式密度]
A --> C[隐式分布]
A --> D[逐步变换]
B --> E[VAE 变分下界]
C --> F[GAN 对抗训练]
D --> G[Diffusion 去噪链]
E --> H[编码器加解码器]
F --> I[生成器加判别器]
G --> J[噪声预测网络]
三者共享一个前提:训练数据只给出样本,不给出密度。因此所有目标函数都必须写成对样本的期望,可用小批量估计。差别在于期望内部的量是否可微、是否有方差。
2. VAE:从 ELBO 到重参数化
VAE 的训练细节可由三个对象推出:生成过程定义似然,变分后验定义近似,ELBO 把二者连成一个可优化的目标。以下按此顺序展开,并在末尾集中说明生成样本偏模糊的四个成因。
2.1 生成过程
VAE 假设数据由两步产生:先采潜变量 ,再由条件分布生成观测:
其中 为解码器网络输出。边缘分布 不可计算,因此无法直接最大化对数似然。
2.2 ELBO 的推导
引入任意分布 ,对 做恒等变形:
把积分写成对 的期望,再用 Jensen 不等式( 为凹函数):
右端拆开即得 ELBO 的常见形式:
下界的紧度由下式给出,其推导只用贝叶斯公式:
因此最大化 ELBO 同时做两件事:提高数据的似然下界,以及让变分后验接近真实后验。两项的梯度都通过 与 传播,这是 VAE 可端到端训练的原因。
2.3 KL 项的闭式
取 ,。两个对角高斯之间的 KL 有闭式:
推导要点:高斯 KL 的一般形式为 。代入 、,得 ,即上式。实现时网络输出 而非 ,原因有两点: 的约束无需额外处理,且 的取值范围是全体实数,数值上更稳定。
2.4 重构项
重构项依赖对 的选择,两种常见设定对应两种损失。
若取各维独立高斯、方差固定为 :
对 求期望并忽略常数,等价于均方误差。
若数据为二值(如二值化图像),取各维独立 Bernoulli,解码器输出概率 :
即负的二元交叉熵。两种设定的差别不只是尺度:高斯对应连续强度,Bernoulli 对应独立像素的生成假设,后者忽略像素间相关,是生成样本偏平滑的原因之一。
2.5 重参数化技巧
ELBO 中含期望 ,采样操作本身不可导,无法对 求梯度。重参数化把随机性移出参数:
其中 为逐元素乘。此时 是 的确定性函数, 的分布与参数无关,梯度可直接回传:
单样本的梯度是真实期望梯度的无偏估计,因为 的采样分布不含 。去掉重参数化会怎样:只能使用得分函数估计(REINFORCE),方差显著更大,且需要额外的基线项,训练效率下降一个量级。
2.6 生成模糊的成因
VAE 的样本常偏模糊,原因有四条,可分别检验。
其一,重构项在高斯假设下等价于均方误差,其最优解是条件均值 。当给定 时后验存在多个可能样本,均值落在它们的中间,不在任何一个峰上。
其二,解码器假设各维独立(对角协方差),无法表示像素间的相关性,边缘因此被平滑。
其三,KL 项迫使不同 的后验向先验靠拢、彼此重叠,解码器无法为每个样本分配专用区域,只能对相近的 输出折中结果。
其四, 的方向是 mode-covering: 若漏掉 的某个峰,KL 会给出很大的惩罚,因此 倾向于覆盖所有峰,代价是把质量摊薄。这与第 3 节 GAN 的 mode-seeking 行为相反,后者倾向锁定少数峰。
四条原因中,第一条与第三条是结构性的,提高容量无法消除;第二条与第四条可通过更强的解码器、更灵活的后验(如 Normalizing Flow 后验)缓解。
3. GAN:极小极大目标与最优判别器
GAN 的性质可由两步得到:先对判别器做逐点最优化,再把最优解代回目标函数。前者给出判别器的语义,后者给出生成器实际最小化的散度。
3.1 目标函数
GAN 定义二人零和博弈:
其中 为噪声先验(通常为标准正态), 输出标量概率。记生成分布为 ,则第二项可写为 。
3.2 最优判别器
固定 ,目标对 是逐点的:
被积函数形如 ,对 求导并令零:
因此最优判别器为
该式说明判别器在每一点估计的是「真实分布占两者之和的比例」。它不是分类准确率最优的硬判决,而是软概率意义下的最优。
3.3 代入后得到 Jensen-Shannon 散度
把 代入 ,并记 :
利用 ,两项分别变为 与 ,合并得
由于 且仅在 时取零,极小极大博弈的全局最优满足 ,此时 。这个推导给出三点推论。
第一,训练目标本质是最小化两个分布之间的 JSD,与最大似然无关,因此 GAN 不提供似然值。
第二,JSD 在支撑集不交叠时局部为常数 。当 与 的支撑几乎不相交(训练早期常见), 接近 0 或 1, 的梯度趋近于零,生成器得不到方向信息。这是训练不稳定的结构性原因,不是调参问题。
第三,理论最优 要求 可以是任意函数,而实际 是有限容量的网络,最优不可达;判别器过强时梯度消失,过弱时生成器缺少有效信号,二者的平衡点依赖容量与更新次数比。
3.4 实践中的两个修正
非饱和损失。原始目标中生成器最小化 ,当 很自信时该函数梯度饱和。实践中改为最小化 ,在训练早期梯度更大,但不再对应原来的极小极大博弈,理论上会引入模式覆盖的偏差。
模式崩溃(mode collapse)。生成器把多个 映射到同一输出,导致样本多样性缺失。从目标函数看,JSD 对「已覆盖的峰」与「未覆盖的峰」惩罚对称,若 已能区分真实与生成,遗漏某个峰不会额外增加 的损失,生成器因此缺少覆盖全部峰的激励。
3.5 WGAN 简述
Wasserstein GAN 用 Earth Mover 距离替代 JSD:
其中 为所有以两个分布为边缘的联合分布集合。直接计算该下确界不可行,Kantorovich-Rubinstein 对偶给出
其中 表示 为 1-Lipschitz 函数。用参数化网络 (称为 critic,不再输出概率)替代 ,训练目标为
Lipschitz 约束通过权重裁剪或梯度惩罚实现。WGAN 的关键改进是:即使两个分布的支撑不交叠, 仍随分布移动连续变化,梯度不会消失,因此训练更稳定;代价是每步需要多次更新 critic,计算量上升。
4. Diffusion:前向加噪与反向去噪
扩散模型的推导分四步:前向过程的闭式边缘分布、反向后验的闭式均值、变分下界的逐项化简、采样式的参数化。四步都只用到高斯分布的线性叠加与贝叶斯公式,不引入新的近似。
4.1 前向过程与闭式边缘分布
前向过程是固定(无参数)的马尔可夫链:
等价地写成采样式 ,。
由马尔可夫性与高斯线性叠加,任意时刻的边缘分布有闭式:
归纳证明:设 ,代入一步转移:
两个独立高斯项相加,方差为 ,均值为 ,归纳完成。该式是扩散模型可训练的关键:任意 的加噪样本可一步采样,无需展开 步链。
由此得到重参数化形式:
信噪比 单调下降。线性调度下 在 附近已降到 0.1 以下,意味着过半时间步的样本几乎不含原始信号;这是扩散采样慢而稳定的原因之一。
4.2 反向过程
反向过程用参数化高斯近似:
真实的反向条件分布 难以直接写出,但加上 后它可解析:由贝叶斯公式与马尔可夫性,
右端是两个关于 的高斯,乘积仍为高斯。按精度相加、均值加权计算:第一个因子的精度为 、均值为 ;第二个因子的精度为 、均值为 。总精度为
故后验方差与均值分别为
记两个系数为 与 ,它们满足恒等式 。该式说明:若把 取为无噪形式 ,后验均值退化为 ,与 的均值一致。该恒等式在实现中可作为系数推导的数值校验。
4.3 变分下界与简化训练目标
对 做与 VAE 相同的变分分解,得到
不含可训练参数,且当 足够小(约 量级)时 ,故近似为零。 是离散解码项,通常单独用一个小型解码器或直接取高斯。
核心是 :两项都是对角高斯,把 的方差取为 后二者方差相同,KL 有闭式,等于均值差的平方除以 。把后验均值中的 用 与 表示。由 得 ,代入 :
这一步是 DDPM 的核心:后验均值只依赖 与噪声 。若令模型按同样形式参数化:
则 化为带权重的噪声误差:
DDPM 丢弃该系数(在 较大时系数较小,会压低后期时间步的权重),得到简化目标:
其中 在 上均匀采样。该目标等价于去噪得分匹配: 近似 的缩放形式,因此噪声预测网络同时是一个得分估计器。
4.4 采样
从 开始,对 :
最后一步()取 。采样需要 次网络前向, 时比单步生成模型慢三个数量级。加速方法有两类:降低 (重设调度,如余弦调度);用确定性采样(DDIM)跳过部分步骤,把随机项系数设为零,用同一训练好的网络在子序列上采样。二者都在牺牲少量质量的前提下减少前向次数。
4.5 条件生成与 classifier-free guidance
条件生成要求采样结果符合条件 (文本、类别标签)。classifier-free guidance 不训练额外分类器,而是同时训练条件与无条件两个预测:训练时以概率 把 替换为空条件 ,同一网络学会 与 。采样时组合两者:
等价写法为 ,即沿「条件预测减无条件预测」的方向外推。由得分匹配关系,该方向近似 的缩放,因此 等价于分类器引导强度。
的取值有权衡。 退化为普通条件采样; 提高条件一致性,同时降低多样性,因为外推使样本向条件的高密度区集中; 过大时采样点落在训练分布之外,出现颜色过饱和、结构崩坏、重复纹理。 是超参数,其最优值随任务、、调度而变,没有普遍适用的数值。
5. 三类模型对比
| 维度 | VAE | GAN | Diffusion |
|---|---|---|---|
| 似然 | ELBO 可计算,为下界 | 无显式密度 | ELBO 可计算,为下界 |
| 训练目标 | 重构加 KL,单目标 | 极小极大,双目标交替 | 噪声回归,单目标 |
| 训练稳定性 | 高,损失单调可用 | 低,需平衡容量与更新比 | 高,损失与质量相关性较好 |
| 采样速度 | 1 次前向 | 1 次前向 | 次前向(DDIM 可减少) |
| 样本质量 | 偏模糊 | 单样本锐利 | 高,DDPM 报告 CIFAR-10 上 FID 3.17 |
| 模式覆盖 | 覆盖全,质量摊薄 | 易模式崩溃 | 覆盖较好 |
| 潜空间 | 显式、连续、可插值 | 噪声空间无结构 | 中间时刻的 可部分解释 |
| 主要成本 | 后验近似误差 | 训练不稳定 | 采样计算量大 |
两个结论需要强调。
似然高不等于样本好。VAE 的 ELBO 可以在测试集上精确比较,但它与感知质量的相关性弱:ELBO 高的模型可能生成更模糊的样本,因为下界对大尺度结构的拟合更敏感。GAN 与 Diffusion 的样本质量通常用 FID 一类代理指标,第 8 节说明其偏差。
训练稳定性来自目标函数的性质,不来自实现细节。VAE 与 Diffusion 的损失是样本上的回归或重构误差,梯度方差可控;GAN 的梯度依赖判别器当前状态,判别器与生成器的更新比例改变博弈的动态。这一点无法通过换优化器解决。
6. 多模态:CLIP 与对比学习
CLIP 的结构只有两个编码器与一个对称对比损失,但其性质需从相似度矩阵的归一化方向与 InfoNCE 的互信息下界两处读出。前者决定负样本如何使用,后者决定批次规模为何重要。
6.1 双塔结构与相似度矩阵
CLIP 使用两个独立编码器:图像编码器 与文本编码器 ,分别把图像与文本映射到同一维度的单位球面:
一个批次含 个配对 ,计算相似度矩阵 ,其中 为可学习的温度。训练目标是让对角元相对同行、同列的其他元素最大。
6.2 InfoNCE 与对称损失
把图像到文本的匹配视为 类分类,标签为 :
对称项把文本到图像的匹配同样视为 类分类:
最终损失取平均 。两项的区别在于归一化的方向:第一项在每行内比较,把同批次的其他文本作为负样本;第二项在每列内比较,把同批次的其他图像作为负样本。只用一项会浪费一半的负样本,且两个编码器的梯度尺度不平衡。
InfoNCE 与互信息。 是图像与文本互信息的对比下界:
推导思路:最优情况下正样本对的相似度应高于任意负样本对, 类分类的最优错误率给出互信息的下界, 越大下界越紧。该式说明增大批次等价于增加负样本,从而收紧下界;这也是 CLIP 使用大批次(数万)的原因之一,CLIP 原文使用约 4 亿图文对训练。
温度的作用。 越小,softmax 越尖锐,模型对困难负样本的惩罚越强; 过大则所有负样本权重接近,梯度信号弱。CLIP 把 作为可学习参数(以对数参数化保证为正),让模型自行调节。
6.3 零样本分类
训练完成后,分类不需要任何标注样本。对类别集合 ,把每个类名填入模板得到文本 ,计算
模板通常写作 "a photo of a {class}",并可对多个模板的文本嵌入取平均(prompt ensemble)以降低模板敏感性。零样本分类的准确率来自训练时学到的跨模态对应:图像编码器输出的方向与对应类名的文本方向接近。
6.4 对齐的性质与局限
CLIP 学到的是分布层面的对齐:在训练分布上,配对图文在共享空间的平均距离小于非配对。这一性质不等价于单样本上的语义等价,具体表现为四类失败。
- 属性绑定:图像中有红色方块与蓝色圆,文本 "a red circle" 与 "a blue square" 的相似度可能同样高,因为模型对「颜色—形状」的绑定弱。
- 计数:图像中物体数量与文本数词的对应在超过三个后迅速下降。
- 空间关系:左右、上下、内部等关系需要位置编码与组合推理,对比目标不直接约束。
- 分布偏移:训练分布外的图像(素描、医学影像、低分辨率)上对齐退化,零样本准确率显著下降。
因此 CLIP 适合做粗粒度检索与候选筛选,不适合做需要精确属性判断的最终判定;需要精确判断时应在其上训练任务特定的分类头。
7. 多模态大模型的结构
把视觉接入语言模型的主流结构由三部分组成:
flowchart LR
A[图像] --> B[视觉编码器 ViT]
B --> C[投影层或重采样器]
C --> D[视觉 token]
E[文本 token] --> F[拼接]
D --> F
F --> G[LLM 解码器]
G --> H[文本输出]
视觉编码器通常是预训练的 ViT(常来自 CLIP),把图像切成 的块,输出 个 token 的序列。 的图像、 时 。
投影层把视觉 token 的维度映射到语言模型的嵌入维度。三种常见形式:单层线性映射;两层 MLP;重采样器(用固定数量的查询向量对视觉 token 做注意力池化,把 压缩到 )。线性与 MLP 保留全部 patch,序列长;重采样器压缩序列,但丢失细节,对 OCR 与细粒度定位不利。
语言模型把视觉 token 与文本 token 拼接后按自回归方式训练。因为 Transformer 的注意力代价随序列长度二次增长,576 个视觉 token 相当于把上下文长度扩展了近 600,这是多模态推理成本高的直接来源。
训练通常分两阶段。第一阶段冻结视觉编码器与语言模型,只训练投影层,目标是图文配对或图像描述,使视觉 token 落入语言模型已理解的嵌入区域。第二阶段解冻语言模型(有时也解冻编码器顶部若干层),用视觉指令数据做监督微调,使模型学会按指令引用图像内容。第一阶段不可省略:若直接联合训练,随机初始化的投影层会给语言模型输入分布外的向量,破坏其已有的语言能力。
8. 评估指标
生成模型的评估分三类:比较生成分布与真实分布的指标(FID)、只使用生成样本的指标(IS)、度量图文一致性的指标(CLIPScore)。三类指标回答不同问题,都有明确的适用边界与已知偏差。
8.1 FID
FID(Fréchet inception distance)用预训练 Inception 网络的特征层把图像映射为向量,对真实集与生成集分别拟合高斯 与 ,取两个高斯之间的 Fréchet 距离:
其中 为迹, 为矩阵平方根( 对称半正定,乘积的特征值非负)。两项分别度量均值偏移与协方差差异。
FID 的局限有四条。其一,依赖 Inception 的训练分布,该网络在 ImageNet 上训练,对其他数据集的特征不具判别力。其二,对样本量敏感: 与 的估计误差随 下降, 较小时 FID 系统性偏高,因此不同 的 FID 不可直接比较,惯例是统一使用 50000 个样本。其三,高斯假设忽略特征分布的多峰结构,两个多峰分布可以有相同均值与协方差。其四,不度量条件一致性:给定文本生成图像时,FID 只比较图像分布,不检查图像是否符合文本。
8.2 IS
Inception Score 不需要真实样本,只用生成样本与 Inception 分类器 :
其中 为生成样本的类别边缘分布。指标奖励两点:单个样本的类别分布尖锐(可识别),全体样本的类别分布平坦(多样)。
IS 的局限更严重。它不比较真实分布,因此可以生成与训练数据无关但「可识别且多样」的图像而获得高分;对 Inception 的对抗扰动可显著刷高分数;类别集合固定为 1000 类,无法评估其他数据集。实践中 IS 只作为辅助指标。
8.3 CLIPScore
CLIPScore 用 CLIP 的图像与文本编码器度量生成图像与提示词的匹配:
其局限来自与训练目标同源:CLIP 的相似度在分布层面有效,对词序、否定、计数不敏感,"a dog chasing a cat" 与 "a cat chasing a dog" 的分数可能接近。此外分数的绝对值无统一语义,只能在同一模型、同一提示集内比较相对差异。
8.4 补充指标
生成模型的评估常需组合多个指标:精确率与召回率分别度量生成样本的保真度与对真实分布的覆盖(把两者都转成 k 近邻流形上的概率估计);人类偏好评分度量感知质量;任务特定指标(如 OCR 准确率、目标检测 mAP)度量下游可用性。任何单一指标都不足以支撑结论,报告时应给出指标组合、样本量与置信区间,口径与 模型评估矩阵 一致。
关键直觉
三类模型是同一个不可积分问题的三种回避方式
三者都在估计 ,差别只在如何处理这个积分:VAE 用变分分布 把积分变成期望,Jensen 不等式给出下界,训练即最大化下界;GAN 绕开积分,用判别器间接比较两个分布的样本,最优判别器把目标化为 JSD;Diffusion 把一次难以建模的变换拆成 次小变换,每步条件分布都是高斯,于是整个链的变分下界化为逐步的噪声回归。三种处理方式决定了三者在似然、稳定性、采样速度上的全部差异,第 5 节的对比表是这些差异的直接推论。
该表述与严格推导的对应关系是:VAE 的「变分」对应第 2 节的 Jensen 不等式与 KL 间隙;GAN 的「比较」对应第 3 节的最优判别器与 ;Diffusion 的「拆分」对应第 4 节的马尔可夫链与逐步 KL。三处的共同点是:都用可计算的期望替代不可计算的积分。
例子与代码
以下两段代码使用 NumPy 2.x,各自可独立运行。第一段按闭式计算 VAE 的 ELBO 两项并展示 加权的影响;第二段打印扩散前向过程的闭式均值与方差、反向后验系数,并演示 classifier-free guidance 的数值。
例 1:VAE 的 ELBO 计算
# 依赖:numpy 2.x
import numpy as np
rng = np.random.default_rng(0)
def kl_to_standard_normal(mu, logvar):
"""KL(N(mu, sigma^2) || N(0,1)),逐样本闭式;sigma^2 = exp(logvar)。"""
return 0.5 * np.sum(mu ** 2 + np.exp(logvar) - 1.0 - logvar, axis=1)
def bernoulli_log_likelihood(x, p):
"""p(x|z) 为各维独立 Bernoulli,返回对数似然之和。"""
p = np.clip(p, 1e-7, 1.0 - 1e-7)
return np.sum(x * np.log(p) + (1.0 - x) * np.log(1.0 - p), axis=1)
D, H, B = 8, 3, 4
x_obs = (rng.random((B, D)) > 0.5).astype(float) # 二值观测
mu = rng.normal(size=(B, H)) # 编码器均值
logvar = rng.normal(scale=0.5, size=(B, H)) # 编码器对数方差
p_dec = 1.0 / (1.0 + np.exp(-rng.normal(size=(B, D)))) # 解码器输出概率
rec = bernoulli_log_likelihood(x_obs, p_dec)
kl = kl_to_standard_normal(mu, logvar)
elbo = rec - kl
print("=== VAE 的 ELBO ===")
print("%6s %12s %10s %12s" % ("样本", "重构项", "KL 项", "ELBO"))
for b in range(B):
print("%6d %12.4f %10.4f %12.4f" % (b, rec[b], kl[b], elbo[b]))
print("均值:重构 %.4f KL %.4f ELBO %.4f" % (rec.mean(), kl.mean(), elbo.mean()))
print()
print("=== beta 加权:损失 = -重构项 + beta * KL ===")
for beta in (0.0, 0.5, 1.0, 4.0):
print("beta = %4.1f loss = %.4f" % (beta, -rec.mean() + beta * kl.mean()))
输出如下。
=== VAE 的 ELBO ===
样本 重构项 KL 项 ELBO
0 -5.7932 0.3644 -6.1576
1 -5.4070 1.0443 -6.4512
2 -6.0477 2.2989 -8.3467
3 -7.2408 2.4821 -9.7229
均值:重构 -6.1222 KL 1.5474 ELBO -7.6696
=== beta 加权:损失 = -重构项 + beta * KL ===
beta = 0.0 loss = 6.1222
beta = 0.5 loss = 6.8959
beta = 1.0 loss = 7.6696
beta = 4.0 loss = 12.3119
kl_to_standard_normal 在做什么:按第 2.3 节的闭式计算 ,其中 。为什么直接写闭式而不用蒙特卡洛估计:两个高斯之间的 KL 有解析解,闭式的方差为零,训练时不会引入额外的梯度噪声;若用采样估计,每步的 KL 项波动会叠加到重构项上,掩盖重构误差的变化。去掉 -1-logvar 两项会怎样:KL 退化为 ,不再以零为最小值,模型被持续推向 与 ,后验坍缩为点估计,采样时无多样性。
bernoulli_log_likelihood 在做什么:按式 累加每个像素的对数概率。为什么先 clip: 由 sigmoid 输出,在极端 logit 下可能取到 0 或 1, 会产生 ,一步就把参数梯度变成 NaN。clip 到 使对数有界,代价是极端错误的重构被截断,梯度略被削弱。去掉 clip 后程序仍可能运行若干步,但一旦某个像素输出饱和就会崩溃,这类错误在小批量训练中不易复现。
三个数值可以核对。单个样本的重构项为负,因为它是 8 个概率的对数和,每个概率小于 1;KL 项非负,最小值在 处取到;ELBO 等于两者之差,因此必小于等于 0。均值行为 ,与输出一致。
加权部分演示第 2.6 节的第一条与第三条成因: 时只剩重构项,编码器可以把每个样本压到互不重叠的后验上,重构最准但潜空间没有结构; 增大时 KL 项被放大,后验被压向先验,重构损失上升。输出中 的损失为 12.31,比 的 7.67 高出约 4.6,其中 来自 KL 项权重,重构项不变(本段代码固定了编码器输出,只展示损失函数如何随 变化,未重新训练)。
例 2:扩散前向过程与引导
# 依赖:numpy 2.x
import numpy as np
print("=== 扩散前向过程的闭式边缘分布 ===")
T = 1000
betas = np.linspace(1e-4, 2e-2, T) # 线性调度,beta_1=1e-4,beta_T=0.02
alphas = 1.0 - betas
abar = np.cumprod(alphas) # 累积乘积 abar_t
print("%5s %12s %12s %12s %12s" % ("t", "abar_t", "sqrt(abar)", "1-abar", "SNR"))
for t in (1, 100, 250, 500, 750, 1000):
a = abar[t - 1] # 下标从 0 开始,第 t 步对应 abar[t-1]
print("%5d %12.6f %12.6f %12.6f %12.6f" % (t, a, np.sqrt(a), 1.0 - a, a / (1.0 - a)))
x0, eps = 1.0, 0.5
print()
print("x0 = 1.0, eps = 0.5 时 x_t = sqrt(abar)*x0 + sqrt(1-abar)*eps")
for t in (1, 100, 500, 1000):
a = abar[t - 1]
print("t = %4d x_t = %8.4f" % (t, np.sqrt(a) * x0 + np.sqrt(1.0 - a) * eps))
def posterior_coeffs(t):
"""q(x_{t-1}|x_t,x0) 的均值系数与方差;t 从 1 开始。"""
beta = betas[t - 1]
a = alphas[t - 1]
ab = abar[t - 1]
ab_prev = abar[t - 2] if t > 1 else 1.0
c_x0 = np.sqrt(ab_prev) * beta / (1.0 - ab)
c_xt = np.sqrt(a) * (1.0 - ab_prev) / (1.0 - ab)
var = beta * (1.0 - ab_prev) / (1.0 - ab)
return c_x0, c_xt, var
print()
print("=== 反向后验 q(x_{t-1}|x_t,x0) 的系数 ===")
print("%5s %10s %10s %14s %12s %12s" % ("t", "c_x0", "c_xt", "c_x0+c_xt*sqrt(ab)", "sqrt(ab_prev)", "方差"))
for t in (1, 100, 500, 1000):
c_x0, c_xt, var = posterior_coeffs(t)
ab = abar[t - 1]
ab_prev = abar[t - 2] if t > 1 else 1.0
print("%5d %10.5f %10.5f %14.6f %12.6f %12.6f"
% (t, c_x0, c_xt, c_x0 + c_xt * np.sqrt(ab), np.sqrt(ab_prev), var))
print()
print("=== classifier-free guidance:eps = (1+w)*eps_c - w*eps_u ===")
eps_c, eps_u = 0.8, -0.2
for w in (0.0, 1.0, 3.0, 7.5):
print("w = %4.1f eps = %6.3f" % (w, (1.0 + w) * eps_c - w * eps_u))
输出如下。
=== 扩散前向过程的闭式边缘分布 ===
t abar_t sqrt(abar) 1-abar SNR
1 0.999900 0.999950 0.000100 9999.000000
100 0.897018 0.947110 0.102982 8.710449
250 0.524085 0.723937 0.475915 1.101217
500 0.078587 0.280334 0.921413 0.085290
750 0.003351 0.057884 0.996649 0.003362
1000 0.000040 0.006353 0.999960 0.000040
x0 = 1.0, eps = 0.5 时 x_t = sqrt(abar)*x0 + sqrt(1-abar)*eps
t = 1 x_t = 1.0049
t = 100 x_t = 1.1076
t = 500 x_t = 0.7603
t = 1000 x_t = 0.5063
=== 反向后验 q(x_{t-1}|x_t,x0) 的系数 ===
t c_x0 c_xt c_x0+c_xt*sqrt(ab) sqrt(ab_prev) 方差
1 1.00000 0.00000 1.000000 1.000000 0.000000
100 0.01908 0.98090 0.948093 0.948093 0.002035
500 0.00307 0.99411 0.281752 0.281752 0.010031
1000 0.00013 0.98995 0.006417 0.006417 0.020000
=== classifier-free guidance:eps = (1+w)*eps_c - w*eps_u ===
w = 0.0 eps = 0.800
w = 1.0 eps = 1.800
w = 3.0 eps = 3.800
w = 7.5 eps = 8.300
np.cumprod(alphas) 在做什么:按 一次算出全部时间步的累积系数。为什么用累积乘积而不是在循环中逐次相乘:扩散训练要按随机 采样,需要 随机访问 ;预先算好数组后,每个批次的索引是常数时间,且避免浮点误差逐次累积。去掉预先计算、在训练循环内重算会怎样:每步多做一次长度 的乘积, 且批次大时这部分开销与网络前向可比。
posterior_coeffs 在做什么:按第 4.2 节的两个系数公式计算 的均值权重与方差。为什么单独打印 c_x0 + c_xt*sqrt(ab) 与 sqrt(ab_prev) 两列:理论上二者应相等,这是对系数推导的数值校验。输出中每一行两列完全相同(如 时均为 0.281752),说明公式实现无误。若把 写成 ,校验列会偏离,但其余数值仍看似合理,这类错误只能靠这一个恒等式发现。
三组数值给出三个结论。
第一,前向过程的信噪比下降极快。 时 ,信号与噪声方差已接近相等; 时 ,样本中仅剩约 8% 的原始信号。这意味着生成过程的大部分时间步在重建低频结构,细节信息集中在最后约 250 步。
第二,样本轨迹非单调。、 时, 的样本值为 1.108,比原始值大,因为噪声项 与信号项叠加; 时降到 0.506,接近纯噪声的均值 0 加上该噪声实现。这说明单条轨迹的取值不能直接反映信号保留程度,只有分布层面的方差有意义。
第三,引导是线性外推。 时输出等于条件预测 0.8; 时为 8.3,是条件预测与无条件预测之差的 8.5 倍。数值本身没有上界,因为外推不受约束;采样时该值进入 的更新式后会被 与 缩放,过大的偏差使下一步落在训练分布之外,对应第 4.5 节所说的过饱和与结构崩坏。
易错点
六个可检验的错误
1. ELBO 符号写反。ELBO 是下界,训练应最大化它,等价于最小化负 ELBO;若写成「最小化 ELBO」或把 KL 项写成加号,模型会同时压低重构精度与后验方差。检验方式:在固定批次上计算 ,确认其随训练下降且始终不小于 的估计。
2. KL 方向混淆。VAE 中使用 ,其 mode-covering 行为导致模糊;若改成 , 会锁定单个峰,后验坍缩。检验方式:统计一批样本的 方差,若远小于 1 且重构误差骤升,说明方向或权重有误。
3. 扩散时间步索引错位。 对应第一步, 使用前 项;Python 数组中第 步对应下标 ,后验用到的是 。检验方式:用本篇代码的恒等式 校验,错位时该式不成立。
4. guidance scale 一味调大。 增大提高条件一致性,但降低多样性并引入过饱和; 超过训练时条件分布覆盖的范围后,样本质量下降。检验方式:固定种子,扫描 ,同时报告条件匹配指标与多样性指标(如生成样本的两两距离),取二者乘积的峰值。
5. 用不同样本量比较 FID。FID 的均值与协方差估计依赖 , 越小 FID 系统性越高,不同 的数值不可比。检验方式:对同一模型用 与 各算一次,若差异超过 10%,则跨论文比较无效。
6. 把 CLIP 相似度当作语义等价的证明。相似度高只说明在训练分布上配对方向接近,不保证属性绑定、计数、否定正确。检验方式:构造只交换属性或只改变否定的文本对,观察相似度差是否小于随机扰动带来的差。
关联笔记
- 前置:概率与统计,提供高斯分布的性质、期望的线性性与 KL 散度的定义,第 2 节的 ELBO、第 3 节的 JSD、第 4 节的后验推导均依赖这些运算。
- 前置:损失函数,给出交叉熵与均方误差的语义,第 2.4 节说明重构项在两种分布假设下分别退化为这两种损失。
- 后续:模型评估矩阵,接收第 8 节的 FID、IS、CLIPScore,并提供样本量与置信区间的口径,生成模型的评估报告应与该篇的框架一致。
- 对照:Embedding与向量检索,与本篇第 6 节共享 InfoNCE 与双塔结构,区别在于检索任务只要求同模态或跨模态的近邻排序,不要求生成。
- 对照:可解释性,提供探针与激活替换的方法,可用于检验多模态模型是否真的使用了图像信息而非文本先验。
达标检测
- [ ] 不看原文,写出 ELBO 并完成两步推导:Jensen 不等式形式与 KL 间隙恒等式。
- [ ] 手推高斯对角情形下 的闭式,并说明网络输出 的两个理由。
- [ ] 给定 序列,手算 ,用归纳法写出 的均值与方差,并说明 DDPM 简化目标中丢弃系数的后果:哪些时间步的权重被压低,对样本的哪些频段影响更大。
- [ ] 写出最优判别器 的推导(从逐点求导开始),并说明代入后为何得到 。
- [ ] 运行本篇第二段代码,把 改为 100 并重设调度,记录 与方差,解释与 的差异。
- [ ] 构造一个 CLIP 会失败的例子(属性交换或否定),说明失败原因并给出一种改进方案。
- [ ] 列出 FID 的三条局限,并设计一个控制样本量的对比实验,使两个模型的 FID 可比。
参考来源
- Kingma, Welling, "Auto-Encoding Variational Bayes", ICLR 2014, arXiv:1312.6114 —— 对应第 2 节的 ELBO 推导、重参数化技巧与 KL 闭式。
- Goodfellow et al., "Generative Adversarial Nets", NeurIPS 2014, arXiv:1406.2661 —— 对应第 3 节的极小极大目标、最优判别器与 JSD 结论。
- Arjovsky, Chintala, Bottou, "Wasserstein GAN", 2017, arXiv:1701.07875 —— 对应第 3.5 节的 Kantorovich-Rubinstein 对偶与 Lipschitz 约束。
- Ho, Jain, Abbeel, "Denoising Diffusion Probabilistic Models", NeurIPS 2020, arXiv:2006.11239 —— 对应第 4 节的前向闭式、后验系数与简化噪声目标;其后续工作 Ho, Salimans, "Classifier-Free Diffusion Guidance", arXiv:2207.12598 给出第 4.5 节的无分类器引导公式。
- Radford et al., "Learning Transferable Visual Models From Natural Language Supervision", ICML 2021, arXiv:2103.00020 —— 对应第 6 节的 InfoNCE 对称损失、温度参数与零样本分类。
- Goodfellow, Bengio, Courville, Deep Learning, MIT Press, 2016, 第 20 章 —— 对应第 1 节的生成模型分类与第 2、3 节的变分推断、对抗训练表述。