w wyl123ly 的博客
MD

多模态与生成模型概览

51 KB 2026.10.18 原文件

多模态与生成模型概览

定义

生成建模(generative modeling)指从有限样本估计数据分布 ,并构造可采样、可计算密度的模型分布 的问题与方法集合。

多模态建模(multimodal modeling)指同时处理两种及以上模态(图像、文本、音频)的模型,其核心是把不同模态的表示映射到可比的空间,或把它们拼接为统一序列输入同一个解码器。

先固定全篇记号。

  • 数据分布 , 为一个样本(图像的全部像素或一段文本的 token 序列)。
  • 模型分布 ,由参数 确定,训练目标是使其接近 。
  • 潜变量(latent variable),未观测的低维变量,用于解释观测的高维结构。
  • 先验(prior),潜变量的边缘分布,VAE 中取标准正态 。
  • 似然(likelihood),给定潜变量时观测的条件分布,也称解码器或生成网络。
  • 真实后验(posterior),分母为不可积的归一化常数。
  • 变分后验(variational posterior),用参数 的分布近似真实后验,也称编码器。
  • 证据下界(evidence lower bound, ELBO), 的下界,见第 2 节。
  • KL 散度(Kullback-Leibler divergence),非负且不对称。
  • 重参数化(reparameterization)把采样写成确定性变换加独立噪声,使梯度可穿过随机节点。
  • 判别器(discriminator),估计样本来自真实数据的概率;生成器(generator) 把噪声映射为样本。
  • Jensen-Shannon 散度(JSD)。
  • 前向过程(forward process),逐步向数据加高斯噪声的马尔可夫链,。
  • 反向过程(reverse process),学习从噪声逐步恢复数据。
  • 噪声调度(noise schedule),每步注入的方差;记 ,。
  • 引导(guidance)在采样时把条件模型的预测向条件方向外推的操作,强度由标量 控制。
  • 对比学习(contrastive learning)把配对样本拉近、非配对样本推远的训练方式;InfoNCE 是其以负样本分类形式给出的损失。
  • 温度(temperature),相似度除以该系数后送入 softmax,控制分布的尖锐程度。

为什么重要

生成建模把三类看似不同的模型统一到同一个问题上:估计 。该问题在数学上有一个共同障碍,即高维积分的不可计算性:

除少数共轭情形外,该积分无闭式,且其数值计算随维数指数增长。三类模型给出三种不同的回避方式:VAE 用变分下界把积分转化为可优化的期望,GAN 放弃显式密度、改用判别器间接比较分布,Diffusion 把一次生成拆成 步小变换、每步的分布都可解析。理解这三种回避方式,比记住三套损失函数更重要:它决定了各类模型在似然、稳定性、采样速度上的差异,第 5 节的对比表由此推出,而不是经验罗列。

没有这套框架会产生三类具体误判。

第一,用同一套指标横向比较不同族的模型。显式密度模型的 可以直接比较,GAN 的隐式分布没有密度,只能借助 FID 一类代理指标,而这类指标有自己的偏差,第 8 节说明。

第二,把训练损失下降当作样本质量提升。VAE 的 ELBO 提高时重构更准,但样本仍可能模糊,因为 ELBO 的两项存在权衡;GAN 的判别器损失接近理论值时生成器梯度可能已经消失。

第三,把多模态对齐理解为语义等价。CLIP 训练出的共享空间在分布层面把图文配对拉近,不保证属性绑定、计数、空间关系在单样本上正确。

在本库中的位置如下。概率与统计 提供高斯分布、期望与 KL 散度的运算规则,本篇的 ELBO 与后验推导全部建立在其上;损失函数 提供交叉熵与均方误差的语义,本篇用它解释重构项;Embedding与向量检索 与本篇第 6 节共享对比学习目标,区别是后者用于检索、前者用于跨模态对齐;模型评估矩阵 接收第 8 节的生成指标,并给出样本量与置信区间的口径;可解释性 与本篇互为工具,机制分析用于核查多模态模型是否真的使用了图像信息。

原理与推导

1. 统一视角:三种回避不可积分的方式

三种生成模型对 的处理方式不同,先把它们放在同一张表里。

模型族对不可积分的处理可计算的量训练信号
VAE引入 ,用 Jensen 不等式得到下界ELBO, 的下界重构误差加 KL 正则
GAN不显式计算密度,用判别器比较两个分布的样本无密度,仅有采样判别器给出的分类信号
Diffusion把生成分解为 步,每步条件分布为高斯变分下界,逐步 KL 之和每步的噪声预测误差
flowchart TD
    A[估计数据分布] --> B[显式密度]
    A --> C[隐式分布]
    A --> D[逐步变换]
    B --> E[VAE 变分下界]
    C --> F[GAN 对抗训练]
    D --> G[Diffusion 去噪链]
    E --> H[编码器加解码器]
    F --> I[生成器加判别器]
    G --> J[噪声预测网络]

三者共享一个前提:训练数据只给出样本,不给出密度。因此所有目标函数都必须写成对样本的期望,可用小批量估计。差别在于期望内部的量是否可微、是否有方差。

2. VAE:从 ELBO 到重参数化

VAE 的训练细节可由三个对象推出:生成过程定义似然,变分后验定义近似,ELBO 把二者连成一个可优化的目标。以下按此顺序展开,并在末尾集中说明生成样本偏模糊的四个成因。

2.1 生成过程

VAE 假设数据由两步产生:先采潜变量 ,再由条件分布生成观测:

其中 为解码器网络输出。边缘分布 不可计算,因此无法直接最大化对数似然。

2.2 ELBO 的推导

引入任意分布 ,对 做恒等变形:

把积分写成对 的期望,再用 Jensen 不等式( 为凹函数):

右端拆开即得 ELBO 的常见形式:

下界的紧度由下式给出,其推导只用贝叶斯公式:

因此最大化 ELBO 同时做两件事:提高数据的似然下界,以及让变分后验接近真实后验。两项的梯度都通过 与 传播,这是 VAE 可端到端训练的原因。

2.3 KL 项的闭式

取 ,。两个对角高斯之间的 KL 有闭式:

推导要点:高斯 KL 的一般形式为 。代入 、,得 ,即上式。实现时网络输出 而非 ,原因有两点: 的约束无需额外处理,且 的取值范围是全体实数,数值上更稳定。

2.4 重构项

重构项依赖对 的选择,两种常见设定对应两种损失。

若取各维独立高斯、方差固定为 :

对 求期望并忽略常数,等价于均方误差。

若数据为二值(如二值化图像),取各维独立 Bernoulli,解码器输出概率 :

即负的二元交叉熵。两种设定的差别不只是尺度:高斯对应连续强度,Bernoulli 对应独立像素的生成假设,后者忽略像素间相关,是生成样本偏平滑的原因之一。

2.5 重参数化技巧

ELBO 中含期望 ,采样操作本身不可导,无法对 求梯度。重参数化把随机性移出参数:

其中 为逐元素乘。此时 是 的确定性函数, 的分布与参数无关,梯度可直接回传:

单样本的梯度是真实期望梯度的无偏估计,因为 的采样分布不含 。去掉重参数化会怎样:只能使用得分函数估计(REINFORCE),方差显著更大,且需要额外的基线项,训练效率下降一个量级。

2.6 生成模糊的成因

VAE 的样本常偏模糊,原因有四条,可分别检验。

其一,重构项在高斯假设下等价于均方误差,其最优解是条件均值 。当给定 时后验存在多个可能样本,均值落在它们的中间,不在任何一个峰上。

其二,解码器假设各维独立(对角协方差),无法表示像素间的相关性,边缘因此被平滑。

其三,KL 项迫使不同 的后验向先验靠拢、彼此重叠,解码器无法为每个样本分配专用区域,只能对相近的 输出折中结果。

其四, 的方向是 mode-covering: 若漏掉 的某个峰,KL 会给出很大的惩罚,因此 倾向于覆盖所有峰,代价是把质量摊薄。这与第 3 节 GAN 的 mode-seeking 行为相反,后者倾向锁定少数峰。

四条原因中,第一条与第三条是结构性的,提高容量无法消除;第二条与第四条可通过更强的解码器、更灵活的后验(如 Normalizing Flow 后验)缓解。

3. GAN:极小极大目标与最优判别器

GAN 的性质可由两步得到:先对判别器做逐点最优化,再把最优解代回目标函数。前者给出判别器的语义,后者给出生成器实际最小化的散度。

3.1 目标函数

GAN 定义二人零和博弈:

其中 为噪声先验(通常为标准正态), 输出标量概率。记生成分布为 ,则第二项可写为 。

3.2 最优判别器

固定 ,目标对 是逐点的:

被积函数形如 ,对 求导并令零:

因此最优判别器为

该式说明判别器在每一点估计的是「真实分布占两者之和的比例」。它不是分类准确率最优的硬判决,而是软概率意义下的最优。

3.3 代入后得到 Jensen-Shannon 散度

把 代入 ,并记 :

利用 ,两项分别变为 与 ,合并得

由于 且仅在 时取零,极小极大博弈的全局最优满足 ,此时 。这个推导给出三点推论。

第一,训练目标本质是最小化两个分布之间的 JSD,与最大似然无关,因此 GAN 不提供似然值。

第二,JSD 在支撑集不交叠时局部为常数 。当 与 的支撑几乎不相交(训练早期常见), 接近 0 或 1, 的梯度趋近于零,生成器得不到方向信息。这是训练不稳定的结构性原因,不是调参问题。

第三,理论最优 要求 可以是任意函数,而实际 是有限容量的网络,最优不可达;判别器过强时梯度消失,过弱时生成器缺少有效信号,二者的平衡点依赖容量与更新次数比。

3.4 实践中的两个修正

非饱和损失。原始目标中生成器最小化 ,当 很自信时该函数梯度饱和。实践中改为最小化 ,在训练早期梯度更大,但不再对应原来的极小极大博弈,理论上会引入模式覆盖的偏差。

模式崩溃(mode collapse)。生成器把多个 映射到同一输出,导致样本多样性缺失。从目标函数看,JSD 对「已覆盖的峰」与「未覆盖的峰」惩罚对称,若 已能区分真实与生成,遗漏某个峰不会额外增加 的损失,生成器因此缺少覆盖全部峰的激励。

3.5 WGAN 简述

Wasserstein GAN 用 Earth Mover 距离替代 JSD:

其中 为所有以两个分布为边缘的联合分布集合。直接计算该下确界不可行,Kantorovich-Rubinstein 对偶给出

其中 表示 为 1-Lipschitz 函数。用参数化网络 (称为 critic,不再输出概率)替代 ,训练目标为

Lipschitz 约束通过权重裁剪或梯度惩罚实现。WGAN 的关键改进是:即使两个分布的支撑不交叠, 仍随分布移动连续变化,梯度不会消失,因此训练更稳定;代价是每步需要多次更新 critic,计算量上升。

4. Diffusion:前向加噪与反向去噪

扩散模型的推导分四步:前向过程的闭式边缘分布、反向后验的闭式均值、变分下界的逐项化简、采样式的参数化。四步都只用到高斯分布的线性叠加与贝叶斯公式,不引入新的近似。

4.1 前向过程与闭式边缘分布

前向过程是固定(无参数)的马尔可夫链:

等价地写成采样式 ,。

由马尔可夫性与高斯线性叠加,任意时刻的边缘分布有闭式:

归纳证明:设 ,代入一步转移:

两个独立高斯项相加,方差为 ,均值为 ,归纳完成。该式是扩散模型可训练的关键:任意 的加噪样本可一步采样,无需展开 步链。

由此得到重参数化形式:

信噪比 单调下降。线性调度下 在 附近已降到 0.1 以下,意味着过半时间步的样本几乎不含原始信号;这是扩散采样慢而稳定的原因之一。

4.2 反向过程

反向过程用参数化高斯近似:

真实的反向条件分布 难以直接写出,但加上 后它可解析:由贝叶斯公式与马尔可夫性,

右端是两个关于 的高斯,乘积仍为高斯。按精度相加、均值加权计算:第一个因子的精度为 、均值为 ;第二个因子的精度为 、均值为 。总精度为

故后验方差与均值分别为

记两个系数为 与 ,它们满足恒等式 。该式说明:若把 取为无噪形式 ,后验均值退化为 ,与 的均值一致。该恒等式在实现中可作为系数推导的数值校验。

4.3 变分下界与简化训练目标

对 做与 VAE 相同的变分分解,得到

不含可训练参数,且当 足够小(约 量级)时 ,故近似为零。 是离散解码项,通常单独用一个小型解码器或直接取高斯。

核心是 :两项都是对角高斯,把 的方差取为 后二者方差相同,KL 有闭式,等于均值差的平方除以 。把后验均值中的 用 与 表示。由 得 ,代入 :

这一步是 DDPM 的核心:后验均值只依赖 与噪声 。若令模型按同样形式参数化:

则 化为带权重的噪声误差:

DDPM 丢弃该系数(在 较大时系数较小,会压低后期时间步的权重),得到简化目标:

其中 在 上均匀采样。该目标等价于去噪得分匹配: 近似 的缩放形式,因此噪声预测网络同时是一个得分估计器。

4.4 采样

从 开始,对 :

最后一步()取 。采样需要 次网络前向, 时比单步生成模型慢三个数量级。加速方法有两类:降低 (重设调度,如余弦调度);用确定性采样(DDIM)跳过部分步骤,把随机项系数设为零,用同一训练好的网络在子序列上采样。二者都在牺牲少量质量的前提下减少前向次数。

4.5 条件生成与 classifier-free guidance

条件生成要求采样结果符合条件 (文本、类别标签)。classifier-free guidance 不训练额外分类器,而是同时训练条件与无条件两个预测:训练时以概率 把 替换为空条件 ,同一网络学会 与 。采样时组合两者:

等价写法为 ,即沿「条件预测减无条件预测」的方向外推。由得分匹配关系,该方向近似 的缩放,因此 等价于分类器引导强度。

的取值有权衡。 退化为普通条件采样; 提高条件一致性,同时降低多样性,因为外推使样本向条件的高密度区集中; 过大时采样点落在训练分布之外,出现颜色过饱和、结构崩坏、重复纹理。 是超参数,其最优值随任务、、调度而变,没有普遍适用的数值。

5. 三类模型对比

维度VAEGANDiffusion
似然ELBO 可计算,为下界无显式密度ELBO 可计算,为下界
训练目标重构加 KL,单目标极小极大,双目标交替噪声回归,单目标
训练稳定性高,损失单调可用低,需平衡容量与更新比高,损失与质量相关性较好
采样速度1 次前向1 次前向 次前向(DDIM 可减少)
样本质量偏模糊单样本锐利高,DDPM 报告 CIFAR-10 上 FID 3.17
模式覆盖覆盖全,质量摊薄易模式崩溃覆盖较好
潜空间显式、连续、可插值噪声空间无结构中间时刻的 可部分解释
主要成本后验近似误差训练不稳定采样计算量大

两个结论需要强调。

似然高不等于样本好。VAE 的 ELBO 可以在测试集上精确比较,但它与感知质量的相关性弱:ELBO 高的模型可能生成更模糊的样本,因为下界对大尺度结构的拟合更敏感。GAN 与 Diffusion 的样本质量通常用 FID 一类代理指标,第 8 节说明其偏差。

训练稳定性来自目标函数的性质,不来自实现细节。VAE 与 Diffusion 的损失是样本上的回归或重构误差,梯度方差可控;GAN 的梯度依赖判别器当前状态,判别器与生成器的更新比例改变博弈的动态。这一点无法通过换优化器解决。

6. 多模态:CLIP 与对比学习

CLIP 的结构只有两个编码器与一个对称对比损失,但其性质需从相似度矩阵的归一化方向与 InfoNCE 的互信息下界两处读出。前者决定负样本如何使用,后者决定批次规模为何重要。

6.1 双塔结构与相似度矩阵

CLIP 使用两个独立编码器:图像编码器 与文本编码器 ,分别把图像与文本映射到同一维度的单位球面:

一个批次含 个配对 ,计算相似度矩阵 ,其中 为可学习的温度。训练目标是让对角元相对同行、同列的其他元素最大。

6.2 InfoNCE 与对称损失

把图像到文本的匹配视为 类分类,标签为 :

对称项把文本到图像的匹配同样视为 类分类:

最终损失取平均 。两项的区别在于归一化的方向:第一项在每行内比较,把同批次的其他文本作为负样本;第二项在每列内比较,把同批次的其他图像作为负样本。只用一项会浪费一半的负样本,且两个编码器的梯度尺度不平衡。

InfoNCE 与互信息。 是图像与文本互信息的对比下界:

推导思路:最优情况下正样本对的相似度应高于任意负样本对, 类分类的最优错误率给出互信息的下界, 越大下界越紧。该式说明增大批次等价于增加负样本,从而收紧下界;这也是 CLIP 使用大批次(数万)的原因之一,CLIP 原文使用约 4 亿图文对训练。

温度的作用。 越小,softmax 越尖锐,模型对困难负样本的惩罚越强; 过大则所有负样本权重接近,梯度信号弱。CLIP 把 作为可学习参数(以对数参数化保证为正),让模型自行调节。

6.3 零样本分类

训练完成后,分类不需要任何标注样本。对类别集合 ,把每个类名填入模板得到文本 ,计算

模板通常写作 "a photo of a {class}",并可对多个模板的文本嵌入取平均(prompt ensemble)以降低模板敏感性。零样本分类的准确率来自训练时学到的跨模态对应:图像编码器输出的方向与对应类名的文本方向接近。

6.4 对齐的性质与局限

CLIP 学到的是分布层面的对齐:在训练分布上,配对图文在共享空间的平均距离小于非配对。这一性质不等价于单样本上的语义等价,具体表现为四类失败。

  • 属性绑定:图像中有红色方块与蓝色圆,文本 "a red circle" 与 "a blue square" 的相似度可能同样高,因为模型对「颜色—形状」的绑定弱。
  • 计数:图像中物体数量与文本数词的对应在超过三个后迅速下降。
  • 空间关系:左右、上下、内部等关系需要位置编码与组合推理,对比目标不直接约束。
  • 分布偏移:训练分布外的图像(素描、医学影像、低分辨率)上对齐退化,零样本准确率显著下降。

因此 CLIP 适合做粗粒度检索与候选筛选,不适合做需要精确属性判断的最终判定;需要精确判断时应在其上训练任务特定的分类头。

7. 多模态大模型的结构

把视觉接入语言模型的主流结构由三部分组成:

flowchart LR
    A[图像] --> B[视觉编码器 ViT]
    B --> C[投影层或重采样器]
    C --> D[视觉 token]
    E[文本 token] --> F[拼接]
    D --> F
    F --> G[LLM 解码器]
    G --> H[文本输出]

视觉编码器通常是预训练的 ViT(常来自 CLIP),把图像切成 的块,输出 个 token 的序列。 的图像、 时 。

投影层把视觉 token 的维度映射到语言模型的嵌入维度。三种常见形式:单层线性映射;两层 MLP;重采样器(用固定数量的查询向量对视觉 token 做注意力池化,把 压缩到 )。线性与 MLP 保留全部 patch,序列长;重采样器压缩序列,但丢失细节,对 OCR 与细粒度定位不利。

语言模型把视觉 token 与文本 token 拼接后按自回归方式训练。因为 Transformer 的注意力代价随序列长度二次增长,576 个视觉 token 相当于把上下文长度扩展了近 600,这是多模态推理成本高的直接来源。

训练通常分两阶段。第一阶段冻结视觉编码器与语言模型,只训练投影层,目标是图文配对或图像描述,使视觉 token 落入语言模型已理解的嵌入区域。第二阶段解冻语言模型(有时也解冻编码器顶部若干层),用视觉指令数据做监督微调,使模型学会按指令引用图像内容。第一阶段不可省略:若直接联合训练,随机初始化的投影层会给语言模型输入分布外的向量,破坏其已有的语言能力。

8. 评估指标

生成模型的评估分三类:比较生成分布与真实分布的指标(FID)、只使用生成样本的指标(IS)、度量图文一致性的指标(CLIPScore)。三类指标回答不同问题,都有明确的适用边界与已知偏差。

8.1 FID

FID(Fréchet inception distance)用预训练 Inception 网络的特征层把图像映射为向量,对真实集与生成集分别拟合高斯 与 ,取两个高斯之间的 Fréchet 距离:

其中 为迹, 为矩阵平方根( 对称半正定,乘积的特征值非负)。两项分别度量均值偏移与协方差差异。

FID 的局限有四条。其一,依赖 Inception 的训练分布,该网络在 ImageNet 上训练,对其他数据集的特征不具判别力。其二,对样本量敏感: 与 的估计误差随 下降, 较小时 FID 系统性偏高,因此不同 的 FID 不可直接比较,惯例是统一使用 50000 个样本。其三,高斯假设忽略特征分布的多峰结构,两个多峰分布可以有相同均值与协方差。其四,不度量条件一致性:给定文本生成图像时,FID 只比较图像分布,不检查图像是否符合文本。

8.2 IS

Inception Score 不需要真实样本,只用生成样本与 Inception 分类器 :

其中 为生成样本的类别边缘分布。指标奖励两点:单个样本的类别分布尖锐(可识别),全体样本的类别分布平坦(多样)。

IS 的局限更严重。它不比较真实分布,因此可以生成与训练数据无关但「可识别且多样」的图像而获得高分;对 Inception 的对抗扰动可显著刷高分数;类别集合固定为 1000 类,无法评估其他数据集。实践中 IS 只作为辅助指标。

8.3 CLIPScore

CLIPScore 用 CLIP 的图像与文本编码器度量生成图像与提示词的匹配:

其局限来自与训练目标同源:CLIP 的相似度在分布层面有效,对词序、否定、计数不敏感,"a dog chasing a cat" 与 "a cat chasing a dog" 的分数可能接近。此外分数的绝对值无统一语义,只能在同一模型、同一提示集内比较相对差异。

8.4 补充指标

生成模型的评估常需组合多个指标:精确率与召回率分别度量生成样本的保真度与对真实分布的覆盖(把两者都转成 k 近邻流形上的概率估计);人类偏好评分度量感知质量;任务特定指标(如 OCR 准确率、目标检测 mAP)度量下游可用性。任何单一指标都不足以支撑结论,报告时应给出指标组合、样本量与置信区间,口径与 模型评估矩阵 一致。

关键直觉

三类模型是同一个不可积分问题的三种回避方式

三者都在估计 ,差别只在如何处理这个积分:VAE 用变分分布 把积分变成期望,Jensen 不等式给出下界,训练即最大化下界;GAN 绕开积分,用判别器间接比较两个分布的样本,最优判别器把目标化为 JSD;Diffusion 把一次难以建模的变换拆成 次小变换,每步条件分布都是高斯,于是整个链的变分下界化为逐步的噪声回归。三种处理方式决定了三者在似然、稳定性、采样速度上的全部差异,第 5 节的对比表是这些差异的直接推论。

该表述与严格推导的对应关系是:VAE 的「变分」对应第 2 节的 Jensen 不等式与 KL 间隙;GAN 的「比较」对应第 3 节的最优判别器与 ;Diffusion 的「拆分」对应第 4 节的马尔可夫链与逐步 KL。三处的共同点是:都用可计算的期望替代不可计算的积分。

例子与代码

以下两段代码使用 NumPy 2.x,各自可独立运行。第一段按闭式计算 VAE 的 ELBO 两项并展示 加权的影响;第二段打印扩散前向过程的闭式均值与方差、反向后验系数,并演示 classifier-free guidance 的数值。

例 1:VAE 的 ELBO 计算

# 依赖:numpy 2.x
import numpy as np

rng = np.random.default_rng(0)


def kl_to_standard_normal(mu, logvar):
    """KL(N(mu, sigma^2) || N(0,1)),逐样本闭式;sigma^2 = exp(logvar)。"""
    return 0.5 * np.sum(mu ** 2 + np.exp(logvar) - 1.0 - logvar, axis=1)


def bernoulli_log_likelihood(x, p):
    """p(x|z) 为各维独立 Bernoulli,返回对数似然之和。"""
    p = np.clip(p, 1e-7, 1.0 - 1e-7)
    return np.sum(x * np.log(p) + (1.0 - x) * np.log(1.0 - p), axis=1)


D, H, B = 8, 3, 4
x_obs = (rng.random((B, D)) > 0.5).astype(float)          # 二值观测
mu = rng.normal(size=(B, H))                              # 编码器均值
logvar = rng.normal(scale=0.5, size=(B, H))               # 编码器对数方差
p_dec = 1.0 / (1.0 + np.exp(-rng.normal(size=(B, D))))    # 解码器输出概率

rec = bernoulli_log_likelihood(x_obs, p_dec)
kl = kl_to_standard_normal(mu, logvar)
elbo = rec - kl
print("=== VAE 的 ELBO ===")
print("%6s %12s %10s %12s" % ("样本", "重构项", "KL 项", "ELBO"))
for b in range(B):
    print("%6d %12.4f %10.4f %12.4f" % (b, rec[b], kl[b], elbo[b]))
print("均值:重构 %.4f  KL %.4f  ELBO %.4f" % (rec.mean(), kl.mean(), elbo.mean()))

print()
print("=== beta 加权:损失 = -重构项 + beta * KL ===")
for beta in (0.0, 0.5, 1.0, 4.0):
    print("beta = %4.1f  loss = %.4f" % (beta, -rec.mean() + beta * kl.mean()))

输出如下。

=== VAE 的 ELBO ===
    样本          重构项       KL 项         ELBO
     0      -5.7932     0.3644      -6.1576
     1      -5.4070     1.0443      -6.4512
     2      -6.0477     2.2989      -8.3467
     3      -7.2408     2.4821      -9.7229
均值:重构 -6.1222  KL 1.5474  ELBO -7.6696

=== beta 加权:损失 = -重构项 + beta * KL ===
beta =  0.0  loss = 6.1222
beta =  0.5  loss = 6.8959
beta =  1.0  loss = 7.6696
beta =  4.0  loss = 12.3119

kl_to_standard_normal 在做什么:按第 2.3 节的闭式计算 ,其中 。为什么直接写闭式而不用蒙特卡洛估计:两个高斯之间的 KL 有解析解,闭式的方差为零,训练时不会引入额外的梯度噪声;若用采样估计,每步的 KL 项波动会叠加到重构项上,掩盖重构误差的变化。去掉 -1-logvar 两项会怎样:KL 退化为 ,不再以零为最小值,模型被持续推向 与 ,后验坍缩为点估计,采样时无多样性。

bernoulli_log_likelihood 在做什么:按式 累加每个像素的对数概率。为什么先 clip: 由 sigmoid 输出,在极端 logit 下可能取到 0 或 1, 会产生 ,一步就把参数梯度变成 NaN。clip 到 使对数有界,代价是极端错误的重构被截断,梯度略被削弱。去掉 clip 后程序仍可能运行若干步,但一旦某个像素输出饱和就会崩溃,这类错误在小批量训练中不易复现。

三个数值可以核对。单个样本的重构项为负,因为它是 8 个概率的对数和,每个概率小于 1;KL 项非负,最小值在 处取到;ELBO 等于两者之差,因此必小于等于 0。均值行为 ,与输出一致。

加权部分演示第 2.6 节的第一条与第三条成因: 时只剩重构项,编码器可以把每个样本压到互不重叠的后验上,重构最准但潜空间没有结构; 增大时 KL 项被放大,后验被压向先验,重构损失上升。输出中 的损失为 12.31,比 的 7.67 高出约 4.6,其中 来自 KL 项权重,重构项不变(本段代码固定了编码器输出,只展示损失函数如何随 变化,未重新训练)。

例 2:扩散前向过程与引导

# 依赖:numpy 2.x
import numpy as np

print("=== 扩散前向过程的闭式边缘分布 ===")
T = 1000
betas = np.linspace(1e-4, 2e-2, T)      # 线性调度,beta_1=1e-4,beta_T=0.02
alphas = 1.0 - betas
abar = np.cumprod(alphas)               # 累积乘积 abar_t
print("%5s %12s %12s %12s %12s" % ("t", "abar_t", "sqrt(abar)", "1-abar", "SNR"))
for t in (1, 100, 250, 500, 750, 1000):
    a = abar[t - 1]                     # 下标从 0 开始,第 t 步对应 abar[t-1]
    print("%5d %12.6f %12.6f %12.6f %12.6f" % (t, a, np.sqrt(a), 1.0 - a, a / (1.0 - a)))

x0, eps = 1.0, 0.5
print()
print("x0 = 1.0, eps = 0.5 时 x_t = sqrt(abar)*x0 + sqrt(1-abar)*eps")
for t in (1, 100, 500, 1000):
    a = abar[t - 1]
    print("t = %4d  x_t = %8.4f" % (t, np.sqrt(a) * x0 + np.sqrt(1.0 - a) * eps))


def posterior_coeffs(t):
    """q(x_{t-1}|x_t,x0) 的均值系数与方差;t 从 1 开始。"""
    beta = betas[t - 1]
    a = alphas[t - 1]
    ab = abar[t - 1]
    ab_prev = abar[t - 2] if t > 1 else 1.0
    c_x0 = np.sqrt(ab_prev) * beta / (1.0 - ab)
    c_xt = np.sqrt(a) * (1.0 - ab_prev) / (1.0 - ab)
    var = beta * (1.0 - ab_prev) / (1.0 - ab)
    return c_x0, c_xt, var


print()
print("=== 反向后验 q(x_{t-1}|x_t,x0) 的系数 ===")
print("%5s %10s %10s %14s %12s %12s" % ("t", "c_x0", "c_xt", "c_x0+c_xt*sqrt(ab)", "sqrt(ab_prev)", "方差"))
for t in (1, 100, 500, 1000):
    c_x0, c_xt, var = posterior_coeffs(t)
    ab = abar[t - 1]
    ab_prev = abar[t - 2] if t > 1 else 1.0
    print("%5d %10.5f %10.5f %14.6f %12.6f %12.6f"
          % (t, c_x0, c_xt, c_x0 + c_xt * np.sqrt(ab), np.sqrt(ab_prev), var))

print()
print("=== classifier-free guidance:eps = (1+w)*eps_c - w*eps_u ===")
eps_c, eps_u = 0.8, -0.2
for w in (0.0, 1.0, 3.0, 7.5):
    print("w = %4.1f  eps = %6.3f" % (w, (1.0 + w) * eps_c - w * eps_u))

输出如下。

=== 扩散前向过程的闭式边缘分布 ===
    t       abar_t   sqrt(abar)       1-abar          SNR
    1     0.999900     0.999950     0.000100  9999.000000
  100     0.897018     0.947110     0.102982     8.710449
  250     0.524085     0.723937     0.475915     1.101217
  500     0.078587     0.280334     0.921413     0.085290
  750     0.003351     0.057884     0.996649     0.003362
 1000     0.000040     0.006353     0.999960     0.000040

x0 = 1.0, eps = 0.5 时 x_t = sqrt(abar)*x0 + sqrt(1-abar)*eps
t =    1  x_t =   1.0049
t =  100  x_t =   1.1076
t =  500  x_t =   0.7603
t = 1000  x_t =   0.5063

=== 反向后验 q(x_{t-1}|x_t,x0) 的系数 ===
    t       c_x0       c_xt c_x0+c_xt*sqrt(ab) sqrt(ab_prev)           方差
    1    1.00000    0.00000       1.000000     1.000000     0.000000
  100    0.01908    0.98090       0.948093     0.948093     0.002035
  500    0.00307    0.99411       0.281752     0.281752     0.010031
 1000    0.00013    0.98995       0.006417     0.006417     0.020000

=== classifier-free guidance:eps = (1+w)*eps_c - w*eps_u ===
w =  0.0  eps =  0.800
w =  1.0  eps =  1.800
w =  3.0  eps =  3.800
w =  7.5  eps =  8.300

np.cumprod(alphas) 在做什么:按 一次算出全部时间步的累积系数。为什么用累积乘积而不是在循环中逐次相乘:扩散训练要按随机 采样,需要 随机访问 ;预先算好数组后,每个批次的索引是常数时间,且避免浮点误差逐次累积。去掉预先计算、在训练循环内重算会怎样:每步多做一次长度 的乘积, 且批次大时这部分开销与网络前向可比。

posterior_coeffs 在做什么:按第 4.2 节的两个系数公式计算 的均值权重与方差。为什么单独打印 c_x0 + c_xt*sqrt(ab) 与 sqrt(ab_prev) 两列:理论上二者应相等,这是对系数推导的数值校验。输出中每一行两列完全相同(如 时均为 0.281752),说明公式实现无误。若把 写成 ,校验列会偏离,但其余数值仍看似合理,这类错误只能靠这一个恒等式发现。

三组数值给出三个结论。

第一,前向过程的信噪比下降极快。 时 ,信号与噪声方差已接近相等; 时 ,样本中仅剩约 8% 的原始信号。这意味着生成过程的大部分时间步在重建低频结构,细节信息集中在最后约 250 步。

第二,样本轨迹非单调。、 时, 的样本值为 1.108,比原始值大,因为噪声项 与信号项叠加; 时降到 0.506,接近纯噪声的均值 0 加上该噪声实现。这说明单条轨迹的取值不能直接反映信号保留程度,只有分布层面的方差有意义。

第三,引导是线性外推。 时输出等于条件预测 0.8; 时为 8.3,是条件预测与无条件预测之差的 8.5 倍。数值本身没有上界,因为外推不受约束;采样时该值进入 的更新式后会被 与 缩放,过大的偏差使下一步落在训练分布之外,对应第 4.5 节所说的过饱和与结构崩坏。

易错点

六个可检验的错误

1. ELBO 符号写反。ELBO 是下界,训练应最大化它,等价于最小化负 ELBO;若写成「最小化 ELBO」或把 KL 项写成加号,模型会同时压低重构精度与后验方差。检验方式:在固定批次上计算 ,确认其随训练下降且始终不小于 的估计。

2. KL 方向混淆。VAE 中使用 ,其 mode-covering 行为导致模糊;若改成 , 会锁定单个峰,后验坍缩。检验方式:统计一批样本的 方差,若远小于 1 且重构误差骤升,说明方向或权重有误。

3. 扩散时间步索引错位。 对应第一步, 使用前 项;Python 数组中第 步对应下标 ,后验用到的是 。检验方式:用本篇代码的恒等式 校验,错位时该式不成立。

4. guidance scale 一味调大。 增大提高条件一致性,但降低多样性并引入过饱和; 超过训练时条件分布覆盖的范围后,样本质量下降。检验方式:固定种子,扫描 ,同时报告条件匹配指标与多样性指标(如生成样本的两两距离),取二者乘积的峰值。

5. 用不同样本量比较 FID。FID 的均值与协方差估计依赖 , 越小 FID 系统性越高,不同 的数值不可比。检验方式:对同一模型用 与 各算一次,若差异超过 10%,则跨论文比较无效。

6. 把 CLIP 相似度当作语义等价的证明。相似度高只说明在训练分布上配对方向接近,不保证属性绑定、计数、否定正确。检验方式:构造只交换属性或只改变否定的文本对,观察相似度差是否小于随机扰动带来的差。

关联笔记

  • 前置:概率与统计,提供高斯分布的性质、期望的线性性与 KL 散度的定义,第 2 节的 ELBO、第 3 节的 JSD、第 4 节的后验推导均依赖这些运算。
  • 前置:损失函数,给出交叉熵与均方误差的语义,第 2.4 节说明重构项在两种分布假设下分别退化为这两种损失。
  • 后续:模型评估矩阵,接收第 8 节的 FID、IS、CLIPScore,并提供样本量与置信区间的口径,生成模型的评估报告应与该篇的框架一致。
  • 对照:Embedding与向量检索,与本篇第 6 节共享 InfoNCE 与双塔结构,区别在于检索任务只要求同模态或跨模态的近邻排序,不要求生成。
  • 对照:可解释性,提供探针与激活替换的方法,可用于检验多模态模型是否真的使用了图像信息而非文本先验。

达标检测

  • [ ] 不看原文,写出 ELBO 并完成两步推导:Jensen 不等式形式与 KL 间隙恒等式。
  • [ ] 手推高斯对角情形下 的闭式,并说明网络输出 的两个理由。
  • [ ] 给定 序列,手算 ,用归纳法写出 的均值与方差,并说明 DDPM 简化目标中丢弃系数的后果:哪些时间步的权重被压低,对样本的哪些频段影响更大。
  • [ ] 写出最优判别器 的推导(从逐点求导开始),并说明代入后为何得到 。
  • [ ] 运行本篇第二段代码,把 改为 100 并重设调度,记录 与方差,解释与 的差异。
  • [ ] 构造一个 CLIP 会失败的例子(属性交换或否定),说明失败原因并给出一种改进方案。
  • [ ] 列出 FID 的三条局限,并设计一个控制样本量的对比实验,使两个模型的 FID 可比。

参考来源

  • Kingma, Welling, "Auto-Encoding Variational Bayes", ICLR 2014, arXiv:1312.6114 —— 对应第 2 节的 ELBO 推导、重参数化技巧与 KL 闭式。
  • Goodfellow et al., "Generative Adversarial Nets", NeurIPS 2014, arXiv:1406.2661 —— 对应第 3 节的极小极大目标、最优判别器与 JSD 结论。
  • Arjovsky, Chintala, Bottou, "Wasserstein GAN", 2017, arXiv:1701.07875 —— 对应第 3.5 节的 Kantorovich-Rubinstein 对偶与 Lipschitz 约束。
  • Ho, Jain, Abbeel, "Denoising Diffusion Probabilistic Models", NeurIPS 2020, arXiv:2006.11239 —— 对应第 4 节的前向闭式、后验系数与简化噪声目标;其后续工作 Ho, Salimans, "Classifier-Free Diffusion Guidance", arXiv:2207.12598 给出第 4.5 节的无分类器引导公式。
  • Radford et al., "Learning Transferable Visual Models From Natural Language Supervision", ICML 2021, arXiv:2103.00020 —— 对应第 6 节的 InfoNCE 对称损失、温度参数与零样本分类。
  • Goodfellow, Bengio, Courville, Deep Learning, MIT Press, 2016, 第 20 章 —— 对应第 1 节的生成模型分类与第 2、3 节的变分推断、对抗训练表述。