损失函数
定义
损失函数(loss function)是把单个样本的模型输出与真实标签映射为实数的函数 ,它规定参数估计的优劣次序;风险(risk)是该函数在数据分布上的期望,训练的目标是最小化风险。
逐项定义本篇使用的符号:
- :输入空间, 为特征维数。
- :标签空间。回归时 ; 类互斥分类时 ;多标签分类时 。
- : 上的数据分布; 表示一个样本。
- :参数为 的模型, 为参数个数。
- :logits,即未经归一化的实数得分; 为其第 个分量。
- :类别概率向量, 为概率单纯形; 为其第 个分量。
- :二分类标签;:回归目标;:one-hot 标签,正确类别位置为 ,其余为 。
- :训练样本数;:批大小;:一个批的索引集。
- :风险;:经验风险;:单样本损失。
- :logistic 函数;:标准正态密度;:标准正态分布函数。
- : 维全 向量;:均匀分布向量,。
- :标签平滑系数;:focal loss 的聚焦参数;:温度。
- :熵;:交叉熵;:KL 散度。
术语:
- 风险最小化(risk minimization):在假设类 中选取使 最小的参数。
- 经验风险最小化(empirical risk minimization, ERM):用训练集上的平均损失 代替 。
- 代理损失(surrogate loss):为替代不可微或难优化的目标(例如 0-1 损失)而最小化的可微函数。
- 负对数似然(negative log-likelihood, NLL):,是概率模型下的标准损失。
- 校准(calibration):预测概率与经验频率一致的性质;若模型对预测为 的样本集合,其正类比例约为 ,则称该模型在该集合上校准。
为什么重要
- 训练需要一个标量目标。梯度下降要求存在可微函数 给出参数之间的全序;只有模型输出而没有损失时,「哪个参数更好」没有定义,反向传播详解 中的链式法则也缺少起点。
- 损失的选择等价于对数据生成过程做出分布假设。平方损失对应高斯噪声下的最大似然,二元交叉熵对应伯努利似然,多分类交叉熵对应类别分布;换损失就是换噪声模型,得到的估计量从条件均值变为条件中位数或条件众数。
- 可微性决定优化能否进行。0-1 损失不连续、不可微,其最小化是组合优化问题;训练实际最小化的是代理损失,代理与真实指标之间的差距是评估、阈值选择与校准问题的来源,相关讨论见 模型评估与交叉验证。
- 损失的梯度尺度决定优化器的超参数。多分类交叉熵对 logits 的梯度为 ,每个分量绝对值不超过 ;平方损失经 sigmoid 输出后梯度含因子 ,预测概率越接近 或 反而越小。学习率、梯度裁剪与混合精度的数值范围都依赖这一尺度,见 优化器与学习率。
- 数据层面的修正通过损失实现。类别加权改变有效先验,标签平滑限制 logit 间距,focal loss 压低易分样本的梯度;这些手段都直接改写每个样本对参数更新的贡献。
- 在全书中的位置:前置为 概率与统计(最大似然、熵与 KL 散度)与 逻辑回归(二元交叉熵的原型);本篇的 是 反向传播详解 的输入;后续 优化器与学习率 消费梯度尺度,正则化与调参 讨论 L2 正则与损失中正则项的关系,Embedding与向量检索 使用 InfoNCE,预训练-微调-对齐pipeline 使用语言建模交叉熵。
- 对应能力目标:懂原理对应「写出每种损失的概率解释与梯度」;能复现对应「手算小批量损失并用有限差分验证解析梯度」;会评估对应「解释损失下降而指标不升的原因,并按指标选择模型」。
原理与推导
1. 风险最小化与代理损失
风险与经验风险定义为
训练求解 ,其中 为正则项, 为其系数。误差可分解为两部分:近似误差来自假设类不包含贝叶斯最优函数,估计误差来自有限样本下经验风险对风险的偏离。损失函数同时决定这两部分:它定义什么是「最优」,也决定经验风险估计的方差。
损失不是中性的评价工具,它定义目标泛函。在函数类不受限制时:
- 平方损失的最优预测为条件均值 。
- 绝对损失的最优预测为条件中位数。
- 0-1 损失的最优预测为条件众数。
三者一般不同。当标签分布偏斜或存在重尾噪声时,选择平方损失还是绝对损失会得到不同的估计量,这不是实现细节,而是统计目标的变化。
0-1 损失定义为
它对预测只区分对错,不区分置信度;不连续、不可微,且其经验最小化在一般假设类是 NP 难的。因此训练使用代理损失。二分类中令间隔 ,,两个常用代理为
hinge 是 0-1 损失的逐点上界:当 时 ,当 时 。logistic 不是逐点上界( 时其值约 ),但它是凸的且在分类意义下校准:最小化 logistic 损失的总体解给出的决策与最小化 0-1 损失的贝叶斯决策一致。在假设类足够丰富、经验风险一致收敛的条件下,分类校准性保证代理损失的经验最小化器在样本量趋于无穷时达到贝叶斯风险,这是使用代理损失的理论依据。
正则项 与损失相加构成最终目标。L2 正则 等价于高斯先验下的最大后验估计,其梯度为 ,在 正则化与调参 中与权重衰减一起讨论。
2. MSE 与高斯噪声下的最大似然
设目标由确定性函数加独立高斯噪声生成:
给定 时 的条件密度为
对 个独立样本取负对数似然:
第一项与 无关。第二项是残差平方和除以 ,因此
即均方误差最小化与高斯噪声下的最大似然给出同一参数。梯度为
最大似然版本的梯度为 ,与按样本平均的 MSE 梯度相差因子 。该因子对所有参数相同,可被学习率吸收,因此不影响驻点,但会改变梯度裁剪阈值、权重衰减相对强度与混合精度的数值范围。
三个直接推论:
- 高斯假设下,MSE 的总体最优解是条件均值。若噪声服从拉普拉斯分布,负对数似然正比于绝对残差:
其中 为拉普拉斯尺度参数。此时最优解为条件中位数,梯度为符号函数(除以 ),对异常值稳健,但在残差为零处不可微。
- 若噪声方差依赖输入,即 ,等权 MSE 不再是最大似然;正确的负对数似然对每个样本加权 。这是加权损失与异方差建模的来源。
- 对线性模型 ,MSE 的 Hessian 为 ,条件数等于特征协方差矩阵的条件数。特征尺度差异大时,梯度下降的收敛速度受该条件数控制,见 优化算法-梯度下降与Adam。
3. 熵、交叉熵与 KL 散度
对定义在 个类别上的分布 ,且 :
三者满足恒等式
证明只需展开 KL 定义:
KL 散度非负,等号当且仅当 几乎处处成立。它不对称,也不满足三角不等式,因此不是距离。交叉熵不小于熵,差值即 KL 散度。
设训练集的标签经验分布为 ,模型分布为 。最小化 时, 与 无关,故
而最小化 KL 等价于最大化似然。对 one-hot 标签, 把全部质量放在真实类别上,交叉熵退化为
这就是多分类交叉熵与负对数似然是同一个量的原因。
语言模型用困惑度(perplexity)汇总平均交叉熵:
它等于平均负对数似然的指数,可解释为模型在每一步的有效候选数。PPL 与交叉熵单调对应,报告其一即可。
KL 散度的方向有实际后果。前向 KL 在 而 时趋于无穷,迫使 覆盖数据支撑,称为质量覆盖;反向 KL 在 而 时受重罚,倾向于把 集中在单个模式,称为模式寻求。变分推断与蒸馏中的温度、正则项选择与这一区别有关。
需要区分交叉熵与 KL 的适用条件。当 固定时二者只差常数,梯度相同;当 随参数变化时(标签平滑、知识蒸馏、自训练), 也依赖参数,最小化交叉熵与最小化 KL 不再等价。这一区别在 概率与统计 中已从散度定义角度说明。
4. 二分类交叉熵
设 ,。伯努利似然为
负对数似然即二元交叉熵:
利用 与 ,得数值稳定的等价形式
其中 。对 求导:
结果在 内,且关于 是凸的(二阶导数为 )。对单层 logistic 模型,损失关于 也是凸的;但对多层网络,损失关于浅层参数一般不是凸的,因为 sigmoid 复合了这些参数的非线性变换。
两种形式在数学上相同,在浮点上不同。直接计算 时, 为大负数会使 下溢为 ,取对数得到 ; 形式对大 稳定。PyTorch 的 nn.BCEWithLogitsLoss 接受 logits,内部按第二种形式计算;若先做 sigmoid 再传给 nn.BCELoss,就放弃了这个稳定性。
带类别权重的版本为
其梯度为 。权重 放大正类的梯度,等价于提高正类的有效先验;它同时改变最优截距,因此使用加权损失后必须在验证集上重新选择分类阈值。
5. 多分类 softmax 交叉熵
softmax 把 logits 映射为概率:
对 one-hot 标签 ,交叉熵为
其中 是真实类别对应的 logit。推导:由 ,代入 得
对 求导,第一项给出 ,第二项中 的导数为 ,故
完整的 softmax 雅可比为 ,显式构造需要 时间与空间;与交叉熵组合后梯度化为一次减法,代价 。框架把 softmax 与交叉熵融合为一个算子,原因即在此,组合梯度的逐项推导见 反向传播详解。
该损失有四条性质:
- 平移不变性。对任意常数 ,,因为 softmax 不变。logits 只在差一个常数的意义下可辨识;权重衰减通过惩罚参数范数打破这一冗余。
- 非负且可达零。,等号当且仅当 。有限 logits 下损失严格为正。
- 梯度有界。 与 都在概率单纯形内,故 ,不随 增长。
- 对错误但高置信度的预测不饱和。若真实类别 的概率 ,损失趋于无穷,但梯度分量 ,并未消失。
第 4 条是与「MSE 加 sigmoid」的关键差异。对单输出二分类,若损失为 ,则
当 而 (完全错误且高置信度的预测)时,梯度约为 ,趋于零;交叉熵的梯度约为 。因此用 MSE 训练分类头会让高置信度错误的样本几乎不产生修正信号,训练后期停滞。
对软标签(,如标签平滑或蒸馏目标),梯度仍为 ,因为
这一性质使交叉熵可以直接用于蒸馏,不需要改写梯度。
6. softmax 的数值稳定实现
直接计算 有两个失效区间。float64 下 时 溢出为 ,若同时分母也为 ,比值为 NaN; 时下溢为 ,若真实类别的概率下溢,。
稳定实现先减去每行的最大值 :
正确性来自 softmax 的平移不变性:
减去最大值后,所有指数不超过 ,每个 ,分母在 内,不会溢出;最小项可能下溢为零,但对数和由最大项主导, 仍然有限。于是
这就是 log-sum-exp(LSE)形式,PyTorch 的 F.cross_entropy、F.log_softmax 与 F.nll_loss 都按该形式实现。若先算 再取 , 一旦下溢就得到 ,反向传播中 的导数 与 的导数相乘会出现 ,梯度变为 NaN。
温度参数 把 logits 缩放为 :
使分布更尖锐, 使其更平坦。交叉熵对原始 logits 的梯度变为 ,因此温度同时改变概率与梯度尺度;蒸馏中教师与学生的温度必须一致,采样中的温度不属于损失。
7. Hinge 损失与间隔
二分类中令 ,模型输出得分 ,间隔(margin)为 。Hinge 损失为
当 时损失为零,模型不仅分类正确,而且有至少 的间隔;当 时损失随间隔线性增长。其(次)梯度为
在 处左导数为 、右导数为 ,次梯度区间为 ,实现通常取 。
四条性质:
- 凸且分段线性;在 处不可微,但次梯度方法仍可收敛。
- 稀疏性。只有违反间隔的样本产生非零梯度,其余样本对参数更新没有贡献;这些样本即支持向量。L2 正则化的线性 hinge 模型就是线性支持向量机,见 支持向量机SVM。
- 不提供概率。输出是得分而非概率,间隔大小没有校准含义;若下游需要概率,必须另做校准(如 Platt 缩放或 isotonic 回归)。
- 尾部线性且解稀疏。间隔很负时损失随 线性增长,梯度幅度趋近 ;与交叉熵不同,hinge 在间隔足够大时梯度恰为零,因此最终解只由边界附近的支持向量决定。
多分类 hinge(Crammer-Singer 形式)为
若违反间隔,令 ,梯度为: 处 , 处 ,其余为零。它只压低最强的竞争类别,交叉熵则按 的大小同时压低所有错误类别。前者关注决策边界,后者关注整个分布;这是 hinge 与交叉熵在表示学习上产生不同特征分布的原因之一。
8. 标签平滑
标签平滑(label smoothing)把 one-hot 目标替换为
其中 为平滑系数。损失为
第一项是原始交叉熵,第二项是相对均匀分布的交叉熵。对 logits 的梯度为
最优解不再是 。若模型容量足够,最小化该损失使 ,于是
对应 logit 间距
以 、 为例,比值为 ,间距约为 。标签平滑因此给 logit 差设置了一个有限上界,抑制无限增大 logits 的倾向;这解释了它改善置信度校准的常见现象。
三点限定:
- 它改变了贝叶斯最优预测。若真实分布就是 one-hot,平滑后的最优解是有偏的;在干净可分数据上它可能降低训练集上的可分性。
- 它不是贝叶斯先验。平滑项固定为均匀分布,与类别频率无关;按类别频率设计的先验平滑是另一种方法。
- 与蒸馏冲突。蒸馏的教师输出已经是软分布,再对软目标做均匀平滑会混合两个不同来源的不确定性。PyTorch 的
label_smoothing参数实现上式;传入软目标时该参数不再适用。
9. 类别加权与 focal loss
类别加权交叉熵为
权重 改变每个类别的有效先验。若 正比于 ( 为类别频率),最小化该损失等价于在人为改变后的类别分布上做最大似然;当 时相当于按频率的倒数重采样。这会使最优概率偏离真实后验,因此加权训练后必须在验证集上重新校准或调整阈值。类别极不平衡时,仅靠加权不足以处理大量易分负样本,focal loss 进一步改写损失形状。
二分类 focal loss 定义为
其中 为聚焦参数。 时退化为交叉熵。以 为例,对 logit 求导:
推导:先对 求导得 ,再乘以 。当 (易分正样本)时, 且 ,梯度趋于零;当 (难分正样本)时,梯度幅度接近 。因此 focal loss 把梯度权重集中到难分样本上。 是目标检测中的常用取值,另有类别平衡系数 乘在外部。
Focal loss 不再对应任何概率模型的似然,其最小值点与交叉熵不同;它改变的是优化目标而非标签分布。使用时需要同时调整 、 与阈值,并在验证集上检查校准;在类别相对平衡或需要概率输出的任务中,它通常不优于交叉熵。
10. 对比学习中的 InfoNCE
设查询嵌入 ,正键 , 个负键 ,相似度 取余弦相似度或内积。InfoNCE 损失为
它在结构上是 类交叉熵:logits 为 ,正确类别固定为第 类。令 为正样本的 softmax 概率, 为第 个负样本的概率,则
梯度提高正样本相似度、压低负样本相似度,压低幅度由 加权:与查询最相似、最难分的负样本获得最大梯度。温度 控制分布的锐度与梯度的整体尺度; 过小使 softmax 饱和、梯度数值不稳,过大则负样本权重趋于均匀、区分度下降。
训练时通常在同一批内构造负样本,并对 与 两个方向对称计算损失,批次越大负样本越多。使用余弦相似度时,损失只约束相似度的相对次序,不约束嵌入的绝对尺度;推理阶段用余弦相似度与近似最近邻索引检索,具体流程见 Embedding与向量检索 与 向量数据库。
11. 损失与评估指标不一致
损失与指标服务不同目的:损失必须是逐样本可分解、可微的代理,指标通常是集合级、不可微或依赖阈值的量。两者不一致有四个来源。
第一,损失衡量概率质量,指标衡量硬判决。分类器可以在多数样本上给出高置信度正确预测,同时在一个样本上给出高置信度错误预测;交叉熵对这种分布的惩罚与准确率的计数方式不同。
构造一个具体例子。设验证集 个样本,正负各半:
- 模型 A 全部预测正确,但对每个样本只给出 的正确类概率。交叉熵为 ,准确率为 。
- 模型 B 在 个样本上以 的概率预测正确,在 个样本上以 的概率预测错误。交叉熵为
准确率为 。
模型 B 的交叉熵更低(),准确率也更低。原因是交叉熵按概率误差计分, 个高置信度正确预测节省的损失超过了 个高置信度错误的代价;准确率对每个错误一视同仁。若业务目标是准确率,模型 B 更差;若下游消费概率,模型 B 的概率过度集中同样有害。两个指标回答不同问题,不能互相替代。
第二,指标依赖阈值,损失不依赖。准确率、F1、召回率都需先选定阈值;交叉熵对全部样本的概率给出一个数。阈值应在验证集上按目标指标选择,而不是固定为 。类别不平衡时固定阈值会使准确率虚高: 个负样本、 个正样本的数据集上,全部预测为负即可得到 准确率,而交叉熵约为
该数值看起来很低,却不代表模型有用;此时应报告正类的召回率、精确率与 PR-AUC,见 模型评估与交叉验证。
第三,训练目标与评估目标的时间粒度不同。语言模型以教师强制(teacher forcing)下的逐 token 交叉熵训练,推理时以自回归方式逐 token 生成;训练时每步都以真实前缀为条件,推理时以模型自己的输出为前缀,误差会累积。序列级指标(BLEU、ROUGE、pass@k、精确匹配)与 token 级交叉熵的排序不一定一致;交叉熵也不衡量事实性、指令遵循与安全性,相关讨论见 模型评估矩阵 与 幻觉与缓解。
第四,损失对标签噪声与分布偏移敏感。标签错误会直接抬高交叉熵,模型可能学会拟合错误标签;指标在干净的评测集上未必反映这一退化。数据清洗与标签审核属于 数据工程入门 与 数据集质量控制 的范围。
实践中的处理原则:
- 用可微代理损失训练,用目标指标做模型选择、早停与超参数搜索;两条曲线都记录。
- 需要概率时使用严格评分规则(proper scoring rule,例如对数损失、Brier 分数),并在验证集上检查校准;仅需排序时使用 AUC 类指标。
- 改变损失(加权、平滑、focal)后重新选择阈值并重新校准,因为最优决策规则随目标改变。
- 报告损失时注明 reduction(求和、平均、按 token 平均),不同 reduction 的数值不可直接比较。
12. 损失与输出层的配对
| 任务 | 输出维数 | 输出层 | 分布假设 | 损失 | 对 logits 的梯度 |
|---|---|---|---|---|---|
| 回归 | 或 | 恒等 | 高斯,方差固定 | MSE | |
| 二分类 | sigmoid | 伯努利 | 二元交叉熵 | ||
| 多分类互斥 | softmax | 类别分布 | 交叉熵 | ||
| 多标签 | 逐类 sigmoid | 个独立伯努利 | 逐类二元交叉熵求和 | 逐类 | |
| 计数 | exp 或 softplus | 泊松 | 泊松负对数似然 | ||
| 对比学习 | 维嵌入 | 归一化 | 相对相似度 | InfoNCE | softmax 概率减标签 |
表中有两条实现约束。第一,多分类的模型末端只输出 logits,softmax 与对数由损失内部完成;若在模型末端先做 softmax,再传入 nn.CrossEntropyLoss,等价于对已归一化的概率再做一次 log-softmax,梯度被压缩且数值不稳定。第二,二分类使用 nn.BCEWithLogitsLoss,它把 sigmoid 与 softplus 融合,避免 在 为大负数时下溢。两条约束的完整说明见 神经网络与前向传播 的输出层一节。
关键直觉
机制性直觉
交叉熵是负对数似然,等于用模型分布对真实标签编码时的平均码长;固定数据分布时,最小化交叉熵等价于最小化模型分布与数据分布之间的 KL 散度,因为数据熵与参数无关。对 logits 的梯度 是预测分布与目标分布之差:正确类别概率不足时该分量推动其 logit 上升,错误类别概率过高时推动其 logit 下降,幅度由概率误差而非 logit 误差决定,因此梯度有界。平方损失对应高斯噪声下的负对数似然,其梯度是残差 ,对大残差线性放大,对异常值不稳健。与定义的关系是:定义给出风险与经验风险,第 3 节证明交叉熵的总体版本等于 ,第 5 节给出其精确梯度,第 2 节给出 MSE 与最大似然的等价推导;这些推导共同说明「损失的选择就是分布假设的选择」。
例子与代码
手算:三个小批量
运行环境:Python 3.10 以上,NumPy 1.24 以上。
第一个例子是回归。预测 ,目标 ,残差为 :
对预测的梯度为 。
第二个例子是二分类。logits ,标签 。sigmoid 输出为
逐样本损失 为
平均损失为 。对 logits 的梯度为 。
第三个例子是多分类。logits 与标签为
逐行手算第一行:,平移后为 ,指数为 ,和为 ,对数和为 ;减去真实类别 的 logit ,损失为 ,概率为 。三行损失分别为
平均损失为 。对 logits 的梯度矩阵为
NumPy:三种损失与梯度检验
以下代码计算上述三个例子的损失,并用中心差分检验解析梯度。
import numpy as np
def log_softmax(Z):
# 减去每行最大值,保证 exp 不溢出;结果与未平移版本相同
Zs = Z - Z.max(axis=1, keepdims=True)
return Zs - np.log(np.exp(Zs).sum(axis=1, keepdims=True))
# 1. 回归样例
yhat = np.array([1.2, 1.8, 3.3])
y = np.array([1.0, 2.0, 3.0])
mse = np.mean((yhat - y) ** 2)
print(f"MSE = {mse:.10f}") # 0.0566666667
# 2. 二分类样例
z = np.array([0.5, -1.0, 2.0])
yb = np.array([1.0, 0.0, 1.0])
bce = np.mean(np.logaddexp(0.0, z) - yb * z) # softplus(z) - y*z
print(f"BCE = {bce:.10f}") # 0.3047555609
# 3. 多分类样例
Z = np.array([
[2.0, 1.0, 0.1],
[0.2, 2.5, 0.3],
[0.0, 0.1, 3.0],
])
lab = np.array([0, 1, 2])
Y = np.eye(3)[lab]
ls = log_softmax(Z)
ce = -np.sum(Y * ls) / Z.shape[0] # 按样本平均
print(f"CE = {ce:.10f}") # 0.2360671047
# 4. 解析梯度与中心差分的对照
P = np.exp(ls)
grad_ce = (P - Y) / Z.shape[0]
def ce_loss(Z, Y):
return -np.sum(Y * log_softmax(Z)) / Z.shape[0]
h = 1e-6
num = np.zeros_like(Z)
for i in range(Z.shape[0]):
for j in range(Z.shape[1]):
Zp, Zm = Z.copy(), Z.copy()
Zp[i, j] += h
Zm[i, j] -= h
num[i, j] = (ce_loss(Zp, Y) - ce_loss(Zm, Y)) / (2 * h)
print(f"CE 最大梯度误差 {np.abs(grad_ce - num).max():.3e}") # 3.030e-11
grad_bce = (1 / (1 + np.exp(-z)) - yb) / len(z)
def bce_loss(z, y):
return np.mean(np.logaddexp(0.0, z) - y * z)
numb = np.zeros_like(z)
for i in range(len(z)):
zp, zm = z.copy(), z.copy()
zp[i] += h
zm[i] -= h
numb[i] = (bce_loss(zp, yb) - bce_loss(zm, yb)) / (2 * h)
print(f"BCE 最大梯度误差 {np.abs(grad_bce - numb).max():.3e}") # 3.144e-11
grad_mse = 2 * (yhat - y) / len(y)
def mse_loss(yh, y):
return np.mean((yh - y) ** 2)
numm = np.zeros_like(yhat)
for i in range(len(yhat)):
yp, ym = yhat.copy(), yhat.copy()
yp[i] += h
ym[i] -= h
numm[i] = (mse_loss(yp, y) - mse_loss(ym, y)) / (2 * h)
print(f"MSE 最大梯度误差 {np.abs(grad_mse - numm).max():.3e}") # 2.310e-11
预期输出:
MSE = 0.0566666667
BCE = 0.3047555609
CE = 0.2360671047
CE 最大梯度误差 3.030e-11
BCE 最大梯度误差 3.144e-11
MSE 最大梯度误差 2.310e-11
代码做四件事:用 log-sum-exp 计算稳定交叉熵;按 计算二元交叉熵;对三个损失分别求解析梯度;用中心差分逐元素对照。误差在 量级,来源是差分步长与浮点舍入:步长 时截断误差为 、舍入误差为 ,二者在 float64 下的最优折中约为 到 。若把 log_softmax 换成 np.log(np.exp(Z) / np.exp(Z).sum(...)),第三个样例仍然正确,但更大的 logits 会使误差急剧增大甚至产生 NaN,下面的稳定性示例说明这一点。
数值稳定:log-softmax 与直接 softmax 的差异
import numpy as np
big = np.array([1000.0, 1000.0, 1000.0])
with np.errstate(over="ignore", invalid="ignore"):
naive = np.exp(big) / np.exp(big).sum() # exp(1000) 溢出为 inf,inf/inf 为 nan
print("naive softmax:", naive)
shift = big - big.max() # 最大值平移,不改变 softmax 结果
stable = np.exp(shift) / np.exp(shift).sum()
print("stable softmax:", stable)
print(f"stable CE: {-np.log(stable[0]):.10f} log(3)={np.log(3):.10f}")
预期输出:
naive softmax: [nan nan nan]
stable softmax: [0.33333333 0.33333333 0.33333333]
stable CE: 1.0986122887 log(3)=1.0986122887
exp(1000) 超出 float64 上限 ,得到 inf;分子分母同时为 inf,比值为 nan。减去最大值后指数全为 ,概率为 ,交叉熵为 。实际实现不应先算概率再取对数:即使概率没有下溢,log 与 softmax 的反向传播也会引入数值问题;F.cross_entropy 直接接收 logits 并在内部完成 LSE。
PyTorch 对照与标签平滑
运行环境:PyTorch 2.0 以上。
import torch
import torch.nn.functional as F
logits = torch.tensor([
[2.0, 1.0, 0.1],
[0.2, 2.5, 0.3],
[0.0, 0.1, 3.0],
], dtype=torch.float64)
target = torch.tensor([0, 1, 2])
print(F.cross_entropy(logits, target).item()) # 0.2360671047
print(F.cross_entropy(logits, target, label_smoothing=0.1).item()) # 0.3838448825
z = torch.tensor([0.5, -1.0, 2.0], dtype=torch.float64)
yb = torch.tensor([1.0, 0.0, 1.0], dtype=torch.float64)
print(F.binary_cross_entropy_with_logits(z, yb).item()) # 0.3047555609
三点说明:
F.cross_entropy的输入是 logits,不是概率;它对每个样本计算log_softmax后取负对数并按批平均。若传入已经 softmax 的张量,结果不是交叉熵,而是对概率再做一次 log-softmax,梯度被额外压缩。label_smoothing=0.1按 构造目标,输出 ,与手算的 一致。binary_cross_entropy_with_logits接受 logits,内部用 softplus 实现;若先做 sigmoid 再调用binary_cross_entropy,在 很大时会因 得到 inf。
易错点
常见错误
- 在模型末端先做 softmax 再传给
CrossEntropyLoss。这等价于对已归一化的概率再做一次 log-softmax,梯度被压缩,且概率下溢时出现 NaN;nn.CrossEntropyLoss与F.cross_entropy的输入约定是 logits。同理, 应由log_softmax或logsumexp计算,不能先算 再取对数,否则 时对数无定义、反向传播产生 NaN。- 用 MSE 训练分类头。sigmoid 输出下的 MSE 梯度含因子 ,当模型给出高置信度的错误预测时 或 ,梯度反而消失;交叉熵的梯度为 ,在这种样本上幅度接近 。两者不是同一优化问题的不同缩放。
- 把交叉熵与 KL 散度当作可互换。 固定时二者只差常数;标签平滑、蒸馏或自训练中 随参数变化, 也变化,最小化二者得到不同梯度。
- 混淆 reduction。
mean与sum相差因子 ,与学习率、权重衰减、梯度累积共同决定有效步长;分布式训练中若各卡求平均后再相加,需按设备数再平均一次。- 认为标签平滑总能改善校准或精度。它把最优概率改为 ,在干净可分数据上引入偏差;与蒸馏的软目标叠加会混淆两个不确定性来源;改变 后必须重新检查校准与阈值。
- 把 InfoNCE 的温度当作普通缩放系数。 同时控制负样本权重分布与梯度尺度,过小使 softmax 饱和、训练不稳定,过大使负样本权重趋于均匀、表示区分度下降。
关联笔记
- 前置:概率与统计 —— 最大似然、熵与 KL 散度的定义在此建立;本篇第 2、3 节直接使用这些结论,并从损失角度重新解释它们。
- 前置:逻辑回归 —— 二元交叉熵的原型;sigmoid 加伯努利似然的推导与本篇第 4 节同构,区别仅在于逻辑回归的特征是原始输入,而神经网络的特征是学习到的表示。
- 后续:反向传播详解 —— 本篇给出 ,该篇把它接入计算图并完成对权重的手推;两篇的 数值例子可以互相核对。
- 后续:优化器与学习率 —— 损失的梯度尺度决定学习率与裁剪阈值;Adam 的逐坐标归一化会部分抵消损失缩放,但权重衰减与 仍依赖梯度量级。
- 后续:Embedding与向量检索 —— InfoNCE 是嵌入模型训练的标准目标,检索阶段的余弦相似度与训练时的相似度定义必须一致,否则训练目标与推理行为脱节。
达标检测
- [ ] 从 、 出发,写出负对数似然,说明哪一项与参数无关、 因子为何不影响最优参数。
- [ ] 从伯努利似然推导 ,证明 ,并说明该形式在 时仍然有限的原因。
- [ ] 写出 log-softmax 的稳定形式并证明减去最大值不改变结果;对 、标签 手算平均交叉熵与梯度矩阵,并用有限差分验证到 以内。
- [ ] 比较 hinge 与交叉熵在「分类正确但间隔很小」和「分类错误且置信度很高」两种样本上的梯度,说明各自的优化重点与适用任务。
- [ ] 构造一个交叉熵更低但准确率更低的例子,写出两组预测的概率与计算过程,并解释为什么模型选择应以目标指标为准。
- [ ] 写出 InfoNCE 损失,说明它为何是 类交叉熵,并解释温度 对负样本权重与梯度尺度的影响。
参考来源
- Goodfellow, Bengio, Courville, Deep Learning, 2016, 第 5 章 —— 对应最大似然、贝叶斯统计与损失函数的概率解释;第 6 章输出单元一节对应 sigmoid/softmax 与交叉熵的配对。
- d2l.ai《动手学深度学习》,线性回归、softmax 回归与多层感知机章节 —— 对应 MSE、交叉熵的实现、数值稳定写法与本节的手算样例。
- Stanford CS231n 课程笔记,Linear Classification 与 Neural Networks Part 1 —— 对应 hinge 损失、softmax 交叉熵、梯度推导与「损失与准确率不一致」的讨论。
- PyTorch 官方文档,
torch.nn.CrossEntropyLoss、torch.nn.BCEWithLogitsLoss、torch.nn.functional.log_softmax—— 对应 logits 输入约定、label_smoothing参数与融合算子的数值行为。 - NumPy 官方文档,
numpy.logaddexp与numpy.errstate—— 对应 softplus 的稳定实现与溢出警告的抑制方式。