激活函数
定义
激活函数(activation function)是施加在仿射变换输出上的确定性标量映射 ,它逐元素作用于激活前值,为网络引入非线性并决定梯度在每层的局部缩放。
逐项定义本篇使用的符号:
- :网络层数;:第 层宽度;:输入维数。
- :第 层权重矩阵;:偏置。
- :第 层激活前值,。
- :第 层激活值;约定 。
- :标量导数;对向量逐元素作用时,雅可比为对角矩阵 。
- :损失对第 层激活前值的梯度。
- :logistic 函数(sigmoid)。
- :标准正态密度;:标准正态分布函数;:误差函数。
- :梯度增益,即导数的平方在标准正态输入下的期望。
- :负半轴斜率或 ELU 参数;:Swish 的形状参数。
术语:
- 饱和(saturation): 时 的性质。
- 死神经元(dead unit):对数据分布内所有输入都有 的 ReLU 单元,其梯度恒为零且无法恢复。
- 零中心(zero-centered):输出分布关于原点对称,。
- 单调性(monotonicity): 在定义域上单调不减;非单调激活存在导数为负的区间。
- 平滑性(smoothness): 连续可微的阶数;ReLU 在 处不可微,GELU 无穷可微。
为什么重要
- 没有非线性激活时,任意深度的网络与单个仿射映射等价。该结论在 神经网络与前向传播 中已证明:仿射映射的复合仍是仿射映射,堆叠层数不扩大假设类。激活函数是深度带来表达能力增益的唯一来源。
- 激活函数的导数直接决定梯度能否传回浅层。反向传播中每经过一层,梯度乘以该层激活的雅可比;若 在大部分输入上成立,梯度范数随深度按 衰减。sigmoid 的导数上界为 ,这是深层 sigmoid 网络难以训练的数学原因,不是实现缺陷。
- 激活函数的输出分布决定初始化的尺度。前向方差递推含因子 ,反向方差递推含因子 ;Xavier 初始化假设前者约为 ,He 初始化假设后者约为 。激活与初始化不匹配时,方差随深度指数偏离。
- 激活函数的选择改变优化景观与最终精度。ReLU 的非饱和正半轴使深层网络可训练;GELU 与 SiLU 的平滑、非单调形状在 Transformer 与卷积网络中带来稳定的训练曲线;softmax 只用于输出层,与交叉熵配对。
- 计算成本在规模化训练中不可忽略。ReLU 只需一次比较,sigmoid 与 tanh 需要指数运算,GELU 的精确形式需要误差函数;在数十亿参数的模型中,每 token 的逐元素开销会累积为可观的训练时间。
- 在全书中的位置:前置为 神经网络与前向传播(层与激活的位置)与 反向传播详解(导数进入链式法则);后续 Transformer架构详解 使用 GELU 的 FFN,LSTM与GRU 使用 sigmoid 与 tanh 门控,Llama-2架构复盘 使用 SiLU 的 SwiGLU,损失函数 讨论输出层激活与损失的配对。
- 对应能力目标:懂原理对应「推导导数并说明饱和与增益」;能复现对应「用 NumPy 打印函数值与导数值并验证」;会评估对应「根据梯度范数与激活分布判断初始化与激活是否匹配」。
原理与推导
1. 作用:非线性与逐层雅可比
单层计算为 ,。由于 逐元素作用,其雅可比为对角矩阵:
反向传播的递推为
其中 为逐元素乘。展开到第 层:
取范数得
该不等式给出两条结论:
- 若激活的导数上界 ,且权重矩阵的谱范数约为 ,则梯度范数的上界按 收缩。sigmoid 的 ,20 层后上界为 。
- 若导数上界为 (tanh、ReLU),衰减不再由导数上界强制,但 tanh 在饱和区导数仍远小于 ,ReLU 的负半轴导数为 ;实际衰减取决于输入落在哪个区间。
前向方差递推。设各层权重元素独立、均值为零,且与激活值独立,则
对零中心激活,,定义前向增益 ,得
要求方差保持不变,需 。ReLU 在对称零均值输入下有 ,故 ,即 He 初始化;tanh 在零点附近 ,故 ,即 Xavier 初始化。
反向的增益是 ,对标准正态输入数值计算如下:
| 激活 | 含义 | ||
|---|---|---|---|
| sigmoid | 每层梯度方差约乘 | ||
| tanh | 接近 ReLU 的一半 | ||
| ReLU | 正半轴概率 ,导数平方为 | ||
| GELU | 与 ReLU 接近 | ||
| SiLU | 负半轴仍有一定斜率 |
表中的 是在单位方差标准正态输入上的平均值,不是对所有分布的普适常数;它用于初始化的量级估计,不能替代具体数据上的梯度监控。He 初始化的系数 正是 。
sigmoid 的情况需要单独说明。它的输出均值约为 ,不满足零中心假设。在线性化区间内,,样本相关的波动分量被缩小 倍,方差缩小 倍;常数分量 经零均值权重传播后不改变下一层激活前值的均值,但会贡献方差。因此波动分量相对常数分量越来越小,激活值趋于常数,梯度方差按 每层衰减,梯度范数按约 每层衰减。前向不是简单地「方差归零」,而是信息分量相对常数分量趋近于零;两种描述都导致同一后果:深层 sigmoid 网络既难以训练,也难以表示输入差异。
2. sigmoid
定义为
导数推导。令 ,则 ,
又因为
故
这是本篇反复使用的导数恒等式:它把导数表示为输出本身的函数,反向传播时无需重新计算指数。
性质:
- 值域 ,单调递增, 时输出 。
- 导数上界 ,在 处取到;。
- 饱和。 时 ,; 时 。 每增加约 ,导数大致按 衰减。
- 输出非零均值。,在常见输入分布下均值约为 ,不是零中心。
非零均值对优化的影响可以精确表述。对某层权重,梯度为
其中 全为正(若上一层也是 sigmoid)。于是该矩阵的每一行都是 的同一符号模式乘以不同的正数,权重的更新方向在各行之间高度相关;相邻层的更新又通过 耦合,优化轨迹容易出现整体同向的漂移与来回修正,收敛变慢。零中心激活使 的正负分量相互抵消,梯度各行不再共享同一符号模式。这一效应是 tanh 相对 sigmoid 的优势之一,但 sigmoid 的主要问题仍是导数上界 造成的梯度衰减。
sigmoid 的典型用途是二分类输出层(与二元交叉熵配对)与门控(LSTM、GRU 的遗忘门、输入门、输出门)。它很少用作深层前馈网络的隐藏层激活。
3. tanh
定义为
与 sigmoid 的关系为
即把 sigmoid 的输出拉伸到 并平移。导数:
推导:令 ,,求导化简得 。
性质:
- 值域 ,单调递增,零中心,。
- 导数上界 ,在 处取到;这比 sigmoid 的 大 倍,同样的权重尺度下梯度衰减小得多。
- 仍然饱和。 时 ,; 时导数约为 。
- 前向增益在零点附近约为 ,因此 Xavier 初始化适用;但在饱和区,实际增益远小于 ,深层 tanh 网络仍会衰减。
tanh 的零中心与较大导数使它成为 RNN 隐藏状态与 LSTM 候选细胞状态的标准选择。在 LSTM 中,sigmoid 负责门控(输出 到 的开关),tanh 负责候选值与细胞状态(输出 到 的有符号量),这一分工的依据正是两者的值域与导数性质,见 LSTM与GRU。
4. ReLU
定义为
导数为
在 处左导数为 、右导数为 ,导数不存在。工程上取次梯度 (PyTorch 的 torch.relu 采用该约定)。单点不可微不影响训练:输入连续分布时 是零测集,反向传播只需在可导点正确。
性质:
- 非饱和正半轴。 时导数恒为 ,梯度不会因输入增大而衰减;这是它相对 sigmoid 与 tanh 的关键优势。
- 稀疏激活。若 的分布关于原点对称,则约一半单元的激活为 。稀疏性指表示中恰有零元素,不等同于计算量下降:稠密矩阵乘法仍按全部元素计算,除非使用稀疏核。
- 硬零负半轴。 时梯度为 ,该单元对损失的当前样本没有梯度贡献。
- 无上界。正半轴线性增长,激活值可能很大;需要归一化或较小的学习率控制数值范围。
- 齐次性。对 ,,网络对权重的整体缩放具有对称性。
死神经元。若某个 ReLU 单元对数据分布内的所有输入都有 ,则它的输出恒为 ,梯度对所有流入它的参数恒为 ,参数不再更新,该单元永久失效。成因有三类:
- 学习率过大。一次更新可能把权重推到使该单元对所有训练样本都为负的区域,之后梯度为零,无法自行恢复。
- 初始化不当。权重尺度过大或偏置初始化为较大负数,使单元从一开始就落在负半轴;偏置通常初始化为零,但某些自定义初始化会破坏这一点。
- 级联失效。前一层大量单元死亡后,后一层的输入分布偏移,更多单元进入负半轴,死亡比例逐层上升。
检测方法:在一个批上统计每层激活的零值比例。若某层接近 ,该层大部分单元已死亡;若训练过程中该比例持续上升,说明学习率或初始化有问题。缓解手段包括 LeakyReLU、PReLU、较小的学习率、He 初始化与归一化层。
5. LeakyReLU、PReLU 与 ELU
LeakyReLU 给负半轴一个小斜率:
导数为
负半轴不再硬零,单元不会因一次更新永久失效;在 处仍不可微。输出无界,负半轴线性,不具备饱和性。
PReLU 把 设为可学习参数,通常每个通道一组:
其中 为通道索引。它增加少量参数,负半轴斜率由数据学习;在数据量较小时可能过拟合, 也可能学到接近 的值,退化为 ReLU。
ELU 在负半轴使用指数饱和:
导数为
性质:
- 负半轴饱和于 ,输出均值更接近零; 时下界为 。
- 负半轴导数连续地从 衰减到 ,在 处左导数为 、右导数为 ,仅当 时整体可微。
- 需要指数运算,计算成本高于 ReLU 与 LeakyReLU。
三者的共同目标是避免负半轴的零梯度,差别在于负半轴的形状:LeakyReLU 与 PReLU 保持线性、无下界;ELU 饱和、有下界、均值更接近零。SELU 是 ELU 的固定系数变体,配合特定初始化与 dropout 设计用于自归一化网络,本篇不展开。
6. GELU
高斯误差线性单元(Gaussian Error Linear Unit, GELU)定义为
其中 是标准正态分布函数。它的含义是:把输入 乘以其在高斯分布下的累积概率,相当于一个依赖输入大小的软门控; 越正,门越接近 ; 越负,门越接近 ; 时门为 。
导数。由乘积法则,
第二项来自 的导数乘 与 乘 。二阶导数为
二阶导在 处为零,故一阶导在 处取最大值约 ,在 处取最小值约 。 处一阶导为 ,不是最大值。
非单调性。GELU 在 处取最小值约 ,在该点导数为零;当 时导数为负,函数随 增大而减小。因此 GELU 不是单调函数,也不是凸函数;它允许小的负输入产生小的负输出,这一点与 ReLU 的硬零不同。
tanh 近似。精确形式需要误差函数,常用以下近似:
在 上,该近似与精确形式的最大绝对误差约为 ;在 GELU 本身接近零的负尾,绝对误差不变但相对误差会显著增大。PyTorch 的 nn.GELU(approximate='tanh') 使用该式,approximate='none' 使用误差函数。近似的价值在于用一次 tanh 与三次多项式替代误差函数的计算;在 float32 训练中, 的逐元素误差不影响收敛,但在需要高精度对照或低精度推理时需要注意。
GELU 在 Transformer 中的应用。BERT、GPT-2、GPT-3 与 ViT 的前馈网络采用「线性升维、GELU、线性降维」的结构,升维倍数通常为 。GELU 的平滑性与负半轴的软饱和使前馈子层的输出分布更稳定;其导数在 较大时略大于 、在 时可为负,梯度既不会像 ReLU 那样硬性截断,也不会像 sigmoid 那样整体压缩。具体位置与残差、LayerNorm 的组合见 Transformer架构详解。需要区分:Llama 系列使用 SwiGLU,即用 SiLU 作为门控激活,而不是 GELU,见 Llama-2架构复盘。
7. SiLU 与 Swish
SiLU(Sigmoid Linear Unit)定义为
它是 Swish 族在 时的特例。更一般的 Swish 族为
可学习或固定。
导数。由乘积法则,
在 处导数为 ; 时导数趋于 ; 时导数趋于 。
性质:
- 非单调。SiLU 在 处取最小值约 ,该点导数为零;更负的区间导数为负。
- 平滑、无穷可微,形状与 GELU 接近但负半轴更深。
- 无上界,负半轴有下界约 。
- 需要一次 sigmoid 与一次乘法,计算成本低于 GELU 的误差函数形式。
SiLU 在 EfficientNet 等卷积网络中使用;在语言模型中,Llama 的 SwiGLU 前馈层用 SiLU 对升维后的分支做门控:
其中 提供门控分支, 为逐元素乘。与 GELU 的 MLP 相比,SwiGLU 多一个投影矩阵,通常把隐藏维按 缩放以保持参数量,见 Llama-2架构复盘。
8. softmax 作为输出层
softmax 不是逐元素激活,而是把整个向量映射到概率单纯形:
性质:
- 输出非负且和为 ,可解释为 类互斥的概率。
- 平移不变:,因此 logits 只在差一个常数的意义下可辨识。
- 耦合所有分量:任一 增大都会降低其他分量,单元之间不是独立的。
- 雅可比为
雅可比的每一行和为 ,故 ,矩阵奇异,秩为 。反向传播经过 softmax 时,梯度被投影到与全 向量正交的子空间,常数方向的信息丢失;这是 softmax 的平移不变性在梯度上的表现。
softmax 只用于输出层,不用于隐藏层。原因有三点:它把各单元归一化为竞争关系,隐藏层的每个单元不再是独立特征;它的雅可比奇异且耦合,深层堆叠会放大梯度病态;它的输出尺度被限制在 ,隐藏层需要更大的动态范围表示特征。隐藏层的归一化需求由 LayerNorm、BatchNorm 等专门算子承担,见 正则化与调参。
softmax 与交叉熵的配对、数值稳定实现(减最大值)以及梯度 的推导,已在 损失函数 中给出。此处只需记住:模型末端输出 logits,softmax 与对数由损失函数内部完成。
9. 各激活函数的对比
| 激活 | 表达式 | 导数 | 值域 | 单调 | 零中心 | 饱和 | 每元素成本 | 典型用途 |
|---|---|---|---|---|---|---|---|---|
| sigmoid | 是 | 否 | 双侧 | 指数 | 二分类输出、门控 | |||
| tanh | 是 | 是 | 双侧 | 指数 | RNN、LSTM 候选 | |||
| ReLU | 是 | 否 | 正侧不饱和 | 比较 | CNN、MLP | |||
| LeakyReLU | 或 | 是 | 否 | 否 | 比较 | GAN、检测 | ||
| PReLU | 或 | 是 | 否 | 否 | 比较 | 大容量 CNN | ||
| ELU | 或 | 或 | 是 | 近似 | 负侧 | 指数 | MLP | |
| GELU | 否 | 否 | 负侧 | 误差函数 | Transformer FFN | |||
| SiLU | 否 | 否 | 负侧 | 指数 | EfficientNet、SwiGLU | |||
| softmax | 单纯形 | 不适用 | 否 | 不适用 | 全局归约 | 多分类输出 |
成本列是数量级比较,不是精确 FLOPs:比较与乘法的成本取决于硬件与向量化,指数与误差函数的实现差异更大。在 GPU 上,sigmoid 与 tanh 通常由特殊函数单元实现,吞吐低于 ReLU;GELU 的 tanh 近似比精确形式快,但仍慢于 ReLU。
10. 初始化与激活的匹配
由第 1 节的递推,保持前向方差需要
保持反向方差需要
当 时,两者给出同一尺度;不相等时取折中,得到 Xavier 的 形式。下表给出按 计算的梯度保持尺度:
| 激活 | 梯度保持标准差 | 常用初始化 | 备注 | |
|---|---|---|---|---|
| sigmoid | 无通用方案 | 权重放大会饱和, 进一步下降 | ||
| tanh | Xavier | 零点附近 ,Xavier 适用 | ||
| ReLU | He | 负半轴置零使增益减半 | ||
| GELU | He 近似可用 | 与 ReLU 尺度接近 | ||
| SiLU | He 略偏小 | 负半轴仍有斜率,增益更低 |
sigmoid 一行说明为什么「按公式放大权重」不可行: 的权重会使 的方差远大于 ,sigmoid 进入饱和区,实际 降到远低于 ,梯度衰减更快。深层 sigmoid 网络没有仅靠初始化就能解决梯度消失的方案;可用的手段是归一化、残差连接、缩短深度或改用其他激活。这一结论与 神经网络与前向传播 中「Xavier 适用于关于原点近似线性的激活」的限定一致。
PyTorch 的 nn.Linear 默认初始化是 kaiming_uniform_(a=sqrt(5)),其均匀分布半宽为 ,方差为 。这比 He 的 小 倍,比 GELU 的梯度保持尺度小约 倍。深层网络若依赖默认初始化而不加归一化,激活方差会逐层衰减;显式使用 kaiming_normal_、xavier_normal_ 或依赖 LayerNorm 与残差连接,是常见的修正方式。残差连接把恒等路径加入前向与反向,使梯度不必只经过激活的连乘,这解释了为什么极深 Transformer 在默认初始化下仍可训练,详见 正则化与调参。
11. 梯度流的数值演示
第 1 节的不等式是上界,实际衰减取决于权重尺度与输入分布。用一个 层、每层 维的全连接堆叠做受控实验:
- 输入 ,元素独立取自标准正态分布。
- 每层权重 ,元素独立同分布,标准差为 (Xavier 尺度);ReLU 使用 (He 尺度),偏置为零。
- 损失为 ,即输出平方的平均。
- 反向传播记录每层 ,并除以最后一层的值归一化。
sigmoid 的每层几何平均比约为 , 层后归一化梯度约为 ;tanh 约为 ,梯度基本保持;ReLU 约为 ,在随机矩阵的乘性波动下略有增长,但没有系统性爆炸。具体数值见「例子与代码」。这组结果与第 1 节的增益表一致:sigmoid 的 最小,tanh 与 ReLU 的 接近 。
关键直觉
机制性直觉
激活函数的导数在反向传播中充当每个单元的乘性门:sigmoid 与 tanh 的门随 增大而关闭,ReLU 的门是二值的( 开、 关),GELU 与 SiLU 的门由输入大小平滑决定,并且在负区间可以取负值。前向传播中,激活的平方均值决定下一层激活前值的方差;反向传播中,导数的平方均值决定梯度方差。初始化的任务是选择权重尺度,使这两个因子与层宽相乘后约为 。上述直觉与第 1 节的雅可比递推、增益表一一对应;它不是「激活函数提供非线性」这一句的同义反复,而是说明非线性的代价与收益都通过同一个局部导数体现。
例子与代码
NumPy:函数值与导数表
运行环境:Python 3.10 以上,NumPy 1.24 以上。
import numpy as np
from math import erf
def sigmoid(z):
return 1.0 / (1.0 + np.exp(-z))
def gelu(z):
# Phi(z) = 0.5 * (1 + erf(z / sqrt(2)))
return z * 0.5 * (1.0 + np.vectorize(erf)(z / np.sqrt(2.0)))
def d_gelu(z):
phi = np.exp(-z * z / 2.0) / np.sqrt(2.0 * np.pi)
return 0.5 * (1.0 + np.vectorize(erf)(z / np.sqrt(2.0))) + z * phi
print("z sigmoid d_sig tanh d_tanh relu d_relu gelu d_gelu silu d_silu")
for z in (-3.0, -2.0, -1.0, -0.5, 0.0, 0.5, 1.0, 2.0, 3.0):
s = sigmoid(z)
th = np.tanh(z)
g = gelu(np.array([z]))[0]
dg = d_gelu(np.array([z]))[0]
si = z * s
dsi = s * (1.0 + z * (1.0 - s)) # SiLU 导数
relu = max(z, 0.0)
drelu = 1.0 if z > 0 else 0.0 # z=0 处取次梯度 0
print(f"{z:5.1f} {s:.6f} {s*(1-s):.6f} {th:.6f} {1-th*th:.6f} "
f"{relu:.6f} {drelu:.6f} {g:.6f} {dg:.6f} {si:.6f} {dsi:.6f}")
# 用中心差分检验 GELU 导数(选平滑点,避开 ReLU 折点)
z = np.array([-2.0, -1.0, -0.3, 0.4, 1.5])
h = 1e-6
num = (gelu(z + h) - gelu(z - h)) / (2 * h)
print("GELU 导数最大误差", f"{np.abs(num - d_gelu(z)).max():.3e}")
# GELU 的 tanh 近似误差
zz = np.linspace(-6.0, 6.0, 200001)
approx = 0.5 * zz * (1.0 + np.tanh(np.sqrt(2.0 / np.pi) * (zz + 0.044715 * zz ** 3)))
print("GELU tanh 近似最大误差", f"{np.abs(gelu(zz) - approx).max():.3e}")
预期输出:
z sigmoid d_sig tanh d_tanh relu d_relu gelu d_gelu silu d_silu
-3.0 0.047426 0.045177 -0.995055 0.009866 0.000000 0.000000 -0.004050 -0.011946 -0.142278 -0.088104
-2.0 0.119203 0.104994 -0.964028 0.070651 0.000000 0.000000 -0.045500 -0.085232 -0.238406 -0.090784
-1.0 0.268941 0.196612 -0.761594 0.419974 0.000000 0.000000 -0.158655 -0.083315 -0.268941 0.072329
-0.5 0.377541 0.235004 -0.462117 0.786448 0.000000 0.000000 -0.154269 0.132505 -0.188770 0.260039
0.0 0.500000 0.250000 0.000000 1.000000 0.000000 0.000000 0.000000 0.500000 0.000000 0.500000
0.5 0.622459 0.235004 0.462117 0.786448 0.500000 1.000000 0.345731 0.867495 0.311230 0.739961
1.0 0.731059 0.196612 0.761594 0.419974 1.000000 1.000000 0.841345 1.083315 0.731059 0.927671
2.0 0.880797 0.104994 0.964028 0.070651 2.000000 1.000000 1.954500 1.085232 1.761594 1.090784
3.0 0.952574 0.045177 0.995055 0.009866 3.000000 1.000000 2.995950 1.011946 2.857722 1.088104
GELU 导数最大误差 1.107e-10
GELU tanh 近似最大误差 4.732e-04
表格的读法:
- sigmoid 的导数在 处为 ,向两侧迅速减小; 与 时约为 ,与 的平均值同量级。
- tanh 的导数在 处为 , 时降到 ;零中心与较大导数使它在小输入区间优于 sigmoid。
- ReLU 的导数只有 与 两种取值; 行取 ,这是实现约定,不是数学结论。
- GELU 的导数在 、、 处为负,验证了非单调性; 处为 ,在 附近达到最大约 。
- SiLU 的导数在 与 处为负,最小值点在 附近; 处为 。
- 有限差分误差为 ,与 float64 的中心差分精度一致;若在 ReLU 的 处做中心差分,会得到 ,与实现的次梯度 不符。
深层网络的梯度衰减
以下代码构造 层全连接堆叠,比较 sigmoid、tanh 与 ReLU 的梯度范数随层数的变化。
import numpy as np
def run(act, L=20, n=64, N=256, seed=0):
rng = np.random.default_rng(seed)
X = rng.normal(size=(N, n))
# ReLU 用 He 尺度,其余用 Xavier 尺度
std = np.sqrt(2.0 / n) if act == "relu" else np.sqrt(1.0 / n)
Ws = [rng.normal(0.0, std, size=(n, n)) for _ in range(L)]
a = X
cache = []
for l in range(L):
z = a @ Ws[l] # 偏置为零,省略
cache.append((a, z))
if act == "sigmoid":
a = 1.0 / (1.0 + np.exp(-z))
elif act == "tanh":
a = np.tanh(z)
else:
a = np.maximum(z, 0.0)
loss = 0.5 * np.mean(np.sum(a * a, axis=1))
delta = a / N # dL/da_L
dnorms = []
for l in range(L - 1, -1, -1):
a_in, z = cache[l]
if act == "sigmoid":
s = 1.0 / (1.0 + np.exp(-z))
dphi = s * (1.0 - s)
elif act == "tanh":
dphi = 1.0 - np.tanh(z) ** 2
else:
dphi = (z > 0).astype(float)
delta_z = delta * dphi # dL/dz_l
dnorms.append(np.linalg.norm(delta_z))
delta = delta_z @ Ws[l].T # dL/da_{l-1}
dnorms = np.array(dnorms[::-1])
return loss, dnorms / dnorms[-1]
for act in ("sigmoid", "tanh", "relu"):
loss, ratio = run(act)
marks = [f"{ratio[i-1]:.3e}" for i in (1, 5, 10, 15, 20)]
print(f"{act:8s} loss={loss:.6f} ratio(l=1,5,10,15,20)={marks} "
f"geomean={ratio[0] ** (1 / 19):.4f}")
预期输出:
sigmoid loss=8.478301 ratio(l=1,5,10,15,20)=['5.876e-13', '3.043e-10', '4.873e-07', '9.388e-04', '1.000e+00'] geomean=0.2271
tanh loss=0.659962 ratio(l=1,5,10,15,20)=['4.052e-01', '1.004e+00', '1.471e+00', '1.778e+00', '1.000e+00'] geomean=0.9536
relu loss=28.664203 ratio(l=1,5,10,15,20)=['5.383e+00', '4.995e+00', '4.607e+00', '3.606e+00', '1.000e+00'] geomean=1.0926
解释:
- sigmoid 的归一化梯度从第 层到第 层衰减到 ,每层几何平均 。该值接近 的量级,差异来自权重矩阵的随机范数波动。 层网络的首层几乎收不到有效梯度。
- tanh 的几何平均为 ,梯度在同一量级内波动。原因是 Xavier 尺度使初始层激活前值的方差接近 ,随后稳定在较低水平,tanh 的导数在 附近接近 ;部分单元进入饱和区,拉低了平均值。
- ReLU 的几何平均为 ,没有系统性衰减。He 尺度按 补偿了负半轴置零造成的增益损失;归一化比大于 来自随机矩阵谱范数的波动,并不表示稳定的爆炸。若把初始化改为 Xavier(),ReLU 的每层增益约为 , 层后梯度会衰减到 量级,这是初始化与激活不匹配的直接后果。
- 三个网络的损失值不同(、、),因此上表比较的是同一网络内部各层梯度的相对大小,不是三个网络之间的绝对梯度。跨网络比较需要固定损失尺度或改用相对梯度。
易错点
常见错误
- sigmoid 导数漏乘因子,或把最大值当作 。,最大值为 ;把它记成 但代入时用错符号,或误以为导数上界为 ,会低估梯度衰减的严重程度。另一个极端是把 sigmoid 的问题只归结为非零均值:非零均值确实使梯度各行相关、优化轨迹变差,但更根本的问题是导数上界 造成的指数衰减,只做零中心化而不改变饱和性,深层网络仍然难以训练。
- 在隐藏层使用 softmax。softmax 把各单元归一化为竞争关系,雅可比奇异且耦合,隐藏层单元不再是独立特征;隐藏层的归一化应由 LayerNorm 或 BatchNorm 承担,softmax 只用于多分类输出层。
- 认为 ReLU 不会梯度消失。ReLU 的正半轴导数为 ,但负半轴恒为 ;单元一旦对所有输入落入负半轴就成为死神经元,梯度永久为零。学习率过大、初始化不当或前层大量死亡都会触发,需监控每层零激活比例。
- 认为 GELU 单调。GELU 在 处取最小值 ,更负的区间导数为负;它不是凸函数,也不能用「输入越大输出越大」的直觉分析其梯度。
- 初始化与激活不匹配。Xavier 假设前向增益为 ,用于 ReLU 时每层增益约为 , 层后方差衰减到 ;He 假设增益为 ,用于 tanh 时每层增益约为 ,深层可能爆炸。初始化尺度必须与激活的增益一起选择。
- 在 ReLU 的 处做中心差分梯度检验。中心差分给出 ,与实现的次梯度 或 都不符;梯度检验应避开折点,或对误差量级而非单点作判断。
关联笔记
- 前置:神经网络与前向传播 与 反向传播详解 —— 前者定义层、激活前值与激活值的位置,并给出输出层与任务的配对;后者把激活导数作为局部雅可比接入链式法则,并讨论 ReLU 不可导点与梯度检验的注意事项。
- 后续:Transformer架构详解 —— 前馈子层使用 GELU(BERT、GPT 系列)或 SiLU 门控(Llama),激活位置、升维倍数与残差、LayerNorm 的组合在该篇展开。
- 对照:LSTM与GRU —— 门控使用 sigmoid(值域 ,适合开关),候选状态使用 tanh(值域 ,适合有符号量);本篇的值域与导数分析解释了这一分工。
- 后续:正则化与调参 —— 初始化、归一化与残差连接共同决定激活与梯度的尺度;当激活与初始化不匹配时,这些手段是主要的修正途径。
- 对照:损失函数 —— 输出层激活与损失必须配对:sigmoid 配二元交叉熵,softmax 配多分类交叉熵;在隐藏层使用这些激活不会带来概率解释。
达标检测
- [ ] 推导 ,给出导数最大值与取到的位置,并计算 层 sigmoid 堆叠的梯度上界 。
- [ ] 写出 ReLU 的导数与 处的实现约定,说明死神经元的三个成因与一种检测方法。
- [ ] 推导 GELU 的一阶与二阶导数,给出最小值位置与值、导数取极值的位置,并说明 tanh 近似的误差量级。
- [ ] 解释 Xavier 与 He 初始化分别假设 或 等于多少,说明 sigmoid 网络为什么没有仅靠初始化就能解决梯度消失的方案。
- [ ] 运行深层网络代码,报告 sigmoid、tanh、ReLU 的每层几何平均梯度比,并用增益表解释三者的差异。
- [ ] 写出 softmax 的雅可比,说明它为何奇异、为何只用于输出层,并解释它与交叉熵配对时的梯度形式。
参考来源
- Goodfellow, Bengio, Courville, Deep Learning, 2016, 第 6 章 —— 对应前馈网络输出单元、sigmoid/softmax 的概率解释、激活函数的选择与梯度消失的讨论。
- d2l.ai《动手学深度学习》,多层感知机章 —— 对应 ReLU、sigmoid、tanh 的定义、导数与实现,以及初始化与激活的配合。
- Hendrycks & Gimpel, "Gaussian Error Linear Units (GELUs)", arXiv:1606.08415, 2016 —— 对应 GELU 的定义、误差函数形式、tanh 近似与在深度网络中的实验。
- Stanford CS231n 课程笔记,Neural Networks Part 1 与 Part 2 —— 对应常用激活函数的比较、死神经元、初始化与梯度流的教学示例。
- PyTorch 官方文档,
torch.nn.GELU、torch.nn.SiLU、torch.nn.ReLU、torch.nn.init—— 对应近似参数、实现约定与初始化函数的取值。