神经网络与前向传播
定义
前向传播(forward propagation)是给定网络全部参数,将输入向量逐层变换为输出向量、并按层缓存中间量的确定性计算过程。
逐项定义其中符号:
- :网络层数,即可学习的仿射变换个数。
- :第 层宽度,即该层输出的标量个数; 为输入维数, 为输出维数。
- :单个样本的输入向量。
- :一批 个样本按行堆叠成的输入矩阵。
- :第 层权重矩阵。
- :第 层偏置向量。
- :第 层激活前值(pre-activation),即仿射变换的输出。
- :第 层激活值;约定 。
- :第 层激活函数,逐元素作用。
- :全 1 向量。
- :全部可学习参数。
术语:
- 神经元(unit):计算 的最小单元。
- 全连接层(fully connected layer,又称稠密层):每个输出与全部输入相连的层,参数为 与 。
- 前馈网络(feedforward network):数据只沿 递增方向流动、无环的网络。
- 激活函数(activation function):施加在激活前值上的确定性逐元素映射。
为什么重要
- 前向传播是决定网络能表示什么函数的唯一环节:参数化方式、激活函数、层数与宽度共同定义假设类 。反向传播只计算该函数对参数的导数,不改变假设类。
- 没有非线性激活时,任意深度的前向传播与单个仿射映射等价,证明见本篇第 2 小节。此时深层网络相对线性回归没有表达能力增益,深度带来的全部收益都不存在。
- 前向传播的形状约定直接决定实现是否正确:批量矩阵乘法的轴顺序、偏置的广播方向、权重矩阵的存储约定三者必须一致,形状检查才能通过。
- 参数量与计算量公式是工程决策的输入:显存占用、单步训练时间、推理吞吐、并行切分方案都由每层的 与批大小 决定,相关分析见 模型推理优化 与 分布式训练与部署。
- 在全书中的位置:前置为 线性代数(矩阵乘法的维度规则)与 逻辑回归(单神经元);后续为 反向传播详解(消费本篇缓存的中间量)与 激活函数(替换本篇的 )。
- 对应能力目标:懂原理对应「写出层与假设类的形式定义」;能复现对应「用 NumPy 与 PyTorch 得到一致输出」;会评估对应「由参数量与 FLOPs 估算成本」。
原理与推导
1. 单个神经元
给定输入 、权重 、偏置 :
方程 是 中的超平面, 为其法向量, 决定该超平面到原点的有符号距离。当 为 logistic 函数时,该单元即 逻辑回归 的决策单元;当 为恒等映射时即线性回归。因此单个神经元不引入新内容,网络的表达能力来自层的堆叠与 的非线性。
对一批样本:
标量 沿批维广播, 个样本共享同一组 。
2. 非线性激活的必要性
命题:若每一层都是仿射映射,则整个网络的复合仍是仿射映射。
证明:设第 层的映射为
其中 为该层常数项,与偏置 同形。对层数作归纳。 时 ,为仿射映射。设 ,代入得
令 ,,则 仍为仿射映射,归纳完成。
展开整条链:
其中 时乘积为空,约定取单位矩阵 。
由此得到三个直接推论:
- 假设类坍缩为仿射函数类,与单层线性回归相同;堆叠层数不增加可表示函数的集合。
- 秩约束:,线性部分的映射秩受最窄层限制,与参数总量无关。
- 若输出层接 softmax 与交叉熵,则整个模型等价于多项逻辑回归,即 逻辑回归 的多类推广。
加入非线性后结论不同:只要存在一层 非仿射,复合就不再是仿射映射。以 ReLU 为例,网络是分段仿射函数,其线性区域数随层数增长,表达能力来自区域划分的细化。即使采用有界饱和的 sigmoid,含一个隐藏层的网络也能表示仿射模型无法表示的函数,例如异或。
3. 层的矩阵形式与批维度
第 层对一批样本的计算为
维度检查:,,乘积为 ; 的每一行都是 。 逐元素作用,不改变形状。
权重存储有两种等价约定:
| 约定 | 形状 | 前向写法 | 采用者 |
|---|---|---|---|
| 输出优先 | PyTorch nn.Linear | ||
| 输入优先 | 部分教材与手写 NumPy 代码 |
两种约定给出同一函数,但转置位置不同。当 时写错不报错,只会静默计算另一个函数。这是维度检查必须打印形状、而不能只看是否可运行的原因。
批维是计算装置而非统计结构:样本之间在前向传播中没有任何交互项, 的第 行只依赖 的第 行。因此增大 只改变并行度与内存占用,不改变单个样本的输出。
4. 参数量与计算量
参数量:
乘加次数(MAC,multiply-accumulate):单个样本前向为 。一次乘加含一次乘法与一次加法,按 FLOPs 计为两倍,另有激活函数的 次逐元素运算。批大小 下乘法部分按 线性增长:
以输入 、隐藏层 与 、输出 的三层网络为例:
| 层 | 参数量 | 每样本 MAC | ||
|---|---|---|---|---|
| 1 | 784 | 256 | 200,960 | 200,704 |
| 2 | 256 | 128 | 32,896 | 32,768 |
| 3 | 128 | 10 | 1,290 | 1,280 |
| 合计 | 235,146 | 234,752 |
手算第一层:。合计 。
批大小 时前向 MAC 数为 ,FLOPs 约 。一次训练步含前向与反向,反向的计算量约为前向的两倍,因此单步约 FLOPs。该比例成立的原因是反向传播中每个线性层需要两次同规模的矩阵乘法,推导见 反向传播详解。
参数量与计算量需要区分。本网络中每个权重在每个样本的前向计算中恰好参与一次乘加,因此每样本 MAC 数等于参数量减去偏置总数 ,即 。批大小 只放大计算量,不改变参数量。
5. 通用逼近定理
通用逼近定理(universal approximation theorem):设 非常数、有界、连续, 为紧集, 连续。则对任意 ,存在正整数 、向量 、偏置 与系数 ,使
满足 。
即单隐藏层网络在紧集上可以一致逼近任意连续函数。该定理的限定与结论同等重要:
- 只断言存在性。定理不说明梯度下降能否找到这组参数,也不给出所需样本量。优化与泛化是独立问题,分别由 优化器与学习率 与 正则化与调参 处理。
- 所需宽度 可能极大。 随输入维数增长可能需要指数级;深度可以换取宽度,某些函数用深层网络表示只需多项式规模,用单隐藏层网络则需要指数规模。Goodfellow 第 6 章对这一表达效率差异有系统讨论。
- 只覆盖紧集上的连续函数与一致范数。它不保证导数的逼近,不覆盖离散输出,也不说明分布外行为。
- 不蕴含泛化。在训练分布上逼近目标函数,与在未见数据上保持误差是两件事,后者取决于样本量与假设类复杂度。
- 不保证数值可实现。定理允许的权重绝对值可能超出浮点表示范围,或在有限精度下使前向计算失去意义。
结论应表述为:通用逼近定理说明单隐藏层网络的假设类在连续函数空间上稠密,因此容量通常不是主要瓶颈;它不说明可学习性与泛化性。
6. 参数初始化:方差分析
初始化的目标是使前向传播中各层激活的方差、以及反向传播中各层梯度的方差保持在合理量级,避免随层数指数衰减或指数增长。
前向方差。设某层输出为 ,假设:
- 独立同分布,,;
- 独立同分布,,;
- 与 相互独立。
先算单项方差。由独立性 ,故
再用独立性对 项求和:
要求前向传播保持方差,即 ,得
反向方差。损失对层输入的梯度为 ,即 。该式与前向同构,得 。要求保持梯度方差,则
两个条件一般不能同时满足,因为 。Xavier 初始化(Glorot 初始化)在方差尺度上折中,取 与 的调和平均:
该式对 与 对称,适用于关于原点近似线性的激活,例如 tanh 与 sigmoid 的中心区域。
ReLU 的修正。ReLU 将负半轴置零。若输入关于原点对称,则 :一半样本取值为 0,另一半保留原值。代回前向方差式得
要求 ,得
即 He 初始化(Kaiming 初始化)。反向条件同理给出 ;当 时二者一致,深层网络通常满足该近似。
均匀分布实现。若 ,则 。代入两式:
对应 PyTorch 的 xavier_uniform_ 与 kaiming_uniform_;正态版本为 xavier_normal_(标准差 )与 kaiming_normal_(标准差 )。
默认初始化的量级。nn.Linear 的默认初始化是 kaiming_uniform_(a=sqrt(5)),其均匀分布半宽为
此时 ,经 ReLU 再减半,得到 。 层后方差衰减为 ,标准差衰减为 。使用 He 初始化时该比值为 1,即 。
全零初始化的对称性。若 与 均初始化为零,则第 1 层所有隐藏单元的输出相同,反向传播中这些单元收到相同的梯度,更新后权重各行仍完全相同,网络的有效宽度始终为 1。打破该对称性依靠权重的随机初始化;偏置通常初始化为零,因为偏置不参与乘法,不会单独造成单元间的耦合。
7. 输出层与任务的对应
输出层的激活由输出所服从的分布假设决定,损失函数与之配对:
| 任务 | 输出维数 | 输出层激活 | 目标分布假设 | 损失 |
|---|---|---|---|---|
| 回归 | 或 | 恒等 | 高斯,固定方差 | MSE 或 MAE |
| 二分类 | sigmoid | 伯努利 | 二元交叉熵 | |
| 多分类互斥 | softmax | 类别分布 | 交叉熵 | |
| 多标签 | 逐类 sigmoid | 个独立伯努利 | 逐类二元交叉熵求和 | |
| 计数 | exp 或 softplus | 泊松 | 泊松负对数似然 |
两条实现约束:
- 多分类时网络末端输出未归一化的 logits,softmax 与对数运算由损失函数内部完成。PyTorch 的
nn.CrossEntropyLoss接受 logits,内部执行 log-softmax 与负对数似然;若在模型末端再加 softmax,等价于对已归一化的概率再做一次 log-softmax,梯度被压缩,训练显著变慢。 - 二分类时同理使用
nn.BCEWithLogitsLoss,它内部组合 sigmoid 与二元交叉熵,避免 在 为大负数时下溢。
sigmoid 与 softmax 在 时给出同一决策边界但概率标定不同:softmax 的输出之和恒为 1,sigmoid 对单个 logit 独立作用。多标签任务必须用逐类 sigmoid,因为类别不互斥。
8. 前向传播的完整流程
给定参数 、输入 、批大小 :
- 令 ,初始化缓存列表。
- 对 :计算 ,再计算 ,把 存入缓存。
- 对 :计算 ,按任务选择是否施加输出激活。
- 返回输出与缓存。缓存供 反向传播详解 计算局部梯度使用。
flowchart LR
X["X"] --> L1["层 1 仿射"]
L1 --> A1["a1 = phi1 z1"]
A1 --> L2["层 2 仿射"]
L2 --> A2["a2 = phi2 z2"]
A2 --> L3["层 L 仿射"]
L3 --> OUT["输出 logits 或概率"]
L1 -.缓存 z1.-> C["缓存"]
L2 -.缓存 z2.-> C
流程中唯一需要判断的环节是输出层是否施加激活,其余各层的结构完全一致。这也是 nn.Sequential 能把整个前向写成模块串联的原因。
关键直觉
机制性直觉
前向传播逐层施加「仿射变换加逐元素非线性」:仿射部分对上一层的表示施加线性变换与平移,非线性部分逐元素地截断或压缩该结果。每一层的输出是下一层的输入特征,网络深度等于复合函数的复合次数。与定义的关系是:定义给出 的复合形式,该直觉说明复合的每一步只做两件事,且参数矩阵的每一行对应输入空间中的一个超平面法向量。
例子与代码
手算例:两层网络
取 、、,参数为
输入 ,,输出层为 softmax。
第一层:
第二层:
softmax:
参数量为 ,每样本 MAC 为 。
若真实标签为第 2 类,交叉熵损失为 。该组数值在 反向传播详解 中继续用于手推梯度。
NumPy 实现三层 MLP 前向
运行环境:Python 3.10 以上,NumPy 1.24 以上。
import numpy as np
rng = np.random.default_rng(0)
# 形状约定与 torch.nn.Linear 一致:W 的形状为 (n_out, n_in),b 的形状为 (n_out,)
sizes = [784, 256, 128, 10]
def init_he(n_in, n_out, rng):
# He 正态初始化:标准差 sqrt(2/n_in),适用于 ReLU
std = np.sqrt(2.0 / n_in)
return rng.normal(0.0, std, size=(n_out, n_in)), np.zeros(n_out)
params = [init_he(n_in, n_out, rng) for n_in, n_out in zip(sizes[:-1], sizes[1:])]
def relu(z):
return np.maximum(z, 0.0)
def softmax(z):
z = z - z.max(axis=1, keepdims=True) # 减去每行最大值,防止 exp 溢出,输出不变
e = np.exp(z)
return e / e.sum(axis=1, keepdims=True) # 归一化为概率
def forward(X, params, verbose=True):
# 逐层前向;verbose 为真时打印每层形状,用于核对维度约定
a = X
if verbose:
print(f"输入 a0: {a.shape}")
for l, (W, b) in enumerate(params, start=1):
z = a @ W.T + b # (B, n_in) @ (n_in, n_out) -> (B, n_out)
a_next = relu(z) if l < len(params) else softmax(z)
if verbose:
# 隐藏层同时打印激活前值与激活值;输出层 a 即概率
print(f"第 {l} 层 z{l}: {z.shape} a{l}: {a_next.shape} W{l}: {W.shape} b{l}: {b.shape}")
a = a_next
return a
B = 64
X = rng.normal(size=(B, 784))
P = forward(X, params)
print("每行概率和为 1:", np.allclose(P.sum(axis=1), 1.0))
预期输出:
输入 a0: (64, 784)
第 1 层 z1: (64, 256) a1: (64, 256) W1: (256, 784) b1: (256,)
第 2 层 z2: (64, 128) a2: (64, 128) W2: (128, 256) b2: (128,)
第 3 层 z3: (64, 10) a3: (64, 10) W3: (10, 128) b3: (10,)
每行概率和为 1: True
逐块说明:
a @ W.T + b是本篇层公式的直接翻译。W.T把 转成 ,结果形状为 。若去掉.T,在 时立即报形状错误;在 时形状合法,但计算的是 而非 。b的形状为 ,NumPy 广播规则把它对齐到结果的最后一维,等价于对每一行加上同一个向量。若去掉b,每层的超平面都被强制过原点。z.max(axis=1, keepdims=True)中的keepdims保证减法的广播方向沿列进行;若省略, 与 相减会尝试按最后一维对齐,在 时报错,在 时静默算错。- 隐藏层用 ReLU、输出层用 softmax,对应第 7 小节的表格。该函数返回概率而非 logits,因此只适用于预测;训练时应返回 logits 并交给损失函数。
参数量与计算量可以独立核对:
print("参数量:", sum(W.size + b.size for W, b in params)) # 235146
print("每样本 MAC:", sum(n_in * n_out for n_in, n_out in zip(sizes[:-1], sizes[1:]))) # 234752
print("批 64 前向 FLOPs:", 2 * B * sum(n_in * n_out for n_in, n_out in zip(sizes[:-1], sizes[1:]))) # 30048256
PyTorch nn.Sequential 对照
运行环境:PyTorch 2.0 以上。
import torch
import torch.nn as nn
# 与 NumPy 版本同构:三个线性层,前两个之后接 ReLU
model = nn.Sequential(
nn.Linear(784, 256), nn.ReLU(),
nn.Linear(256, 128), nn.ReLU(),
nn.Linear(128, 10),
).double() # 转为 float64,便于与 NumPy 逐元素对照
# 把 NumPy 参数逐层拷入 PyTorch,确保两个实现计算同一个函数
linears = [m for m in model if isinstance(m, nn.Linear)]
with torch.no_grad():
for layer, (W, b) in zip(linears, params):
layer.weight.copy_(torch.from_numpy(W)) # 形状同为 (n_out, n_in)
layer.bias.copy_(torch.from_numpy(b))
with torch.no_grad(): # 推理不需要计算图,可省显存
logits = model(torch.from_numpy(X)) # (64, 10),未归一化
p_torch = torch.softmax(logits, dim=1)
print("logits 形状:", tuple(logits.shape)) # (64, 10)
print("最大绝对误差:", np.abs(p_torch.numpy() - P).max()) # 1e-16 量级
说明要点:
nn.Linear(n_in, n_out)的weight形状为 ,与本篇约定一致,因此可以直接copy_;若采用输入优先约定,必须先转置。model.double()把参数与缓冲转为 float64。默认 float32 与 NumPy 的 float64 相比,误差在 量级,无法据此判断实现是否一致。torch.no_grad()关闭计算图构建。训练时不能关闭,推理时应关闭;这一差异属于「训练/推理模式」的一部分,但不等于model.eval()。- 最大绝对误差预期在 量级,来源是两种矩阵乘法实现的求和顺序不同造成的舍入差异,不是算法差异。
初始化尺度的数值对照
L = 10
var_default = (1.0 / 6.0) ** L # 默认初始化每层方差乘 1/3,ReLU 后再乘 1/2
var_he = 1.0 ** L # He 初始化每层方差因子为 1
print(f"默认初始化 {L} 层后方差比: {var_default:.3e}") # 1.654e-08
print(f"He 初始化 {L} 层后方差比: {var_he:.3e}") # 1.000e+00
预期输出为 1.654e-08 与 1.000e+00。该比值是理论值,前提是每层输入零均值、权重独立;实际网络受偏置、批归一化与残差连接影响,比值不会精确等于理论值,但数量级关系成立。
易错点
常见错误
- 权重矩阵存储约定与乘法写法不一致。 存法必须写 , 存法必须写 ;当层宽相等时两种写法都能运行,但计算的是不同函数,只能靠形状打印与数值对照发现。
- 忘记偏置。省略 等价于强制所有超平面过原点;若输入不含常数维,第一层的决策边界被刚性约束,隐藏层也无法恢复平移自由度。
- 初始化尺度过小或过大。默认
nn.Linear初始化在 10 层 ReLU 网络后使激活方差降为 量级,梯度同步衰减;过大的初始化使 进入饱和区,sigmoid 与 tanh 的导数趋零。- 混淆训练与推理模式。Dropout 在
model.train()下随机置零、在model.eval()下恒等;BatchNorm 在训练时用批统计量、在推理时用滑动平均。忘记切换会让推理结果依赖批组成或带有随机性。- 在模型末端重复施加输出激活。
nn.CrossEntropyLoss与nn.BCEWithLogitsLoss内部已包含 softmax 或 sigmoid,模型只需输出 logits;重复施加会使梯度多乘一个量级为 的因子。- 批维与特征维颠倒。把 写成 后, 在 时形状合法,但矩阵乘法的收缩维变成了样本维而非特征维,输出与正确结果无关。
关联笔记
- 前置:线性代数 —— 矩阵乘法的维度规则与转置是层公式的唯一数学前提,三种存储约定的区别在此建立。
- 前置:逻辑回归 —— 单神经元加 sigmoid 即逻辑回归,输出层激活与损失的配对关系在此首次出现。
- 后续:反向传播详解 —— 本篇缓存的 与 是反向传播中局部梯度的输入,两层网络的手推在该篇继续。
- 后续:激活函数 —— 本篇只要求 非仿射,具体族的饱和性、单调性与梯度性质由该篇处理。
- 对照:PyTorch实战入门 —— 框架把本篇的形状约定、初始化与模式切换固化为 API,对照可检验手写实现是否等价。
达标检测
- [ ] 写出单个神经元与整层的前向公式,标注全部符号的维度,并说明偏置在批维上的广播规则。
- [ ] 不查笔记证明「全仿射网络的复合仍是仿射」,写出乘积形式与常数项累加形式,并说明该结论如何限制深度的作用。
- [ ] 对 784-256-128-10 网络手算参数量与每样本 MAC 数,结果分别为 235,146 与 234,752。
- [ ] 独立推导 Xavier 与 He 的方差条件,说明 、、 分别来自前向、反向还是折中,并写出对应的均匀分布半宽。
- [ ] 运行 NumPy 前向代码,把权重改为输入优先约定,说明需要修改哪些乘法与转置,并用打印的形状证明修改正确。
- [ ] 陈述通用逼近定理的三个前提与三条不能推出的结论,各举一个具体场景。
- [ ] 给定回归、五分类互斥、三标签多标签三个任务,分别写出输出维数、输出层激活与配对损失,并说明为何不能在交叉熵前手动加 softmax。
参考来源
- Goodfellow, Bengio, Courville, Deep Learning, 2016, 第 6 章 —— 对应本篇前馈网络定义、通用逼近定理的表述与深度表达效率的讨论。
- d2l.ai《动手学深度学习》,第 4 章「多层感知机」与第 5 章「深度学习计算」—— 对应前向传播流程、参数量计算与
nn.Sequential的用法。 - Stanford CS231n 课程笔记,Neural Networks Part 2 与 Part 3 —— 对应 Xavier 与 He 初始化的方差推导、均匀与正态实现及权重尺度对训练的影响。
- PyTorch 官方文档,
torch.nn.Linear、torch.nn.init、torch.nn.CrossEntropyLoss—— 对应默认初始化取值、初始化函数参数与输出层激活的配对约束。 - NumPy 官方文档,Broadcasting 一节 —— 对应批维度下偏置广播的规则与
keepdims的作用。