优化算法-梯度下降与Adam
定义
优化算法是在给定目标函数与参数空间的前提下,利用函数值或梯度信息生成迭代点序列 、使 逼近极小值的计算规则;本篇讨论一阶方法,即只使用梯度 的方法。
定义中出现的符号与术语:
- :目标函数; 为参数维数; 为参数向量。
- : 在 处的梯度,分量 ; 为第 步梯度。
- :学习率或步长,决定沿负梯度方向的位移比例。
- :梯度 Lipschitz 常数,满足 ;对二次型等于最大特征值。
- :强凸常数,满足 ;对二次型等于最小特征值。
- :条件数,衡量目标函数在不同方向上的曲率差异。
- :Adam 的一阶矩与二阶矩估计; 为对应的指数衰减率; 为数值稳定项。
- :权重衰减系数。
为什么重要
- 训练神经网络可写为求解一个高维非凸优化问题。损失函数、模型结构与数据决定 ,优化算法决定能否在可接受的步数与显存内把 降到可用水平;同一模型在不同优化器下的结果差异可以达到数个百分点的准确率。
- 学习率是对训练稳定性影响最大的超参数之一。步长超过 时梯度下降在二次型上发散;步长过小时收敛步数按条件数线性增长。掌握这一界,可以解释为什么归一化、残差连接与 LayerNorm 会改变可用的学习率范围。
- 自适应方法与解耦权重衰减是工程实现的基础。Adam 的偏差修正、AdamW 的衰减方式、warmup 与余弦退火、批量大小与学习率的缩放规则,直接影响大模型预训练能否稳定启动。
- 在全书中的位置:前置为 微积分与梯度 中的梯度与泰勒展开、线性代数 中的特征值;后续被 损失函数、优化器与学习率、反向传播详解 与全部训练流程引用。
原理与推导
1. 问题形式化与下降引理
无约束优化问题写作
若 可微且凸,最优性条件为 ;若 非凸,该条件只是驻点条件,需要二阶信息区分极小、极大与鞍点。
假设 的梯度是 -Lipschitz 的。由积分形式的泰勒定理,
对积分内的梯度用 Lipschitz 条件放缩:
积分后得到下降引理:
取 ,代入得
当 时右端不大于 ,在 时严格下降。把该替换重复执行,即得梯度下降迭代
这一推导给出步长的稳定性上界,但不说明该上界是最优步长。
2. 二次型的收敛分析
取
梯度为 ,唯一最优点为 。梯度下降迭代为
令误差 ,则 ,于是
对 做正交对角化 ,令 ,则分量独立演化:
因此收敛的充要条件是所有 满足 ,即
收敛速度由最慢的分量决定:
在 时,最大值由 给出,为 ,随 增大而减小;在 时,最大值由 给出,为 ,随 增大而增大。故最优步长为
达到精度 所需步数满足
若取 ,比稳定上界 保守一半,则最慢分量的衰减因子为 ,步数约为 ,是最优步长的两倍。若取 ,最大特征值方向的分量满足 ;只要初始误差在该方向有非零分量,它就以常数幅度振荡,误差不收敛到零。因此 只是不发散的必要边界,不是可用的收敛步长。这些估计表明:迭代次数与条件数成正比,曲率差异越大收敛越慢。
| 条件数 | 最优步长下的迭代次数估计, | 取 时的迭代次数估计 |
|---|---|---|
上表的数值由 与 计算,。它说明仅改变变量的尺度就可能让训练慢一个数量级;这也是输入标准化与归一化层能够加速优化的原因:它们降低了有效条件数。
3. 凸性、局部极小与鞍点
若对任意 与 有
则称 凸。对可微凸函数,凸性等价于
即函数位于任意切平面之上。凸函数的任一局部极小都是全局极小,且 是全局最优的充要条件。
非凸函数中, 的驻点按 Hessian 的定性分类:正定时为局部极小,负定时为局部极大,同时存在正负特征值时为鞍点。鞍点处沿负特征值方向移动可以降低目标值,但梯度在该点为零,一阶方法在鞍点附近位移很小。随机梯度带来的噪声可以使迭代离开鞍点附近;在高维参数空间中,驻点以鞍点为主,局部极小反而较少。另一类困难是平台区域:梯度范数很小但 Hessian 的最大特征值也小,此时需要较大的步长或二阶信息才能加速。
4. 随机梯度下降
设目标函数为有限和
每步抽取大小为 的批量 ,用
估计全梯度。若按均匀有放回抽样,则
即随机梯度是真实梯度的无偏估计。设单个样本梯度的方差为 ,则
因为 个独立同分布随机变量的平均的方差等于单个方差除以 。批量增大到原来的 倍,梯度标准差降为原来的 ,这是批量大小与学习率缩放规则的来源之一。
对 -smooth 非凸目标,取递减步长 时, 步之后的标准结论为
取常数步长时,迭代不会收敛到驻点,而是在其邻域内波动,最终梯度范数的平方存在 量级的噪声下界;步长越小,最终精度越高但收敛越慢。这一权衡是学习率衰减的理论依据。
5. Momentum 与 Nesterov
Momentum 维护一个梯度的一阶累积量:
展开递推得
即梯度按 的幂次加权求和,有效记忆长度约为 。若梯度恒为 ,则 ,稳态位移为 ,等效步长被放大 倍; 时放大 倍。在二次型上,取
收敛因子为 ,迭代次数从 降为 。这一加速依赖曲率信息;在非凸目标上,Momentum 的作用是沿持续一致的方向累积位移、抵消来回振荡的分量。
Nesterov 加速梯度把梯度取在外推点上:
与 Momentum 的差别只在梯度求值位置:先按当前动量向前试探 ,再在该点计算梯度。若试探点已经越过极小值,该点梯度方向反转,修正项会抵消一部分动量,因此振荡幅度小于 Momentum。对凸且 -smooth 的目标,Nesterov 的收敛率为 ,而梯度下降为 ;在深度学习中通常与 Momentum 表现接近,差异取决于目标函数的局部结构。
6. AdaGrad 与 RMSProp
AdaGrad 按坐标累积历史梯度平方:
其中 为逐元素乘,。由于 ,每个坐标的单步位移不超过 。梯度长期较大的坐标获得较小的有效步长,梯度稀疏的坐标获得较大的有效步长,因此适合特征频率差异大的问题。其缺点是 单调递增,有效学习率随时间单调衰减到零,训练后期几乎停止更新。对凸问题,AdaGrad 有 的遗憾界。
RMSProp 用指数移动平均替代单调累积:
其中 为衰减率,常用 或 。 近似为近期梯度平方的均值,使有效步长随局部梯度尺度变化而非随训练时长单调下降。
7. Adam 的完整更新式与偏差修正
Adam 同时维护一阶矩与二阶矩的指数移动平均:
初值 、,默认 、、。展开 :
若梯度平稳,即 ,则
故 。 的尺度是真实梯度的 倍,在 时仅为 。同理
偏差修正把这两个因子除掉:
于是 、。参数更新为
当梯度平稳且 可忽略时,,每个坐标的位移约为 ,与梯度尺度无关。这解释了 Adam 对梯度量级不敏感的性质,也解释了为什么它的有效步长不能被解释为真实的参数位移:在梯度噪声较大时,逐坐标归一化会放大噪声方向的位移。
8. AdamW 与解耦权重衰减
L2 正则把目标改为 ,梯度变为 ,并与其他梯度一样进入 。把一阶矩展开,,其中 是 经同一偏差修正后的指数平均;二阶矩 则由 计算。若暂时忽略 与 的差异,更新可近似写为
第二项是衰减项,它被逐坐标的 缩放。分母在不同坐标上不同,衰减强度因此依赖梯度统计量,失去了「每步按固定比例收缩参数」的含义;梯度平方大的坐标衰减更弱,这与「对所有参数施加同等收缩」的意图不一致。
AdamW 把衰减从梯度中分离:
衰减项只由 决定,与 无关。当 时每步把参数乘以 ;若 、,每步收缩 , 步累计收缩约 。L2 与解耦衰减仅在 为常数的情形下等价,在自适应方法中一般不成立。
9. 学习率 warmup 与余弦退火
线性 warmup 在前 步把学习率从接近零线性升至峰值:
其机制是:Adam 在最初几步的 只由少量梯度平方构成,估计方差大,逐坐标归一化可能产生远大于 的位移;warmup 限制早期位移,使矩估计积累到稳定值。对 Transformer 类模型,缺少 warmup 常导致前几百步损失上升或数值溢出。
余弦退火在 warmup 之后把学习率从 平滑降到 :
余弦曲线在两端导数为零,使学习率在训练末期平缓下降,避免步长骤降造成的损失反弹。 通常取 的 到 ,或直接取零。
10. 批量大小与学习率缩放
批量大小 影响梯度噪声方差 ,因此改变 时需要相应调整 。两种常用规则:
- 线性缩放:。一个 epoch 内的参数位移约为 ,其中 为样本总数;令 可使每个 epoch 的总位移保持不变。该规则在小批量、训练步数足够多的情形下成立。
- 平方根缩放:。单步由噪声引起的位移约为 ,令其保持不变可得 。该规则在批量较大、噪声主导的情形下更常用。
两者都是启发式规则,适用区间由临界批量大小划分:批量小于临界值时,增大批量并线性增大学习率可以保持甚至改善收敛;超过临界值后,梯度噪声的下降不再带来等比例的进度,继续增大批量只会减少串行步数,而不会减少达到同一精度所需的总样本量,此时平方根缩放或保持学习率不变更合适。实际训练还需同时调整 warmup 步数与权重衰减,因为二者的有效强度都依赖 与总步数。
11. 算法对比
| 方法 | 维护状态 | 更新式 | 主要超参 | 特点 |
|---|---|---|---|---|
| GD | 无 | 收敛速度受 限制,稳定上界 | ||
| Momentum | , | 抑制振荡,二次型上 | ||
| Nesterov | 梯度取在 处 | 凸情形 ,过冲更小 | ||
| AdaGrad | 坐标自适应,学习率单调衰减 | |||
| RMSProp | 用指数平均修正单调衰减 | |||
| Adam | 偏差修正后逐坐标归一化 | 尺度不敏感,需配合 warmup | ||
| AdamW | Adam 更新加解耦衰减 | 同上,另有 | 衰减强度与梯度统计解耦 |
关键直觉
机制性直觉
Adam 的更新方向由梯度的一阶指数平均给出,位移尺度由二阶指数平均的平方根归一化;当梯度平稳时 ,每个坐标的单步位移约为 。偏差修正的作用是除掉零初始化造成的 因子,使前几步的矩估计与真实矩同尺度;它不改变更新的方向,只改变早期的步长。上述表述对应第 7 节的两个期望等式与更新式。
例子与代码
实验设置
二次型取 , 为随机正交矩阵,,故最优点为 ,最优值 ,条件数 。三种方法的参数按理论或常用值设定:
- GD:,取稳定上界的 ,以避免边界振荡。
- Momentum:,,即二次型上的理论最优参数。
- Adam:,其余取默认值。
Rosenbrock 函数为 ,全局极小在 ,。GD 取 ;Momentum 取 、,其等效步长 与 GD 同量级,便于比较;Adam 取 。停止准则为梯度范数小于 。
代码:三种优化器的轨迹对比
以下代码在 NumPy 2.x 下运行,固定随机种子,输出可逐位复现。
import numpy as np
def make_quad(kappa, seed=0):
"""构造条件数为 kappa 的二次型:A = Q diag(1, kappa) Q^T,最优点为 (1, 1)。"""
rng = np.random.default_rng(seed)
Q, _ = np.linalg.qr(rng.normal(size=(2, 2)))
A = Q @ np.diag([1.0, kappa]) @ Q.T
xstar = np.array([1.0, 1.0])
return A, A @ xstar, xstar
def gd(g, x0, lr, steps, stop, trace=None):
x = x0.copy()
for t in range(1, steps + 1):
x = x - lr * g(x)
if trace is not None:
trace.append(x.copy())
if stop(x):
return x, t
return x, steps
def momentum(g, x0, lr, beta, steps, stop, trace=None):
x = x0.copy()
v = np.zeros_like(x)
for t in range(1, steps + 1):
v = beta * v + g(x)
x = x - lr * v
if trace is not None:
trace.append(x.copy())
if stop(x):
return x, t
return x, steps
def adam(g, x0, lr, steps, stop, trace=None, b1=0.9, b2=0.999, eps=1e-8):
x = x0.copy()
m = np.zeros_like(x)
v = np.zeros_like(x)
for t in range(1, steps + 1):
gr = g(x)
m = b1 * m + (1 - b1) * gr
v = b2 * v + (1 - b2) * gr ** 2
mhat = m / (1 - b1 ** t) # 偏差修正
vhat = v / (1 - b2 ** t)
x = x - lr * mhat / (np.sqrt(vhat) + eps)
if trace is not None:
trace.append(x.copy())
if stop(x):
return x, t
return x, steps
# 二次型:条件数 100
A, b, xstar = make_quad(100.0)
fq = lambda x: 0.5 * x @ A @ x - b @ x
gq = lambda x: A @ x - b
L, mu = np.linalg.eigvalsh(A)[-1], np.linalg.eigvalsh(A)[0]
lr_gd = 1.9 / L
beta_m = ((np.sqrt(L) - np.sqrt(mu)) / (np.sqrt(L) + np.sqrt(mu))) ** 2
lr_m = 4.0 / (np.sqrt(L) + np.sqrt(mu)) ** 2
print("cond=%.1f L=%.3f mu=%.3f f*=%.4f" % (L / mu, L, mu, fq(xstar)))
print("lr_gd=%.4f beta_m=%.3f lr_m=%.5f" % (lr_gd, beta_m, lr_m))
x0 = np.zeros(2)
stop_q = lambda x: np.linalg.norm(x - xstar) < 1e-6
for name, fn, args in [("GD", gd, (lr_gd,)),
("Momentum", momentum, (lr_m, beta_m)),
("Adam", adam, (0.1,))]:
x, t = fn(gq, x0, *args, 5000, stop_q)
print(f"quad {name:8s} iters={t:4d} f={fq(x):.6f}")
# 前 8 步轨迹:每 2 步记录一次,观察位移方向与幅度
print("quadratic trajectory (every 2 steps):")
for name, fn, args in [("GD", gd, (lr_gd,)),
("Momentum", momentum, (lr_m, beta_m)),
("Adam", adam, (0.1,))]:
trace = []
fn(gq, x0, *args, 8, lambda x: False, trace)
print(f"{name:8s}", np.round(np.array(trace[::2]), 3).tolist())
# 学习率越界的后果:50 步后的目标值
for ratio in [1.90, 1.95, 2.00, 2.05]:
x, _ = gd(gq, x0, ratio / L, 50, lambda x: False)
print(f"lr={ratio:.2f}/L f_50={fq(x):.4e}")
# Rosenbrock 函数:f(x) = 100 (y - x^2)^2 + (1 - x)^2
def rosen(x):
return 100.0 * (x[1] - x[0] ** 2) ** 2 + (1.0 - x[0]) ** 2
def gr(x):
return np.array([-400.0 * x[0] * (x[1] - x[0] ** 2) - 2.0 * (1.0 - x[0]),
200.0 * (x[1] - x[0] ** 2)])
xr = np.array([-1.2, 1.0])
stop_r = lambda x: np.linalg.norm(gr(x)) < 1e-2
for name, fn, args in [("GD", gd, (1e-3,)),
("Momentum", momentum, (2e-4, 0.9)),
("Adam", adam, (0.01,))]:
x, t = fn(gr, xr, *args, 20000, stop_r)
print(f"rosen {name:8s} iters={t:5d} f={rosen(x):.3e} x={np.round(x, 4)}")
def lr_at(step, base=1e-3, warmup=5, total=50):
"""线性 warmup 后余弦退火到接近 0。"""
if step < warmup:
return base * (step + 1) / warmup
prog = (step - warmup) / (total - warmup)
return 0.5 * base * (1 + np.cos(np.pi * prog))
print("scheduled lr:", [round(float(lr_at(t)), 7) for t in [0, 2, 4, 5, 12, 25, 37, 49]])
输出:
cond=100.0 L=100.000 mu=1.000 f*=-31.7853
lr_gd=0.0190 beta_m=0.669 lr_m=0.03306
quad GD iters= 729 f=-31.785265
quad Momentum iters= 94 f=-31.785265
quad Adam iters= 297 f=-31.785265
quadratic trajectory (every 2 steps):
GD [[1.475, -0.267], [1.351, -0.198], [1.251, -0.136], [1.172, -0.08]]
Momentum [[2.566, -0.464], [3.544, -0.512], [3.705, -0.368], [3.481, -0.154]]
Adam [[0.1, -0.1], [0.297, -0.296], [0.484, -0.481], [0.652, -0.638]]
lr=1.90/L f_50=-3.1683e+01
lr=1.95/L f_50=-3.1505e+01
lr=2.00/L f_50=-5.9766e-01
lr=2.05/L f_50=4.0575e+03
rosen GD iters= 9085 f=1.229e-04 x=[0.9889 0.9779]
rosen Momentum iters= 4466 f=1.229e-04 x=[0.9889 0.9779]
rosen Adam iters= 3510 f=1.041e-04 x=[0.9898 0.9797]
scheduled lr: [0.0002, 0.0006, 0.001, 0.001, 0.0009415, 0.0005868, 0.0001922, 1.2e-06]
各部分的作用与删除后的后果:
make_quad用随机正交矩阵把对角阵旋转,使 具有非零的非对角元,避免坐标轴与特征方向重合而掩盖条件数的影响。若改为 ,GD 在坐标上的行为相同,但无法检验方法对特征方向旋转的不变性。- 二次型的停止准则是 ,直接度量参数误差;Rosenbrock 的停止准则是 ,因为在非凸问题中最优点未知,只能检验一阶平稳性。若对 Rosenbrock 也使用参数误差,需要预先知道 ,会掩盖算法在错误方向上的停滞。
- GD 实测 步,与第 2 节的估计 接近;差异来自初始误差在各特征方向上的分布与停止准则的范数形式。
- Momentum 实测 步,与理论估计 同量级;理论值只计最慢特征方向,未计瞬态项。
- Adam 实测 步。其逐坐标归一化使步长不随曲率缩小,因此在条件数 的二次型上不需要 步;但步长固定为 量级,接近最优点时会在其邻域内反复调整,实测步数反而多于调优后的 Momentum。
- 轨迹段每 步取一个记录点,共 个点,对应第 步。GD 首步沿负梯度到达 ,随后在高曲率方向上往复收缩,前 步仍在 附近;Momentum 的位移累积到 后才折返,体现等效步长放大带来的过冲;Adam 每步位移约为 ,方向由一阶矩平滑给出,前 步沿同一方向匀速推进。三者都朝 移动,差异来自步长与方向的计算方式。
- 学习率表中 与 在 步后已接近最优值; 时对应 的特征分量满足 ,该分量不衰减,目标值停在 ; 时 ,该分量指数增长,目标值升至 。
- Rosenbrock 的极小值位于一条弯曲的窄区域内,梯度在横向大、沿纵向小。GD 需要 步才使梯度范数降到 ;Momentum 用等效步长 降到 步;Adam 用 步,目标值 ,低于前两者的 。三者的差异说明自适应步长与动量各自改善了不同的病态来源。
- 学习率调度输出中前五个点覆盖 warmup 段与余弦段起点,后三个点覆盖衰减中段与末端;末端 约为峰值的 ,符合余弦退火在 时接近 的设计。
易错点
常见错误
- 把 当作最优学习率。它只是二次型上不发散的上界;最优步长为 。 较大时两者数值接近,但收敛因子分别为 与 ,迭代次数相差约一倍;此外在 处最大特征值方向的分量满足 ,以常数幅度振荡而不衰减。
- 忽略特征尺度对条件数的影响。条件数依赖变量的尺度:把某一维特征乘以 , 与 随之改变, 与收敛速度也改变;标准化与归一化层的作用之一就是控制这一比值。
- 认为 Adam 的更新步长等于 。逐坐标归一化后单步位移约为 ,但参数的真实位移还受梯度方向、 与 影响;在梯度噪声大时, 的绝对值可能远小于 。
- 忘记 Adam 的偏差修正,或只修正一阶矩。未修正时前几步的 与 都被 缩小,更新方向正确但步长偏小;只修正一项会破坏 的尺度关系。
- 把 Adam 加 L2 等同于 AdamW。L2 项进入 后被 逐坐标缩放,衰减强度依赖梯度统计;AdamW 的衰减因子固定为 。
- 在改变批量大小时只改 而不改 warmup 与训练步数。线性缩放保持每 epoch 位移,但总步数随 减少;若不相应增加学习率衰减的步数预算,等效训练时长会缩短。
关联笔记
- 前置:微积分与梯度 —— 梯度、泰勒展开与 Lipschitz 连续性是下降引理与收敛分析的基础。
- 前置:线性代数 —— 二次型的特征值给出 、 与条件数,正交对角化给出误差的逐分量演化。
- 后续:损失函数 —— 被优化的目标函数;不同损失对应不同的 与梯度尺度。
- 后续:优化器与学习率 —— 工程实现、参数分组、混合精度下的数值问题与调度实践。
- 对照:矩阵分解-SVD与特征分解 —— 奇异值与条件数的关系,以及病态矩阵对数值稳定性的影响。
达标检测
- [ ] 能由 -smooth 条件推出下降引理,并说明 的来历。
- [ ] 能对二次型写出误差递推 ,推导最优步长 与收敛因子 ,并说明为什么 不是收敛步长。
- [ ] 能写出 Momentum、Nesterov、AdaGrad、RMSProp 的更新式,并说明各自解决了什么问题。
- [ ] 能独立完成 Adam 偏差修正的推导,解释 与 的期望为何等于真实矩。
- [ ] 能写出 AdamW 的更新式,并用代数说明它与「Adam 加 L2」在何时不等价。
- [ ] 能运行本篇代码,把条件数改为 与 ,记录 GD 与 Momentum 的迭代次数并解释比例关系。
参考来源
- Kingma & Ba, Adam: A Method for Stochastic Optimization, arXiv:1412.6980 —— 对应本篇第 7 节的完整更新式、偏差修正与默认超参。
- Goodfellow et al., Deep Learning, 2016, 第 8 章 —— 对应优化基础、动量、自适应方法、鞍点与二阶信息的作用。
- d2l.ai《动手学深度学习》,优化算法章 —— 对应 SGD、Momentum、AdaGrad、RMSProp、Adam 的实现与学习率调度。
- PyTorch 官方文档,
torch.optim.AdamW与torch.optim.lr_scheduler—— 对应解耦权重衰减、warmup 与余弦退火的工程实现和参数含义。