w wyl123ly 的博客
MD

优化算法-梯度下降与Adam

29 KB 2026.10.18 原文件

优化算法-梯度下降与Adam

定义

优化算法是在给定目标函数与参数空间的前提下,利用函数值或梯度信息生成迭代点序列 、使 逼近极小值的计算规则;本篇讨论一阶方法,即只使用梯度 的方法。

定义中出现的符号与术语:

  • :目标函数; 为参数维数; 为参数向量。
  • : 在 处的梯度,分量 ; 为第 步梯度。
  • :学习率或步长,决定沿负梯度方向的位移比例。
  • :梯度 Lipschitz 常数,满足 ;对二次型等于最大特征值。
  • :强凸常数,满足 ;对二次型等于最小特征值。
  • :条件数,衡量目标函数在不同方向上的曲率差异。
  • :Adam 的一阶矩与二阶矩估计; 为对应的指数衰减率; 为数值稳定项。
  • :权重衰减系数。

为什么重要

  • 训练神经网络可写为求解一个高维非凸优化问题。损失函数、模型结构与数据决定 ,优化算法决定能否在可接受的步数与显存内把 降到可用水平;同一模型在不同优化器下的结果差异可以达到数个百分点的准确率。
  • 学习率是对训练稳定性影响最大的超参数之一。步长超过 时梯度下降在二次型上发散;步长过小时收敛步数按条件数线性增长。掌握这一界,可以解释为什么归一化、残差连接与 LayerNorm 会改变可用的学习率范围。
  • 自适应方法与解耦权重衰减是工程实现的基础。Adam 的偏差修正、AdamW 的衰减方式、warmup 与余弦退火、批量大小与学习率的缩放规则,直接影响大模型预训练能否稳定启动。
  • 在全书中的位置:前置为 微积分与梯度 中的梯度与泰勒展开、线性代数 中的特征值;后续被 损失函数、优化器与学习率、反向传播详解 与全部训练流程引用。

原理与推导

1. 问题形式化与下降引理

无约束优化问题写作

若 可微且凸,最优性条件为 ;若 非凸,该条件只是驻点条件,需要二阶信息区分极小、极大与鞍点。

假设 的梯度是 -Lipschitz 的。由积分形式的泰勒定理,

对积分内的梯度用 Lipschitz 条件放缩:

积分后得到下降引理:

取 ,代入得

当 时右端不大于 ,在 时严格下降。把该替换重复执行,即得梯度下降迭代

这一推导给出步长的稳定性上界,但不说明该上界是最优步长。

2. 二次型的收敛分析

取

梯度为 ,唯一最优点为 。梯度下降迭代为

令误差 ,则 ,于是

对 做正交对角化 ,令 ,则分量独立演化:

因此收敛的充要条件是所有 满足 ,即

收敛速度由最慢的分量决定:

在 时,最大值由 给出,为 ,随 增大而减小;在 时,最大值由 给出,为 ,随 增大而增大。故最优步长为

达到精度 所需步数满足

若取 ,比稳定上界 保守一半,则最慢分量的衰减因子为 ,步数约为 ,是最优步长的两倍。若取 ,最大特征值方向的分量满足 ;只要初始误差在该方向有非零分量,它就以常数幅度振荡,误差不收敛到零。因此 只是不发散的必要边界,不是可用的收敛步长。这些估计表明:迭代次数与条件数成正比,曲率差异越大收敛越慢。

条件数 最优步长下的迭代次数估计,取 时的迭代次数估计

上表的数值由 与 计算,。它说明仅改变变量的尺度就可能让训练慢一个数量级;这也是输入标准化与归一化层能够加速优化的原因:它们降低了有效条件数。

3. 凸性、局部极小与鞍点

若对任意 与 有

则称 凸。对可微凸函数,凸性等价于

即函数位于任意切平面之上。凸函数的任一局部极小都是全局极小,且 是全局最优的充要条件。

非凸函数中, 的驻点按 Hessian 的定性分类:正定时为局部极小,负定时为局部极大,同时存在正负特征值时为鞍点。鞍点处沿负特征值方向移动可以降低目标值,但梯度在该点为零,一阶方法在鞍点附近位移很小。随机梯度带来的噪声可以使迭代离开鞍点附近;在高维参数空间中,驻点以鞍点为主,局部极小反而较少。另一类困难是平台区域:梯度范数很小但 Hessian 的最大特征值也小,此时需要较大的步长或二阶信息才能加速。

4. 随机梯度下降

设目标函数为有限和

每步抽取大小为 的批量 ,用

估计全梯度。若按均匀有放回抽样,则

即随机梯度是真实梯度的无偏估计。设单个样本梯度的方差为 ,则

因为 个独立同分布随机变量的平均的方差等于单个方差除以 。批量增大到原来的 倍,梯度标准差降为原来的 ,这是批量大小与学习率缩放规则的来源之一。

对 -smooth 非凸目标,取递减步长 时, 步之后的标准结论为

取常数步长时,迭代不会收敛到驻点,而是在其邻域内波动,最终梯度范数的平方存在 量级的噪声下界;步长越小,最终精度越高但收敛越慢。这一权衡是学习率衰减的理论依据。

5. Momentum 与 Nesterov

Momentum 维护一个梯度的一阶累积量:

展开递推得

即梯度按 的幂次加权求和,有效记忆长度约为 。若梯度恒为 ,则 ,稳态位移为 ,等效步长被放大 倍; 时放大 倍。在二次型上,取

收敛因子为 ,迭代次数从 降为 。这一加速依赖曲率信息;在非凸目标上,Momentum 的作用是沿持续一致的方向累积位移、抵消来回振荡的分量。

Nesterov 加速梯度把梯度取在外推点上:

与 Momentum 的差别只在梯度求值位置:先按当前动量向前试探 ,再在该点计算梯度。若试探点已经越过极小值,该点梯度方向反转,修正项会抵消一部分动量,因此振荡幅度小于 Momentum。对凸且 -smooth 的目标,Nesterov 的收敛率为 ,而梯度下降为 ;在深度学习中通常与 Momentum 表现接近,差异取决于目标函数的局部结构。

6. AdaGrad 与 RMSProp

AdaGrad 按坐标累积历史梯度平方:

其中 为逐元素乘,。由于 ,每个坐标的单步位移不超过 。梯度长期较大的坐标获得较小的有效步长,梯度稀疏的坐标获得较大的有效步长,因此适合特征频率差异大的问题。其缺点是 单调递增,有效学习率随时间单调衰减到零,训练后期几乎停止更新。对凸问题,AdaGrad 有 的遗憾界。

RMSProp 用指数移动平均替代单调累积:

其中 为衰减率,常用 或 。 近似为近期梯度平方的均值,使有效步长随局部梯度尺度变化而非随训练时长单调下降。

7. Adam 的完整更新式与偏差修正

Adam 同时维护一阶矩与二阶矩的指数移动平均:

初值 、,默认 、、。展开 :

若梯度平稳,即 ,则

故 。 的尺度是真实梯度的 倍,在 时仅为 。同理

偏差修正把这两个因子除掉:

于是 、。参数更新为

当梯度平稳且 可忽略时,,每个坐标的位移约为 ,与梯度尺度无关。这解释了 Adam 对梯度量级不敏感的性质,也解释了为什么它的有效步长不能被解释为真实的参数位移:在梯度噪声较大时,逐坐标归一化会放大噪声方向的位移。

8. AdamW 与解耦权重衰减

L2 正则把目标改为 ,梯度变为 ,并与其他梯度一样进入 。把一阶矩展开,,其中 是 经同一偏差修正后的指数平均;二阶矩 则由 计算。若暂时忽略 与 的差异,更新可近似写为

第二项是衰减项,它被逐坐标的 缩放。分母在不同坐标上不同,衰减强度因此依赖梯度统计量,失去了「每步按固定比例收缩参数」的含义;梯度平方大的坐标衰减更弱,这与「对所有参数施加同等收缩」的意图不一致。

AdamW 把衰减从梯度中分离:

衰减项只由 决定,与 无关。当 时每步把参数乘以 ;若 、,每步收缩 , 步累计收缩约 。L2 与解耦衰减仅在 为常数的情形下等价,在自适应方法中一般不成立。

9. 学习率 warmup 与余弦退火

线性 warmup 在前 步把学习率从接近零线性升至峰值:

其机制是:Adam 在最初几步的 只由少量梯度平方构成,估计方差大,逐坐标归一化可能产生远大于 的位移;warmup 限制早期位移,使矩估计积累到稳定值。对 Transformer 类模型,缺少 warmup 常导致前几百步损失上升或数值溢出。

余弦退火在 warmup 之后把学习率从 平滑降到 :

余弦曲线在两端导数为零,使学习率在训练末期平缓下降,避免步长骤降造成的损失反弹。 通常取 的 到 ,或直接取零。

10. 批量大小与学习率缩放

批量大小 影响梯度噪声方差 ,因此改变 时需要相应调整 。两种常用规则:

  • 线性缩放:。一个 epoch 内的参数位移约为 ,其中 为样本总数;令 可使每个 epoch 的总位移保持不变。该规则在小批量、训练步数足够多的情形下成立。
  • 平方根缩放:。单步由噪声引起的位移约为 ,令其保持不变可得 。该规则在批量较大、噪声主导的情形下更常用。

两者都是启发式规则,适用区间由临界批量大小划分:批量小于临界值时,增大批量并线性增大学习率可以保持甚至改善收敛;超过临界值后,梯度噪声的下降不再带来等比例的进度,继续增大批量只会减少串行步数,而不会减少达到同一精度所需的总样本量,此时平方根缩放或保持学习率不变更合适。实际训练还需同时调整 warmup 步数与权重衰减,因为二者的有效强度都依赖 与总步数。

11. 算法对比

方法维护状态更新式主要超参特点
GD无收敛速度受 限制,稳定上界
Momentum,抑制振荡,二次型上
Nesterov梯度取在 处凸情形 ,过冲更小
AdaGrad坐标自适应,学习率单调衰减
RMSProp用指数平均修正单调衰减
Adam偏差修正后逐坐标归一化尺度不敏感,需配合 warmup
AdamWAdam 更新加解耦衰减同上,另有 衰减强度与梯度统计解耦

关键直觉

机制性直觉

Adam 的更新方向由梯度的一阶指数平均给出,位移尺度由二阶指数平均的平方根归一化;当梯度平稳时 ,每个坐标的单步位移约为 。偏差修正的作用是除掉零初始化造成的 因子,使前几步的矩估计与真实矩同尺度;它不改变更新的方向,只改变早期的步长。上述表述对应第 7 节的两个期望等式与更新式。

例子与代码

实验设置

二次型取 , 为随机正交矩阵,,故最优点为 ,最优值 ,条件数 。三种方法的参数按理论或常用值设定:

  • GD:,取稳定上界的 ,以避免边界振荡。
  • Momentum:,,即二次型上的理论最优参数。
  • Adam:,其余取默认值。

Rosenbrock 函数为 ,全局极小在 ,。GD 取 ;Momentum 取 、,其等效步长 与 GD 同量级,便于比较;Adam 取 。停止准则为梯度范数小于 。

代码:三种优化器的轨迹对比

以下代码在 NumPy 2.x 下运行,固定随机种子,输出可逐位复现。

import numpy as np


def make_quad(kappa, seed=0):
    """构造条件数为 kappa 的二次型:A = Q diag(1, kappa) Q^T,最优点为 (1, 1)。"""
    rng = np.random.default_rng(seed)
    Q, _ = np.linalg.qr(rng.normal(size=(2, 2)))
    A = Q @ np.diag([1.0, kappa]) @ Q.T
    xstar = np.array([1.0, 1.0])
    return A, A @ xstar, xstar


def gd(g, x0, lr, steps, stop, trace=None):
    x = x0.copy()
    for t in range(1, steps + 1):
        x = x - lr * g(x)
        if trace is not None:
            trace.append(x.copy())
        if stop(x):
            return x, t
    return x, steps


def momentum(g, x0, lr, beta, steps, stop, trace=None):
    x = x0.copy()
    v = np.zeros_like(x)
    for t in range(1, steps + 1):
        v = beta * v + g(x)
        x = x - lr * v
        if trace is not None:
            trace.append(x.copy())
        if stop(x):
            return x, t
    return x, steps


def adam(g, x0, lr, steps, stop, trace=None, b1=0.9, b2=0.999, eps=1e-8):
    x = x0.copy()
    m = np.zeros_like(x)
    v = np.zeros_like(x)
    for t in range(1, steps + 1):
        gr = g(x)
        m = b1 * m + (1 - b1) * gr
        v = b2 * v + (1 - b2) * gr ** 2
        mhat = m / (1 - b1 ** t)      # 偏差修正
        vhat = v / (1 - b2 ** t)
        x = x - lr * mhat / (np.sqrt(vhat) + eps)
        if trace is not None:
            trace.append(x.copy())
        if stop(x):
            return x, t
    return x, steps


# 二次型:条件数 100
A, b, xstar = make_quad(100.0)
fq = lambda x: 0.5 * x @ A @ x - b @ x
gq = lambda x: A @ x - b
L, mu = np.linalg.eigvalsh(A)[-1], np.linalg.eigvalsh(A)[0]
lr_gd = 1.9 / L
beta_m = ((np.sqrt(L) - np.sqrt(mu)) / (np.sqrt(L) + np.sqrt(mu))) ** 2
lr_m = 4.0 / (np.sqrt(L) + np.sqrt(mu)) ** 2
print("cond=%.1f  L=%.3f  mu=%.3f  f*=%.4f" % (L / mu, L, mu, fq(xstar)))
print("lr_gd=%.4f  beta_m=%.3f  lr_m=%.5f" % (lr_gd, beta_m, lr_m))

x0 = np.zeros(2)
stop_q = lambda x: np.linalg.norm(x - xstar) < 1e-6
for name, fn, args in [("GD", gd, (lr_gd,)),
                       ("Momentum", momentum, (lr_m, beta_m)),
                       ("Adam", adam, (0.1,))]:
    x, t = fn(gq, x0, *args, 5000, stop_q)
    print(f"quad {name:8s} iters={t:4d} f={fq(x):.6f}")

# 前 8 步轨迹:每 2 步记录一次,观察位移方向与幅度
print("quadratic trajectory (every 2 steps):")
for name, fn, args in [("GD", gd, (lr_gd,)),
                       ("Momentum", momentum, (lr_m, beta_m)),
                       ("Adam", adam, (0.1,))]:
    trace = []
    fn(gq, x0, *args, 8, lambda x: False, trace)
    print(f"{name:8s}", np.round(np.array(trace[::2]), 3).tolist())

# 学习率越界的后果:50 步后的目标值
for ratio in [1.90, 1.95, 2.00, 2.05]:
    x, _ = gd(gq, x0, ratio / L, 50, lambda x: False)
    print(f"lr={ratio:.2f}/L  f_50={fq(x):.4e}")


# Rosenbrock 函数:f(x) = 100 (y - x^2)^2 + (1 - x)^2
def rosen(x):
    return 100.0 * (x[1] - x[0] ** 2) ** 2 + (1.0 - x[0]) ** 2


def gr(x):
    return np.array([-400.0 * x[0] * (x[1] - x[0] ** 2) - 2.0 * (1.0 - x[0]),
                     200.0 * (x[1] - x[0] ** 2)])


xr = np.array([-1.2, 1.0])
stop_r = lambda x: np.linalg.norm(gr(x)) < 1e-2
for name, fn, args in [("GD", gd, (1e-3,)),
                       ("Momentum", momentum, (2e-4, 0.9)),
                       ("Adam", adam, (0.01,))]:
    x, t = fn(gr, xr, *args, 20000, stop_r)
    print(f"rosen {name:8s} iters={t:5d} f={rosen(x):.3e} x={np.round(x, 4)}")


def lr_at(step, base=1e-3, warmup=5, total=50):
    """线性 warmup 后余弦退火到接近 0。"""
    if step < warmup:
        return base * (step + 1) / warmup
    prog = (step - warmup) / (total - warmup)
    return 0.5 * base * (1 + np.cos(np.pi * prog))


print("scheduled lr:", [round(float(lr_at(t)), 7) for t in [0, 2, 4, 5, 12, 25, 37, 49]])

输出:

cond=100.0  L=100.000  mu=1.000  f*=-31.7853
lr_gd=0.0190  beta_m=0.669  lr_m=0.03306
quad GD       iters= 729 f=-31.785265
quad Momentum iters=  94 f=-31.785265
quad Adam     iters= 297 f=-31.785265
quadratic trajectory (every 2 steps):
GD       [[1.475, -0.267], [1.351, -0.198], [1.251, -0.136], [1.172, -0.08]]
Momentum [[2.566, -0.464], [3.544, -0.512], [3.705, -0.368], [3.481, -0.154]]
Adam     [[0.1, -0.1], [0.297, -0.296], [0.484, -0.481], [0.652, -0.638]]
lr=1.90/L  f_50=-3.1683e+01
lr=1.95/L  f_50=-3.1505e+01
lr=2.00/L  f_50=-5.9766e-01
lr=2.05/L  f_50=4.0575e+03
rosen GD       iters= 9085 f=1.229e-04 x=[0.9889 0.9779]
rosen Momentum iters= 4466 f=1.229e-04 x=[0.9889 0.9779]
rosen Adam     iters= 3510 f=1.041e-04 x=[0.9898 0.9797]
scheduled lr: [0.0002, 0.0006, 0.001, 0.001, 0.0009415, 0.0005868, 0.0001922, 1.2e-06]

各部分的作用与删除后的后果:

  • make_quad 用随机正交矩阵把对角阵旋转,使 具有非零的非对角元,避免坐标轴与特征方向重合而掩盖条件数的影响。若改为 ,GD 在坐标上的行为相同,但无法检验方法对特征方向旋转的不变性。
  • 二次型的停止准则是 ,直接度量参数误差;Rosenbrock 的停止准则是 ,因为在非凸问题中最优点未知,只能检验一阶平稳性。若对 Rosenbrock 也使用参数误差,需要预先知道 ,会掩盖算法在错误方向上的停滞。
  • GD 实测 步,与第 2 节的估计 接近;差异来自初始误差在各特征方向上的分布与停止准则的范数形式。
  • Momentum 实测 步,与理论估计 同量级;理论值只计最慢特征方向,未计瞬态项。
  • Adam 实测 步。其逐坐标归一化使步长不随曲率缩小,因此在条件数 的二次型上不需要 步;但步长固定为 量级,接近最优点时会在其邻域内反复调整,实测步数反而多于调优后的 Momentum。
  • 轨迹段每 步取一个记录点,共 个点,对应第 步。GD 首步沿负梯度到达 ,随后在高曲率方向上往复收缩,前 步仍在 附近;Momentum 的位移累积到 后才折返,体现等效步长放大带来的过冲;Adam 每步位移约为 ,方向由一阶矩平滑给出,前 步沿同一方向匀速推进。三者都朝 移动,差异来自步长与方向的计算方式。
  • 学习率表中 与 在 步后已接近最优值; 时对应 的特征分量满足 ,该分量不衰减,目标值停在 ; 时 ,该分量指数增长,目标值升至 。
  • Rosenbrock 的极小值位于一条弯曲的窄区域内,梯度在横向大、沿纵向小。GD 需要 步才使梯度范数降到 ;Momentum 用等效步长 降到 步;Adam 用 步,目标值 ,低于前两者的 。三者的差异说明自适应步长与动量各自改善了不同的病态来源。
  • 学习率调度输出中前五个点覆盖 warmup 段与余弦段起点,后三个点覆盖衰减中段与末端;末端 约为峰值的 ,符合余弦退火在 时接近 的设计。

易错点

常见错误

- 把 当作最优学习率。它只是二次型上不发散的上界;最优步长为 。 较大时两者数值接近,但收敛因子分别为 与 ,迭代次数相差约一倍;此外在 处最大特征值方向的分量满足 ,以常数幅度振荡而不衰减。

- 忽略特征尺度对条件数的影响。条件数依赖变量的尺度:把某一维特征乘以 , 与 随之改变, 与收敛速度也改变;标准化与归一化层的作用之一就是控制这一比值。

- 认为 Adam 的更新步长等于 。逐坐标归一化后单步位移约为 ,但参数的真实位移还受梯度方向、 与 影响;在梯度噪声大时, 的绝对值可能远小于 。

- 忘记 Adam 的偏差修正,或只修正一阶矩。未修正时前几步的 与 都被 缩小,更新方向正确但步长偏小;只修正一项会破坏 的尺度关系。

- 把 Adam 加 L2 等同于 AdamW。L2 项进入 后被 逐坐标缩放,衰减强度依赖梯度统计;AdamW 的衰减因子固定为 。

- 在改变批量大小时只改 而不改 warmup 与训练步数。线性缩放保持每 epoch 位移,但总步数随 减少;若不相应增加学习率衰减的步数预算,等效训练时长会缩短。

关联笔记

  • 前置:微积分与梯度 —— 梯度、泰勒展开与 Lipschitz 连续性是下降引理与收敛分析的基础。
  • 前置:线性代数 —— 二次型的特征值给出 、 与条件数,正交对角化给出误差的逐分量演化。
  • 后续:损失函数 —— 被优化的目标函数;不同损失对应不同的 与梯度尺度。
  • 后续:优化器与学习率 —— 工程实现、参数分组、混合精度下的数值问题与调度实践。
  • 对照:矩阵分解-SVD与特征分解 —— 奇异值与条件数的关系,以及病态矩阵对数值稳定性的影响。

达标检测

  • [ ] 能由 -smooth 条件推出下降引理,并说明 的来历。
  • [ ] 能对二次型写出误差递推 ,推导最优步长 与收敛因子 ,并说明为什么 不是收敛步长。
  • [ ] 能写出 Momentum、Nesterov、AdaGrad、RMSProp 的更新式,并说明各自解决了什么问题。
  • [ ] 能独立完成 Adam 偏差修正的推导,解释 与 的期望为何等于真实矩。
  • [ ] 能写出 AdamW 的更新式,并用代数说明它与「Adam 加 L2」在何时不等价。
  • [ ] 能运行本篇代码,把条件数改为 与 ,记录 GD 与 Momentum 的迭代次数并解释比例关系。

参考来源

  • Kingma & Ba, Adam: A Method for Stochastic Optimization, arXiv:1412.6980 —— 对应本篇第 7 节的完整更新式、偏差修正与默认超参。
  • Goodfellow et al., Deep Learning, 2016, 第 8 章 —— 对应优化基础、动量、自适应方法、鞍点与二阶信息的作用。
  • d2l.ai《动手学深度学习》,优化算法章 —— 对应 SGD、Momentum、AdaGrad、RMSProp、Adam 的实现与学习率调度。
  • PyTorch 官方文档,torch.optim.AdamW 与 torch.optim.lr_scheduler —— 对应解耦权重衰减、warmup 与余弦退火的工程实现和参数含义。