---
tags: [AI, 数学基础, 优化]
阶段: 01-数学基础
难度: ★★★
created: 2026-10-18
related: "[[微积分与梯度]], [[损失函数]], [[优化器与学习率]]"
---

# 优化算法-梯度下降与Adam

## 定义

优化算法是在给定目标函数与参数空间的前提下，利用函数值或梯度信息生成迭代点序列 $\{x_t\}$、使 $f(x_t)$ 逼近极小值的计算规则；本篇讨论一阶方法，即只使用梯度 $\nabla f$ 的方法。

定义中出现的符号与术语：

- $f:\mathbb{R}^{d}\to\mathbb{R}$：目标函数；$d$ 为参数维数；$x\in\mathbb{R}^{d}$ 为参数向量。
- $\nabla f(x)$：$f$ 在 $x$ 处的梯度，分量 $\partial f/\partial x_i$；$g_t=\nabla f(x_t)$ 为第 $t$ 步梯度。
- $\eta>0$：学习率或步长，决定沿负梯度方向的位移比例。
- $L$：梯度 Lipschitz 常数，满足 $\|\nabla f(x)-\nabla f(y)\|\le L\|x-y\|$；对二次型等于最大特征值。
- $\mu$：强凸常数，满足 $f(y)\ge f(x)+\nabla f(x)^{\top}(y-x)+\frac{\mu}{2}\|y-x\|^{2}$；对二次型等于最小特征值。
- $\kappa=L/\mu$：条件数，衡量目标函数在不同方向上的曲率差异。
- $m_t,v_t$：Adam 的一阶矩与二阶矩估计；$\beta_1,\beta_2$ 为对应的指数衰减率；$\varepsilon$ 为数值稳定项。
- $\lambda$：权重衰减系数。

## 为什么重要

- 训练神经网络可写为求解一个高维非凸优化问题。损失函数、模型结构与数据决定 $f$，优化算法决定能否在可接受的步数与显存内把 $f$ 降到可用水平；同一模型在不同优化器下的结果差异可以达到数个百分点的准确率。
- 学习率是对训练稳定性影响最大的超参数之一。步长超过 $2/L$ 时梯度下降在二次型上发散；步长过小时收敛步数按条件数线性增长。掌握这一界，可以解释为什么归一化、残差连接与 LayerNorm 会改变可用的学习率范围。
- 自适应方法与解耦权重衰减是工程实现的基础。Adam 的偏差修正、AdamW 的衰减方式、warmup 与余弦退火、批量大小与学习率的缩放规则，直接影响大模型预训练能否稳定启动。
- 在全书中的位置：前置为 [[微积分与梯度]] 中的梯度与泰勒展开、[[线性代数]] 中的特征值；后续被 [[损失函数]]、[[优化器与学习率]]、[[反向传播详解]] 与全部训练流程引用。

## 原理与推导

### 1. 问题形式化与下降引理

无约束优化问题写作

$$
\min_{x\in\mathbb{R}^{d}} f(x).
$$

若 $f$ 可微且凸，最优性条件为 $\nabla f(x^{\star})=0$；若 $f$ 非凸，该条件只是驻点条件，需要二阶信息区分极小、极大与鞍点。

假设 $f$ 的梯度是 $L$-Lipschitz 的。由积分形式的泰勒定理，

$$
f(y)-f(x)=\int_{0}^{1}\nabla f\big(x+t(y-x)\big)^{\top}(y-x)\,\mathrm{d}t.
$$

对积分内的梯度用 Lipschitz 条件放缩：

$$
\nabla f\big(x+t(y-x)\big)^{\top}(y-x)
\le\|\nabla f(x)\|\|y-x\|+tL\|y-x\|^{2}.
$$

积分后得到**下降引理**：

$$
f(y)\le f(x)+\nabla f(x)^{\top}(y-x)+\frac{L}{2}\|y-x\|^{2}.
$$

取 $y=x-\eta\nabla f(x)$，代入得

$$
f(x-\eta\nabla f(x))\le f(x)-\eta\left(1-\frac{L\eta}{2}\right)\|\nabla f(x)\|^{2}.
$$

当 $0<\eta<2/L$ 时右端不大于 $f(x)$，在 $\nabla f(x)\ne\mathbf{0}$ 时严格下降。把该替换重复执行，即得梯度下降迭代

$$
x_{t+1}=x_t-\eta\nabla f(x_t).
$$

这一推导给出步长的稳定性上界，但不说明该上界是最优步长。

### 2. 二次型的收敛分析

取

$$
f(x)=\frac{1}{2}x^{\top}\mathbf{A}x-\mathbf{b}^{\top}x,\qquad \mathbf{A}=\mathbf{A}^{\top}\succ0,
$$

梯度为 $\nabla f(x)=\mathbf{A}x-\mathbf{b}$，唯一最优点为 $x^{\star}=\mathbf{A}^{-1}\mathbf{b}$。梯度下降迭代为

$$
x_{t+1}=x_t-\eta(\mathbf{A}x_t-\mathbf{b}).
$$

令误差 $e_t=x_t-x^{\star}$，则 $\mathbf{A}x_t-\mathbf{b}=\mathbf{A}e_t$，于是

$$
e_{t+1}=(\mathbf{I}-\eta\mathbf{A})e_t.
$$

对 $\mathbf{A}$ 做正交对角化 $\mathbf{A}=\mathbf{Q}\boldsymbol{\Lambda}\mathbf{Q}^{\top}$，令 $z_t=\mathbf{Q}^{\top}e_t$，则分量独立演化：

$$
z_{t+1,i}=(1-\eta\lambda_i)z_{t,i}
\quad\Longrightarrow\quad
z_{t,i}=(1-\eta\lambda_i)^{t}z_{0,i}.
$$

因此收敛的充要条件是所有 $i$ 满足 $|1-\eta\lambda_i|<1$，即

$$
0<\eta<\frac{2}{\lambda_{\max}}=\frac{2}{L}.
$$

收敛速度由最慢的分量决定：

$$
\|e_t\|\le\rho(\eta)^{t}\|e_0\|,\qquad
\rho(\eta)=\max_{i}|1-\eta\lambda_i|.
$$

在 $\eta\le2/(L+\mu)$ 时，最大值由 $\lambda_{\min}=\mu$ 给出，为 $1-\eta\mu$，随 $\eta$ 增大而减小；在 $\eta\ge2/(L+\mu)$ 时，最大值由 $\lambda_{\max}=L$ 给出，为 $\eta L-1$，随 $\eta$ 增大而增大。故最优步长为

$$
\eta^{\star}=\frac{2}{L+\mu},
\qquad
\rho^{\star}=\frac{L-\mu}{L+\mu}=\frac{\kappa-1}{\kappa+1}.
$$

达到精度 $\|e_t\|\le\varepsilon$ 所需步数满足

$$
t\ge\frac{\ln(1/\varepsilon)}{\ln\left(\frac{\kappa+1}{\kappa-1}\right)}
\approx\frac{\kappa}{2}\ln\frac{1}{\varepsilon}\quad(\kappa\gg1).
$$

若取 $\eta=1/L$，比稳定上界 $2/L$ 保守一半，则最慢分量的衰减因子为 $1-\mu/L=1-1/\kappa$，步数约为 $\kappa\ln(1/\varepsilon)$，是最优步长的两倍。若取 $\eta=2/L$，最大特征值方向的分量满足 $|1-\eta L|=1$；只要初始误差在该方向有非零分量，它就以常数幅度振荡，误差不收敛到零。因此 $2/L$ 只是不发散的必要边界，不是可用的收敛步长。这些估计表明：迭代次数与条件数成正比，曲率差异越大收敛越慢。

| 条件数 $\kappa$ | 最优步长下的迭代次数估计，$\varepsilon=10^{-6}$ | 取 $\eta=1/L$ 时的迭代次数估计 |
|---|---|---|
| $10$ | $69$ | $138$ |
| $100$ | $690$ | $1382$ |
| $1000$ | $6908$ | $13816$ |

上表的数值由 $\frac{\kappa}{2}\ln10^{6}$ 与 $\kappa\ln10^{6}$ 计算，$\ln10^{6}\approx13.82$。它说明仅改变变量的尺度就可能让训练慢一个数量级；这也是输入标准化与归一化层能够加速优化的原因：它们降低了有效条件数。

### 3. 凸性、局部极小与鞍点

若对任意 $x,y$ 与 $\theta\in[0,1]$ 有

$$
f(\theta x+(1-\theta)y)\le\theta f(x)+(1-\theta)f(y),
$$

则称 $f$ 凸。对可微凸函数，凸性等价于

$$
f(y)\ge f(x)+\nabla f(x)^{\top}(y-x),
$$

即函数位于任意切平面之上。凸函数的任一局部极小都是全局极小，且 $\nabla f(x)=0$ 是全局最优的充要条件。

非凸函数中，$\nabla f(x)=0$ 的驻点按 Hessian $\nabla^{2}f(x)$ 的定性分类：正定时为局部极小，负定时为局部极大，同时存在正负特征值时为**鞍点**。鞍点处沿负特征值方向移动可以降低目标值，但梯度在该点为零，一阶方法在鞍点附近位移很小。随机梯度带来的噪声可以使迭代离开鞍点附近；在高维参数空间中，驻点以鞍点为主，局部极小反而较少。另一类困难是平台区域：梯度范数很小但 Hessian 的最大特征值也小，此时需要较大的步长或二阶信息才能加速。

### 4. 随机梯度下降

设目标函数为有限和

$$
f(x)=\frac{1}{N}\sum_{i=1}^{N}f_i(x),
$$

每步抽取大小为 $B$ 的批量 $\mathcal{B}_t$，用

$$
g_t=\frac{1}{B}\sum_{i\in\mathcal{B}_t}\nabla f_i(x_t)
$$

估计全梯度。若按均匀有放回抽样，则

$$
\mathbb{E}[g_t]=\frac{1}{B}\sum_{i\in\mathcal{B}_t}\mathbb{E}[\nabla f_i(x_t)]=\nabla f(x_t),
$$

即随机梯度是真实梯度的无偏估计。设单个样本梯度的方差为 $\sigma^{2}$，则

$$
\operatorname{Var}(g_t)=\frac{\sigma^{2}}{B},
$$

因为 $B$ 个独立同分布随机变量的平均的方差等于单个方差除以 $B$。批量增大到原来的 $B$ 倍，梯度标准差降为原来的 $1/\sqrt{B}$，这是批量大小与学习率缩放规则的来源之一。

对 $L$-smooth 非凸目标，取递减步长 $\eta_t=\eta/\sqrt{t}$ 时，$T$ 步之后的标准结论为

$$
\min_{1\le t\le T}\mathbb{E}\left[\|\nabla f(x_t)\|^{2}\right]
\le O\left(\frac{1}{\sqrt{T}}\right).
$$

取常数步长时，迭代不会收敛到驻点，而是在其邻域内波动，最终梯度范数的平方存在 $O(\eta\sigma^{2})$ 量级的噪声下界；步长越小，最终精度越高但收敛越慢。这一权衡是学习率衰减的理论依据。

### 5. Momentum 与 Nesterov

**Momentum** 维护一个梯度的一阶累积量：

$$
v_{t+1}=\beta v_t+\nabla f(x_t),\qquad
x_{t+1}=x_t-\eta v_{t+1},\qquad 0\le\beta<1.
$$

展开递推得

$$
v_{t+1}=\sum_{i=0}^{t}\beta^{t-i}\nabla f(x_i),
$$

即梯度按 $\beta$ 的幂次加权求和，有效记忆长度约为 $1/(1-\beta)$。若梯度恒为 $g$，则 $v_t\to g/(1-\beta)$，稳态位移为 $\eta g/(1-\beta)$，等效步长被放大 $1/(1-\beta)$ 倍；$\beta=0.9$ 时放大 $10$ 倍。在二次型上，取

$$
\beta^{\star}=\left(\frac{\sqrt{\kappa}-1}{\sqrt{\kappa}+1}\right)^{2},
\qquad
\eta^{\star}=\frac{4}{(\sqrt{L}+\sqrt{\mu})^{2}},
$$

收敛因子为 $(\sqrt{\kappa}-1)/(\sqrt{\kappa}+1)$，迭代次数从 $O(\kappa)$ 降为 $O(\sqrt{\kappa})$。这一加速依赖曲率信息；在非凸目标上，Momentum 的作用是沿持续一致的方向累积位移、抵消来回振荡的分量。

**Nesterov 加速梯度**把梯度取在外推点上：

$$
v_{t+1}=\beta v_t+\nabla f\big(x_t-\eta\beta v_t\big),
\qquad
x_{t+1}=x_t-\eta v_{t+1}.
$$

与 Momentum 的差别只在梯度求值位置：先按当前动量向前试探 $\eta\beta v_t$，再在该点计算梯度。若试探点已经越过极小值，该点梯度方向反转，修正项会抵消一部分动量，因此振荡幅度小于 Momentum。对凸且 $L$-smooth 的目标，Nesterov 的收敛率为 $O(1/t^{2})$，而梯度下降为 $O(1/t)$；在深度学习中通常与 Momentum 表现接近，差异取决于目标函数的局部结构。

### 6. AdaGrad 与 RMSProp

**AdaGrad** 按坐标累积历史梯度平方：

$$
G_t=G_{t-1}+g_t\odot g_t,\qquad
x_{t+1}=x_t-\frac{\eta}{\sqrt{G_t}+\varepsilon}\odot g_t,
$$

其中 $\odot$ 为逐元素乘，$G_0=0$。由于 $\sqrt{G_{t,i}}\ge|g_{t,i}|$，每个坐标的单步位移不超过 $\eta$。梯度长期较大的坐标获得较小的有效步长，梯度稀疏的坐标获得较大的有效步长，因此适合特征频率差异大的问题。其缺点是 $G_t$ 单调递增，有效学习率随时间单调衰减到零，训练后期几乎停止更新。对凸问题，AdaGrad 有 $O(\sqrt{T})$ 的遗憾界。

**RMSProp** 用指数移动平均替代单调累积：

$$
s_t=\rho s_{t-1}+(1-\rho)g_t\odot g_t,\qquad
x_{t+1}=x_t-\frac{\eta}{\sqrt{s_t}+\varepsilon}\odot g_t,
$$

其中 $\rho\in[0,1)$ 为衰减率，常用 $0.9$ 或 $0.99$。$s_t$ 近似为近期梯度平方的均值，使有效步长随局部梯度尺度变化而非随训练时长单调下降。

### 7. Adam 的完整更新式与偏差修正

**Adam** 同时维护一阶矩与二阶矩的指数移动平均：

$$
m_t=\beta_1m_{t-1}+(1-\beta_1)g_t,\qquad
v_t=\beta_2v_{t-1}+(1-\beta_2)g_t\odot g_t,
$$

初值 $m_0=\mathbf{0}$、$v_0=\mathbf{0}$，默认 $\beta_1=0.9$、$\beta_2=0.999$、$\varepsilon=10^{-8}$。展开 $m_t$：

$$
m_t=(1-\beta_1)\sum_{i=1}^{t}\beta_1^{t-i}g_i.
$$

若梯度平稳，即 $g_i\equiv g$，则

$$
m_t=(1-\beta_1)g\sum_{i=1}^{t}\beta_1^{t-i}
=(1-\beta_1)g\cdot\frac{1-\beta_1^{t}}{1-\beta_1}
=(1-\beta_1^{t})g,
$$

故 $\mathbb{E}[m_t]=(1-\beta_1^{t})\mathbb{E}[g]$。$m_t$ 的尺度是真实梯度的 $1-\beta_1^{t}$ 倍，在 $t=1$ 时仅为 $0.1g$。同理

$$
v_t=(1-\beta_2)\sum_{i=1}^{t}\beta_2^{t-i}g_i\odot g_i,
\qquad
\mathbb{E}[v_t]=(1-\beta_2^{t})\mathbb{E}[g\odot g].
$$

**偏差修正**把这两个因子除掉：

$$
\hat m_t=\frac{m_t}{1-\beta_1^{t}},\qquad
\hat v_t=\frac{v_t}{1-\beta_2^{t}},
$$

于是 $\mathbb{E}[\hat m_t]=\mathbb{E}[g]$、$\mathbb{E}[\hat v_t]=\mathbb{E}[g\odot g]$。参数更新为

$$
x_{t+1}=x_t-\eta\frac{\hat m_t}{\sqrt{\hat v_t}+\varepsilon}.
$$

当梯度平稳且 $\varepsilon$ 可忽略时，$\hat m_t/\sqrt{\hat v_t}\approx g/|g|=\operatorname{sign}(g)$，每个坐标的位移约为 $\eta$，与梯度尺度无关。这解释了 Adam 对梯度量级不敏感的性质，也解释了为什么它的有效步长不能被解释为真实的参数位移：在梯度噪声较大时，逐坐标归一化会放大噪声方向的位移。

### 8. AdamW 与解耦权重衰减

L2 正则把目标改为 $f(x)+\frac{\lambda}{2}\|x\|^{2}$，梯度变为 $g'_t=g_t+\lambda x_t$，并与其他梯度一样进入 $m_t,v_t$。把一阶矩展开，$\hat m'_t=\hat m_t+\lambda\hat x_t$，其中 $\hat x_t$ 是 $x_t$ 经同一偏差修正后的指数平均；二阶矩 $\hat v'_t$ 则由 $g'$ 计算。若暂时忽略 $\hat v'$ 与 $\hat v$ 的差异，更新可近似写为

$$
x_{t+1}\approx x_t-\eta\frac{\hat m_t}{\sqrt{\hat v_t}+\varepsilon}
-\eta\frac{\lambda\hat x_t}{\sqrt{\hat v_t}+\varepsilon}.
$$

第二项是衰减项，它被逐坐标的 $1/(\sqrt{\hat v_t}+\varepsilon)$ 缩放。分母在不同坐标上不同，衰减强度因此依赖梯度统计量，失去了「每步按固定比例收缩参数」的含义；梯度平方大的坐标衰减更弱，这与「对所有参数施加同等收缩」的意图不一致。

**AdamW** 把衰减从梯度中分离：

$$
x_{t+1}=x_t-\eta\frac{\hat m_t}{\sqrt{\hat v_t}+\varepsilon}-\eta\lambda x_t
=(1-\eta\lambda)x_t-\eta\frac{\hat m_t}{\sqrt{\hat v_t}+\varepsilon}.
$$

衰减项只由 $\eta\lambda$ 决定，与 $\hat v_t$ 无关。当 $\eta\lambda<1$ 时每步把参数乘以 $1-\eta\lambda$；若 $\lambda=0.01$、$\eta=10^{-4}$，每步收缩 $10^{-6}$，$10000$ 步累计收缩约 $1\%$。L2 与解耦衰减仅在 $\sqrt{\hat v_t}$ 为常数的情形下等价，在自适应方法中一般不成立。

### 9. 学习率 warmup 与余弦退火

**线性 warmup** 在前 $T_w$ 步把学习率从接近零线性升至峰值：

$$
\eta_t=\eta_{\max}\frac{t+1}{T_w},\qquad t<T_w.
$$

其机制是：Adam 在最初几步的 $\hat v_t$ 只由少量梯度平方构成，估计方差大，逐坐标归一化可能产生远大于 $\eta$ 的位移；warmup 限制早期位移，使矩估计积累到稳定值。对 Transformer 类模型，缺少 warmup 常导致前几百步损失上升或数值溢出。

**余弦退火**在 warmup 之后把学习率从 $\eta_{\max}$ 平滑降到 $\eta_{\min}$：

$$
\eta_t=\eta_{\min}+\frac{1}{2}(\eta_{\max}-\eta_{\min})
\left(1+\cos\left(\pi\frac{t-T_w}{T-T_w}\right)\right),\qquad T_w\le t\le T.
$$

余弦曲线在两端导数为零，使学习率在训练末期平缓下降，避免步长骤降造成的损失反弹。$\eta_{\min}$ 通常取 $\eta_{\max}$ 的 $1\%$ 到 $10\%$，或直接取零。

### 10. 批量大小与学习率缩放

批量大小 $B$ 影响梯度噪声方差 $\sigma^{2}/B$，因此改变 $B$ 时需要相应调整 $\eta$。两种常用规则：

- 线性缩放：$\eta=\eta_0\cdot B/B_0$。一个 epoch 内的参数位移约为 $\eta N/B$，其中 $N$ 为样本总数；令 $\eta\propto B$ 可使每个 epoch 的总位移保持不变。该规则在小批量、训练步数足够多的情形下成立。
- 平方根缩放：$\eta=\eta_0\cdot\sqrt{B/B_0}$。单步由噪声引起的位移约为 $\eta\sigma/\sqrt{B}$，令其保持不变可得 $\eta\propto\sqrt{B}$。该规则在批量较大、噪声主导的情形下更常用。

两者都是启发式规则，适用区间由临界批量大小划分：批量小于临界值时，增大批量并线性增大学习率可以保持甚至改善收敛；超过临界值后，梯度噪声的下降不再带来等比例的进度，继续增大批量只会减少串行步数，而不会减少达到同一精度所需的总样本量，此时平方根缩放或保持学习率不变更合适。实际训练还需同时调整 warmup 步数与权重衰减，因为二者的有效强度都依赖 $\eta$ 与总步数。

### 11. 算法对比

| 方法 | 维护状态 | 更新式 | 主要超参 | 特点 |
|---|---|---|---|---|
| GD | 无 | $x\leftarrow x-\eta g$ | $\eta$ | 收敛速度受 $\kappa$ 限制，稳定上界 $2/L$ |
| Momentum | $v$ | $v\leftarrow\beta v+g$，$x\leftarrow x-\eta v$ | $\eta,\beta$ | 抑制振荡，二次型上 $O(\sqrt{\kappa})$ |
| Nesterov | $v$ | 梯度取在 $x-\eta\beta v$ 处 | $\eta,\beta$ | 凸情形 $O(1/t^{2})$，过冲更小 |
| AdaGrad | $G$ | $x\leftarrow x-\eta g/(\sqrt{G}+\varepsilon)$ | $\eta$ | 坐标自适应，学习率单调衰减 |
| RMSProp | $s$ | $s\leftarrow\rho s+(1-\rho)g^{2}$ | $\eta,\rho$ | 用指数平均修正单调衰减 |
| Adam | $m,v$ | 偏差修正后逐坐标归一化 | $\eta,\beta_1,\beta_2,\varepsilon$ | 尺度不敏感，需配合 warmup |
| AdamW | $m,v$ | Adam 更新加解耦衰减 | 同上，另有 $\lambda$ | 衰减强度与梯度统计解耦 |

## 关键直觉

> [!tip] 机制性直觉
> Adam 的更新方向由梯度的一阶指数平均给出，位移尺度由二阶指数平均的平方根归一化；当梯度平稳时 $\hat m_t/\sqrt{\hat v_t}\approx\operatorname{sign}(g_t)$，每个坐标的单步位移约为 $\eta$。偏差修正的作用是除掉零初始化造成的 $(1-\beta^{t})$ 因子，使前几步的矩估计与真实矩同尺度；它不改变更新的方向，只改变早期的步长。上述表述对应第 7 节的两个期望等式与更新式。

## 例子与代码

### 实验设置

二次型取 $\mathbf{A}=\mathbf{Q}\operatorname{diag}(1,100)\mathbf{Q}^{\top}$，$\mathbf{Q}$ 为随机正交矩阵，$\mathbf{b}=\mathbf{A}\mathbf{1}$，故最优点为 $\mathbf{x}^{\star}=(1,1)$，最优值 $f^{\star}=-31.7853$，条件数 $\kappa=100$。三种方法的参数按理论或常用值设定：

- GD：$\eta=1.9/L=0.019$，取稳定上界的 $95\%$，以避免边界振荡。
- Momentum：$\beta=((\sqrt{\kappa}-1)/(\sqrt{\kappa}+1))^{2}=0.669$，$\eta=4/(\sqrt{L}+\sqrt{\mu})^{2}=0.03306$，即二次型上的理论最优参数。
- Adam：$\eta=0.1$，其余取默认值。

Rosenbrock 函数为 $f(x,y)=100(y-x^{2})^{2}+(1-x)^{2}$，全局极小在 $(1,1)$，$f=0$。GD 取 $\eta=10^{-3}$；Momentum 取 $\eta=2\times10^{-4}$、$\beta=0.9$，其等效步长 $\eta/(1-\beta)=2\times10^{-3}$ 与 GD 同量级，便于比较；Adam 取 $\eta=0.01$。停止准则为梯度范数小于 $10^{-2}$。

### 代码：三种优化器的轨迹对比

以下代码在 NumPy 2.x 下运行，固定随机种子，输出可逐位复现。

```python
import numpy as np


def make_quad(kappa, seed=0):
    """构造条件数为 kappa 的二次型：A = Q diag(1, kappa) Q^T，最优点为 (1, 1)。"""
    rng = np.random.default_rng(seed)
    Q, _ = np.linalg.qr(rng.normal(size=(2, 2)))
    A = Q @ np.diag([1.0, kappa]) @ Q.T
    xstar = np.array([1.0, 1.0])
    return A, A @ xstar, xstar


def gd(g, x0, lr, steps, stop, trace=None):
    x = x0.copy()
    for t in range(1, steps + 1):
        x = x - lr * g(x)
        if trace is not None:
            trace.append(x.copy())
        if stop(x):
            return x, t
    return x, steps


def momentum(g, x0, lr, beta, steps, stop, trace=None):
    x = x0.copy()
    v = np.zeros_like(x)
    for t in range(1, steps + 1):
        v = beta * v + g(x)
        x = x - lr * v
        if trace is not None:
            trace.append(x.copy())
        if stop(x):
            return x, t
    return x, steps


def adam(g, x0, lr, steps, stop, trace=None, b1=0.9, b2=0.999, eps=1e-8):
    x = x0.copy()
    m = np.zeros_like(x)
    v = np.zeros_like(x)
    for t in range(1, steps + 1):
        gr = g(x)
        m = b1 * m + (1 - b1) * gr
        v = b2 * v + (1 - b2) * gr ** 2
        mhat = m / (1 - b1 ** t)      # 偏差修正
        vhat = v / (1 - b2 ** t)
        x = x - lr * mhat / (np.sqrt(vhat) + eps)
        if trace is not None:
            trace.append(x.copy())
        if stop(x):
            return x, t
    return x, steps


# 二次型：条件数 100
A, b, xstar = make_quad(100.0)
fq = lambda x: 0.5 * x @ A @ x - b @ x
gq = lambda x: A @ x - b
L, mu = np.linalg.eigvalsh(A)[-1], np.linalg.eigvalsh(A)[0]
lr_gd = 1.9 / L
beta_m = ((np.sqrt(L) - np.sqrt(mu)) / (np.sqrt(L) + np.sqrt(mu))) ** 2
lr_m = 4.0 / (np.sqrt(L) + np.sqrt(mu)) ** 2
print("cond=%.1f  L=%.3f  mu=%.3f  f*=%.4f" % (L / mu, L, mu, fq(xstar)))
print("lr_gd=%.4f  beta_m=%.3f  lr_m=%.5f" % (lr_gd, beta_m, lr_m))

x0 = np.zeros(2)
stop_q = lambda x: np.linalg.norm(x - xstar) < 1e-6
for name, fn, args in [("GD", gd, (lr_gd,)),
                       ("Momentum", momentum, (lr_m, beta_m)),
                       ("Adam", adam, (0.1,))]:
    x, t = fn(gq, x0, *args, 5000, stop_q)
    print(f"quad {name:8s} iters={t:4d} f={fq(x):.6f}")

# 前 8 步轨迹：每 2 步记录一次，观察位移方向与幅度
print("quadratic trajectory (every 2 steps):")
for name, fn, args in [("GD", gd, (lr_gd,)),
                       ("Momentum", momentum, (lr_m, beta_m)),
                       ("Adam", adam, (0.1,))]:
    trace = []
    fn(gq, x0, *args, 8, lambda x: False, trace)
    print(f"{name:8s}", np.round(np.array(trace[::2]), 3).tolist())

# 学习率越界的后果：50 步后的目标值
for ratio in [1.90, 1.95, 2.00, 2.05]:
    x, _ = gd(gq, x0, ratio / L, 50, lambda x: False)
    print(f"lr={ratio:.2f}/L  f_50={fq(x):.4e}")


# Rosenbrock 函数：f(x) = 100 (y - x^2)^2 + (1 - x)^2
def rosen(x):
    return 100.0 * (x[1] - x[0] ** 2) ** 2 + (1.0 - x[0]) ** 2


def gr(x):
    return np.array([-400.0 * x[0] * (x[1] - x[0] ** 2) - 2.0 * (1.0 - x[0]),
                     200.0 * (x[1] - x[0] ** 2)])


xr = np.array([-1.2, 1.0])
stop_r = lambda x: np.linalg.norm(gr(x)) < 1e-2
for name, fn, args in [("GD", gd, (1e-3,)),
                       ("Momentum", momentum, (2e-4, 0.9)),
                       ("Adam", adam, (0.01,))]:
    x, t = fn(gr, xr, *args, 20000, stop_r)
    print(f"rosen {name:8s} iters={t:5d} f={rosen(x):.3e} x={np.round(x, 4)}")


def lr_at(step, base=1e-3, warmup=5, total=50):
    """线性 warmup 后余弦退火到接近 0。"""
    if step < warmup:
        return base * (step + 1) / warmup
    prog = (step - warmup) / (total - warmup)
    return 0.5 * base * (1 + np.cos(np.pi * prog))


print("scheduled lr:", [round(float(lr_at(t)), 7) for t in [0, 2, 4, 5, 12, 25, 37, 49]])
```

输出：

```text
cond=100.0  L=100.000  mu=1.000  f*=-31.7853
lr_gd=0.0190  beta_m=0.669  lr_m=0.03306
quad GD       iters= 729 f=-31.785265
quad Momentum iters=  94 f=-31.785265
quad Adam     iters= 297 f=-31.785265
quadratic trajectory (every 2 steps):
GD       [[1.475, -0.267], [1.351, -0.198], [1.251, -0.136], [1.172, -0.08]]
Momentum [[2.566, -0.464], [3.544, -0.512], [3.705, -0.368], [3.481, -0.154]]
Adam     [[0.1, -0.1], [0.297, -0.296], [0.484, -0.481], [0.652, -0.638]]
lr=1.90/L  f_50=-3.1683e+01
lr=1.95/L  f_50=-3.1505e+01
lr=2.00/L  f_50=-5.9766e-01
lr=2.05/L  f_50=4.0575e+03
rosen GD       iters= 9085 f=1.229e-04 x=[0.9889 0.9779]
rosen Momentum iters= 4466 f=1.229e-04 x=[0.9889 0.9779]
rosen Adam     iters= 3510 f=1.041e-04 x=[0.9898 0.9797]
scheduled lr: [0.0002, 0.0006, 0.001, 0.001, 0.0009415, 0.0005868, 0.0001922, 1.2e-06]
```

各部分的作用与删除后的后果：

- `make_quad` 用随机正交矩阵把对角阵旋转，使 $\mathbf{A}$ 具有非零的非对角元，避免坐标轴与特征方向重合而掩盖条件数的影响。若改为 $\mathbf{A}=\operatorname{diag}(1,100)$，GD 在坐标上的行为相同，但无法检验方法对特征方向旋转的不变性。
- 二次型的停止准则是 $\|x-x^{\star}\|<10^{-6}$，直接度量参数误差；Rosenbrock 的停止准则是 $\|\nabla f\|<10^{-2}$，因为在非凸问题中最优点未知，只能检验一阶平稳性。若对 Rosenbrock 也使用参数误差，需要预先知道 $(1,1)$，会掩盖算法在错误方向上的停滞。
- GD 实测 $729$ 步，与第 2 节的估计 $\ln(10^{6})/\ln(1/(1-\eta\mu))=\ln(10^{6})/\ln(1/0.981)\approx720$ 接近；差异来自初始误差在各特征方向上的分布与停止准则的范数形式。
- Momentum 实测 $94$ 步，与理论估计 $\ln(10^{6})/\ln((\sqrt{\kappa}+1)/(\sqrt{\kappa}-1))\approx69$ 同量级；理论值只计最慢特征方向，未计瞬态项。
- Adam 实测 $297$ 步。其逐坐标归一化使步长不随曲率缩小，因此在条件数 $100$ 的二次型上不需要 $O(\kappa)$ 步；但步长固定为 $0.1$ 量级，接近最优点时会在其邻域内反复调整，实测步数反而多于调优后的 Momentum。
- 轨迹段每 $2$ 步取一个记录点，共 $4$ 个点，对应第 $1,3,5,7$ 步。GD 首步沿负梯度到达 $(1.475,-0.267)$，随后在高曲率方向上往复收缩，前 $8$ 步仍在 $1.2$ 附近；Momentum 的位移累积到 $(3.705,-0.368)$ 后才折返，体现等效步长放大带来的过冲；Adam 每步位移约为 $0.1$，方向由一阶矩平滑给出，前 $8$ 步沿同一方向匀速推进。三者都朝 $(1,1)$ 移动，差异来自步长与方向的计算方式。
- 学习率表中 $1.90/L$ 与 $1.95/L$ 在 $50$ 步后已接近最优值；$2.00/L$ 时对应 $\lambda_{\max}$ 的特征分量满足 $|1-\eta L|=1$，该分量不衰减，目标值停在 $-0.5977$；$2.05/L$ 时 $|1-\eta L|=1.05>1$，该分量指数增长，目标值升至 $4057.5$。
- Rosenbrock 的极小值位于一条弯曲的窄区域内，梯度在横向大、沿纵向小。GD 需要 $9085$ 步才使梯度范数降到 $10^{-2}$；Momentum 用等效步长 $2\times10^{-3}$ 降到 $4466$ 步；Adam 用 $3510$ 步，目标值 $1.041\times10^{-4}$，低于前两者的 $1.229\times10^{-4}$。三者的差异说明自适应步长与动量各自改善了不同的病态来源。
- 学习率调度输出中前五个点覆盖 warmup 段与余弦段起点，后三个点覆盖衰减中段与末端；末端 $1.2\times10^{-6}$ 约为峰值的 $0.12\%$，符合余弦退火在 $t=T$ 时接近 $\eta_{\min}=0$ 的设计。

## 易错点

> [!warning] 常见错误
> - 把 $2/L$ 当作最优学习率。它只是二次型上不发散的上界；最优步长为 $2/(L+\mu)$。$\kappa$ 较大时两者数值接近，但收敛因子分别为 $1-1/\kappa$ 与 $(\kappa-1)/(\kappa+1)\approx1-2/\kappa$，迭代次数相差约一倍；此外在 $2/L$ 处最大特征值方向的分量满足 $|1-\eta L|=1$，以常数幅度振荡而不衰减。
> - 忽略特征尺度对条件数的影响。条件数依赖变量的尺度：把某一维特征乘以 $100$，$\lambda_{\max}$ 与 $\lambda_{\min}$ 随之改变，$\kappa$ 与收敛速度也改变；标准化与归一化层的作用之一就是控制这一比值。
> - 认为 Adam 的更新步长等于 $\eta$。逐坐标归一化后单步位移约为 $\eta$，但参数的真实位移还受梯度方向、$\beta_2$ 与 $\varepsilon$ 影响；在梯度噪声大时，$\hat m_t/\sqrt{\hat v_t}$ 的绝对值可能远小于 $1$。
> - 忘记 Adam 的偏差修正，或只修正一阶矩。未修正时前几步的 $m_t$ 与 $v_t$ 都被 $(1-\beta^{t})$ 缩小，更新方向正确但步长偏小；只修正一项会破坏 $\hat m_t/\sqrt{\hat v_t}$ 的尺度关系。
> - 把 Adam 加 L2 等同于 AdamW。L2 项进入 $m_t,v_t$ 后被 $\sqrt{\hat v_t}$ 逐坐标缩放，衰减强度依赖梯度统计；AdamW 的衰减因子固定为 $1-\eta\lambda$。
> - 在改变批量大小时只改 $\eta$ 而不改 warmup 与训练步数。线性缩放保持每 epoch 位移，但总步数随 $B$ 减少；若不相应增加学习率衰减的步数预算，等效训练时长会缩短。

## 关联笔记

- 前置：[[微积分与梯度]] —— 梯度、泰勒展开与 Lipschitz 连续性是下降引理与收敛分析的基础。
- 前置：[[线性代数]] —— 二次型的特征值给出 $L$、$\mu$ 与条件数，正交对角化给出误差的逐分量演化。
- 后续：[[损失函数]] —— 被优化的目标函数；不同损失对应不同的 $L$ 与梯度尺度。
- 后续：[[优化器与学习率]] —— 工程实现、参数分组、混合精度下的数值问题与调度实践。
- 对照：[[矩阵分解-SVD与特征分解]] —— 奇异值与条件数的关系，以及病态矩阵对数值稳定性的影响。

## 达标检测

- [ ] 能由 $L$-smooth 条件推出下降引理，并说明 $0<\eta<2/L$ 的来历。
- [ ] 能对二次型写出误差递推 $e_{t+1}=(\mathbf{I}-\eta\mathbf{A})e_t$，推导最优步长 $2/(L+\mu)$ 与收敛因子 $(\kappa-1)/(\kappa+1)$，并说明为什么 $\eta=2/L$ 不是收敛步长。
- [ ] 能写出 Momentum、Nesterov、AdaGrad、RMSProp 的更新式，并说明各自解决了什么问题。
- [ ] 能独立完成 Adam 偏差修正的推导，解释 $\hat m_t$ 与 $\hat v_t$ 的期望为何等于真实矩。
- [ ] 能写出 AdamW 的更新式，并用代数说明它与「Adam 加 L2」在何时不等价。
- [ ] 能运行本篇代码，把条件数改为 $10$ 与 $1000$，记录 GD 与 Momentum 的迭代次数并解释比例关系。

## 参考来源

- Kingma & Ba, *Adam: A Method for Stochastic Optimization*, arXiv:1412.6980 —— 对应本篇第 7 节的完整更新式、偏差修正与默认超参。
- Goodfellow et al., *Deep Learning*, 2016, 第 8 章 —— 对应优化基础、动量、自适应方法、鞍点与二阶信息的作用。
- d2l.ai《动手学深度学习》，优化算法章 —— 对应 SGD、Momentum、AdaGrad、RMSProp、Adam 的实现与学习率调度。
- PyTorch 官方文档，`torch.optim.AdamW` 与 `torch.optim.lr_scheduler` —— 对应解耦权重衰减、warmup 与余弦退火的工程实现和参数含义。
