微积分与梯度
定义
若一元函数 在 处的差商极限
存在,则称 在 处可导,该极限称为导数。多元情形把「存在一个数」替换为「存在一个线性映射」:若存在矩阵 使 ,则称 在 处可微, 称为雅可比矩阵;当 为标量函数时, 退化为行向量,其转置称为梯度。
本篇符号约定如下。
| 符号 | 含义 |
|---|---|
| 自变量向量 | |
| 标量函数,通常是损失函数 | |
| 对第 个分量的偏导数 | |
| 梯度,全部一阶偏导数组成的列向量 | |
| 沿单位方向 的方向导数 | |
| 向量值函数的雅可比矩阵 | |
| Hessian,二阶偏导数矩阵 | |
| 拉格朗日乘子;Hessian 的特征值,按上下文区分 | |
| 学习率 |
偏导数指固定其余分量后的一元导数;方向导数指沿指定方向的瞬时变化率;凸函数指图像上任意两点间的弦不低于图像、即满足 的函数。可微的等价刻画是函数在局部可由线性映射逼近,误差为 ,该形式在多元与向量值情形下统一适用。
为什么重要
训练模型即求解 。在 维参数空间中,梯度是能以 次标量运算获得的局部方向信息:算出全部 个偏导数后,任意方向的导数都可由内积 给出,无需重复求导。若没有梯度,只能使用零阶方法,其误差随维数增长迅速恶化,因为随机扰动在 维中命中下降方向的概率随 增大而衰减。
具体因果链如下。其一,链式法则使复合函数的导数可由各层局部导数相乘得到,反向传播详解 正是该法则在计算图上的系统化调度,一次反向遍历即可得到全部参数的梯度。其二,梯度的反方向是局部下降最快的方向,这给出 优化算法-梯度下降与Adam 的更新式,而 Hessian 的最大特征值给出发散阈值,最小与最大特征值之比给出收敛速度。其三,凸性把局部最优提升为全局最优,是逻辑回归与 SVM 可解性的依据;等式约束下最优点的梯度必须落在约束梯度的张成空间内,该结论导出 支持向量机SVM 的对偶问题。其四,梯度数值检验是排查实现错误的标准手段,误差量级可直接暴露链式法则漏项或转置错误。
在本库中,本篇承接 线性代数 的内积与二次型语言,是 01 阶段的第二块基石,为 04 阶段的全部推导提供前置工具。
原理与推导
1 导数、可微性与连续性
一元导数的等价形式是线性主部 ,即函数在局部可由斜率 的直线逼近,误差比 高阶。多元情形把 换成 ,这就是「定义」一节的可微定义。
可微蕴含连续:由定义 ,当 时右端趋于零。逆命题不成立: 在 连续,但左右差商分别为 与 ,导数不存在。
偏导数存在也不足以推出可微。以
为例,沿坐标轴趋于原点时 恒为零,故两个偏导数在原点存在且等于零;但沿 趋于原点时 ,不连续,因而不可微。充分条件是偏导数连续:若全部一阶偏导数在 的某邻域内存在且在 处连续,则 在该点可微。常用导数如下表。
| 备注 | ||
|---|---|---|
| 由 得到 | ||
| 处不可导,实现中取次梯度 |
2 链式法则
一元链式法则:若 ,,则 。推导:把差商写成 ,当 时两因子分别趋于 与 ; 的退化情形由可微的线性主部形式处理。
多元情形有两条常用形式。其一为复合映射的雅可比相乘:若 ,,则
推导:,代入 得 ,由可微定义即得。其二为标量损失对中间变量的梯度形式:
转置不可省略: 是 维列向量, 是 ,只有左乘转置才得到与 同形状的 维结果。该式就是反向传播的单层形式,见 反向传播详解。若参数沿曲线 变化,全导数为 。
3 偏导数、梯度与方向导数
偏导数定义为
其中 为第 个标准基向量。梯度是全部偏导数组成的列向量 ,方向导数为 ,其中 。
命题:若 在 处可微,则 。
证明:令 ,则 ,而由链式法则 ,取 即得。
最速上升方向:在约束 下最大化 。由 Cauchy–Schwarz 不等式
等号成立当且仅当 与 同向,即 ,此时方向导数取最大值 。同理 给出最小值 ,故负梯度为局部最速下降方向; 时所有方向导数为零,该点称为驻点。
由此得到一条几何结论:梯度正交于过该点的等值面。若 位于等值面 上,两边求导得 。这一正交性是拉格朗日乘子法的几何基础。
4 雅可比矩阵与 Hessian
对 ,雅可比矩阵 的第 行是第 个输出分量的梯度转置,即 ; 个输入、 个输出对应 。对 ,Hessian 为二阶偏导数矩阵 ,形状 。若二阶偏导数连续,则混合偏导数可交换次序, 对称,此即 Clairaut 定理(文献中也称 Schwarz 定理)。
二阶泰勒展开可由一元泰勒定理沿直线得到。令 ,,则 ,,,代入 得
结合二次型的定性,得到驻点分类判据。设 :
| 的定性 | 结论 |
|---|---|
| 正定,特征值全为正 | 严格局部极小点 |
| 负定,特征值全为负 | 严格局部极大点 |
| 不定,特征值有正有负 | 鞍点 |
| 半正定或半负定,含零特征值 | 判据失效,需检查更高阶项 |
证明思路:在驻点处 。由谱定理 ,令 ,二次项化为 ;若全部 ,则存在 使二次项 , 足够小时余项被吸收,函数值上升;不定时沿正特征向量方向上升、沿负特征向量方向下降。
Hessian 的条件数 决定优化难度:二次型等高线在特征向量方向上被拉伸 倍,梯度下降在 大时呈锯齿式进展,这解释了特征标准化与预条件的作用。
5 计算图与反向模式
计算图把复合函数表示为有向无环图:叶节点是输入与参数,内部节点是基本运算,边表示数据依赖,前向传播按拓扑序计算每个节点的值。反向模式对每个节点 定义伴随量 ,按拓扑逆序累加:
对 ,具体形式为 与 ,均为「雅可比转置乘以上游梯度」的特例。三种求梯度方法的代价对比如下, 为输入或参数维数。
| 方法 | 计算量 | 精度 | 典型用途 |
|---|---|---|---|
| 有限差分 | 次前向 | 有截断与舍入误差 | 调试与检验 |
| 前向模式 | 倍前向 | 精确到机器精度 | 输入维数小、输出维数大 |
| 反向模式 | 约 2 至 4 倍前向,与 无关 | 精确到机器精度 | 标量损失、参数众多 |
反向模式对参数数量不敏感,这是神经网络训练可行的根本原因;代价是需保存前向中间结果,显存占用随图规模增长,检查点技术即在时间与显存之间取舍。完整的两层网络推导见 反向传播详解,前向结构见 神经网络与前向传播。
6 凸函数与凸优化
设 为凸集,即对任意 与 有 。若 满足
则称 为凸函数;不等式对 、 严格成立时称严格凸。
一阶条件:可微函数 凸,当且仅当对任意 有 。必要性证明:由凸性,对 有 ,移项除以 得 ,令 即得;充分性由沿线段积分得到。该条件的含义是:凸函数的一阶泰勒近似是全局下界,故沿负梯度方向总能保证下降。
二阶条件:二阶可微的 在凸集上凸,当且仅当 处处半正定;处处正定时严格凸。
凸优化的重要性来自三条结论。其一,局部极小点即全局极小点:若 局部极小但存在 使 ,则线段上靠近 的点同时满足「邻近」与「函数值更小」,矛盾。其二,对可微凸函数, 是全局最优的充要条件。其三,收敛率可证:若 为 -光滑凸函数,步长 的梯度下降满足 ;若进一步为 -强凸,误差以 线性衰减,条件数 决定迭代次数。
深度学习的损失一般非凸,上述保证不成立,只能得到收敛到驻点的较弱结论;工程上通过初始化、学习率调度与批量噪声缓解鞍点与平坦区域的影响,见 优化算法-梯度下降与Adam。
7 等式约束与拉格朗日乘子
考虑 ,约束为 ,。设 为局部极小点,且 线性无关。任一满足约束的曲线 ,,求导得 ,故可行方向 属于切空间 。
一阶最优性要求 对一切 成立:若某可行方向上导数非零,沿该方向或其反方向移动即可降低函数值,与局部极小矛盾。于是 正交于 ,即属于 ,故存在乘子使
定义拉格朗日函数 ,则上述条件等价于 加约束 ,合称一阶必要条件。乘子可解释为约束右端的灵敏度:把约束改为 时最优值的变化率等于 。
以 s.t. 为例。,驻点条件为 、、,解得 ,,最优值 。几何上 与 共线, 是原点到直线 的垂足。不等式约束把条件扩充为 KKT 条件,含原始可行性、对偶可行性 、互补松弛 与稳定性;支持向量机SVM 的对偶推导即在 KKT 框架下把最大间隔问题化为只依赖内积的形式。
关键直觉
梯度是函数在一点处最优线性近似的系数向量:。在所有单位方向中,与梯度同向的方向使该线性近似增加最多,反向减小最多,取等条件由 Cauchy–Schwarz 不等式给出。反向传播是链式法则在计算图上的调度:每个节点把上游伴随量乘以其局部雅可比的转置并累加,因此一次反向遍历即可获得标量损失对全部参数的偏导。
与严格定义的关系:最速方向的结论由 与 下的等式条件推出;「一次反向遍历」的结论来自每个节点只被访问一次且伴随量按拓扑逆序累加,代价与边数成正比,与参数个数无关。该结论只对「多输入、单输出」成立,输出为向量时需对每个分量各做一次反向模式,或改用前向模式。
例子与代码
例 1:手算梯度、方向导数与 Hessian
取 ,在 处计算。一阶偏导数为 ,,代入得
梯度范数 ,故最速上升方向为单位向量 ,沿该方向的方向导数为 ,沿 为 。沿 的方向导数为 ,小于 ,与最速方向的结论一致。
二阶偏导数为 ,,,故
特征多项式为 ,判别式 ,特征值 。一正一负,Hessian 不定,故 在 附近既非凸也非凹。需注意 , 并非驻点,此处只能得到曲率信息,不能做极值判定;它说明沿 对应的特征方向函数下降,沿 对应方向上升。
作为临界点分类的对照,取 , 在原点为零, 不定,故原点为鞍点:沿 轴函数增大,沿 轴函数减小。
例 2:梯度检验与 Hessian 数值差分
中心差分公式为
截断误差为 ,前向差分为 ,故检验时优先使用中心差分。以下代码在 Python 3.12 与 NumPy 2.3.5 下运行通过。
import numpy as np
np.set_printoptions(precision=4, suppress=True)
def f(v):
x, y = v
return x**2 * y + np.sin(x)
def grad_analytic(v):
x, y = v
return np.array([2.0 * x * y + np.cos(x), x**2])
def grad_numeric(fn, v, h=1e-5):
g = np.zeros_like(v)
for i in range(v.size): # 逐分量扰动,其余分量固定
e = np.zeros_like(v)
e[i] = h
g[i] = (fn(v + e) - fn(v - e)) / (2.0 * h)
return g
x0 = np.array([1.0, 0.0])
ga, gn = grad_analytic(x0), grad_numeric(f, x0)
print("解析梯度 =", ga)
print("中心差分 =", gn)
print(f"相对误差 = {np.linalg.norm(ga - gn) / np.linalg.norm(ga):.2e}")
# 步长扫描:截断误差随 h 减小,舍入误差随 h 减小而放大
print("\n步长扫描:")
for h in [1e-2, 1e-4, 1e-5, 1e-6, 1e-8, 1e-10]:
err = np.max(np.abs(grad_numeric(f, x0, h) - ga))
print(f"h={h:.0e} 最大绝对误差={err:.2e}")
def hessian_numeric(fn, v, h=1e-4):
n = v.size
H = np.zeros((n, n))
for i in range(n):
for j in range(n):
ei, ej = np.zeros(n), np.zeros(n) # 第 i、j 个方向的扰动
ei[i], ej[j] = h, h
H[i, j] = (fn(v + ei + ej) - fn(v + ei - ej)
- fn(v - ei + ej) + fn(v - ei - ej)) / (4.0 * h * h)
return H
print("\n数值 Hessian =\n", hessian_numeric(f, x0))
print("特征值 =", np.linalg.eigvalsh(hessian_numeric(f, x0)))
# 凸性检查:凸函数要求 Hessian 在整个定义域上半正定,单点正定不构成证明
for p in [np.array([0.0, 0.0]), np.array([2.0, 3.0])]:
ev = np.linalg.eigvalsh(hessian_numeric(f, p))
print("点", p, "Hessian 特征值 =", ev, " 半正定:", np.all(ev >= -1e-8))
预期输出:
解析梯度 = [0.5403 1. ]
中心差分 = [0.5403 1. ]
相对误差 = 1.06e-11
步长扫描:
h=1e-02 最大绝对误差=9.00e-06
h=1e-04 最大绝对误差=9.00e-10
h=1e-05 最大绝对误差=1.11e-11
h=1e-06 最大绝对误差=2.88e-11
h=1e-08 最大绝对误差=5.02e-09
h=1e-10 最大绝对误差=8.27e-08
数值 Hessian =
[[-0.8415 2. ]
[ 2. 0. ]]
特征值 = [-2.4645 1.623 ]
点 [0. 0.] Hessian 特征值 = [0. 0.] 半正定: True
点 [2. 3.] Hessian 特征值 = [-2.1958 7.2865] 半正定: False
要点说明。逐分量扰动是必需步骤:若对全部分量同时加 ,得到的是方向导数而非偏导数,两者仅在 为线性时相同。步长扫描显示误差在 时最小: 偏大时截断误差 主导, 偏小时两个相近函数值相减的有效位损失按 放大,故不应取到 以下。Hessian 差分含四个函数值,误差项为 ,舍入项为 ,故步长应比一阶大,本例取 。凸性检查遍历两个点: 处特征值为零,判据失效; 处出现负特征值,直接否定全局凸性,删去该循环会得到「某点 Hessian 半正定即凸」的错误结论。
例 3:拉格朗日乘子的一阶条件验证
把第 7 小节的驻点方程组写成线性系统,可直接求解并检验梯度条件:
import numpy as np
# 未知量为 (x, y, lambda),方程为 2x + lambda = 0, 2y + lambda = 0, x + y = 1
M = np.array([[2.0, 0.0, 1.0],
[0.0, 2.0, 1.0],
[1.0, 1.0, 0.0]])
x, y, lam = np.linalg.solve(M, np.array([0.0, 0.0, 1.0]))
print("x, y, lambda =", x, y, lam)
print("约束残差 =", x + y - 1.0)
print("目标值 =", x**2 + y**2)
print("grad L =", np.array([2 * x + lam, 2 * y + lam, x + y - 1.0]))
预期输出:
x, y, lambda = 0.5 0.5 -1.0
约束残差 = 0.0
目标值 = 0.5
grad L = [0. 0. 0.]
该验证只检查必要条件。本例目标函数严格凸且约束线性,KKT 条件充分,故 确为全局最优;若目标非凸,同样的计算只能给出候选点,需结合二阶条件或直接比较目标值。
易错点
以下错误在实现中不易暴露,需逐项核对。
1. 把梯度当作标量或与函数值混淆: 是与 同形状的向量, 是其第 个分量;对数组调用
np.gradient得到的是网格差分,与解析梯度含义不同。2. 链式法则漏掉内层导数或转置:,漏掉 是最常见错误;多元情形 漏掉转置时,只有 为方阵才可能不报错,属于静默错误。
3. Hessian 非对角项写错: 的 Hessian 是 ,对称时等于 ;只写对角块会低估曲率,把鞍点误判为极小点。
4. 数值差分步长选取不当: 时截断误差约 , 时舍入误差约 ,都使检验失去意义;应在 附近扫描并用相对误差判定,同时对 ReLU 等分段线性函数避开折点。
5. 由 直接断言极小:需检查 Hessian 定性,不定时为鞍点;此外 的点也可能出现负曲率,曲率信息与极值判定是两件事。
6. 用单点 Hessian 正定证明凸性:凸性要求 Hessian 在整个凸定义域上半正定,单点检查只能否定凸性,不能肯定。
关联笔记
- 线性代数(前置):内积、范数、二次型与特征分解提供梯度的几何语言与 Hessian 的定性判据。
- 神经网络与前向传播(前置):计算图的节点与张量形状在前向阶段确定,本篇的链式法则在其上执行。
- 反向传播详解(后续):把本篇第 2、5 小节的链式法则与计算图推广到多层网络,给出完整的两层网络手推过程。
- 优化算法-梯度下降与Adam(后续):负梯度方向与学习率上界 来自本篇的最速下降结论与 Hessian 谱分析。
- 支持向量机SVM(后续):最大间隔问题在 KKT 条件下转化为对偶问题,其推导以本篇第 7 小节的乘子法为前提。
达标检测
- [ ] 用差商极限写出 在 处的导数,证明可微蕴含连续,并给出一个连续但不可微的函数及不可微点。
- [ ] 由方向导数定义与链式法则证明 ,并用 Cauchy–Schwarz 不等式写出取等条件与最速上升方向。
- [ ] 手算 在 处的梯度、梯度范数、沿 的方向导数与 Hessian 特征值,并判断该点能否作为极值点。
- [ ] 写出二阶泰勒展开,说明 Hessian 正定、负定、不定、半正定分别对应何种结论,并各举一个二元函数的例子。
- [ ] 用拉格朗日乘子法求解 s.t. ,写出三个驻点方程、乘子取值与最优值,并说明该点为何是全局最优。
- [ ] 运行本篇中心差分代码,解释步长从 变到 时最大绝对误差先降后升的原因,并说明 Hessian 差分取 、梯度差分取 的理由。
参考来源
- Goodfellow, Bengio, Courville, Deep Learning, 2016, 第 4 章 —— 对应本篇梯度、雅可比与 Hessian、二阶泰勒展开、约束优化与 KKT 条件。
- d2l.ai《动手学深度学习》,第 2 章 2.4 节「微分」与 2.5 节「自动求导」—— 对应本篇差商定义、链式法则与计算图视角。
- Stanford CS229 课程讲义(监督学习与优化部分)—— 对应本篇梯度下降、凸性与拉格朗日乘子的课堂推导。
- Hastie, Tibshirani, Friedman, The Elements of Statistical Learning, 第 4 章 —— 对应本篇凸优化与一阶、二阶最优性条件的统计学习背景。